OpenAI lance LifeVal pour mesurer les assistants IA sur les tâches du quotidien

Illustration officielle du benchmark LifeVal d’OpenAI consacré aux tâches du quotidien
LifeVal évalue les assistants IA sur des tâches concrètes. Crédit : OpenAI.

OpenAI a présenté LifeVal, une évaluation conçue pour mesurer l’utilité des assistants IA dans des tâches concrètes du quotidien. Le benchmark couvre notamment la garde d’enfants, les démarches administratives, le budget, l’éducation, la santé et les achats, avec l’ambition de tester des systèmes capables d’agir plutôt que de seulement répondre.

Pour définir les besoins à évaluer, l’entreprise dit s’être appuyée sur l’American Time Use Survey et la Multinational Time Use Study. Elle a ensuite mené une enquête démographiquement représentative auprès de 3 995 personnes afin d’identifier les activités pour lesquelles une aide automatisée serait la plus appréciée.

Des scénarios proches de la vie réelle

Les exemples publiés par OpenAI s’éloignent des questions académiques habituelles. L’un demande de comparer des écoles maternelles après un déménagement et de préparer les informations d’inscription. Un autre porte sur l’organisation de bénévoles avant une inondation. D’autres scénarios concernent la recherche d’un logement, un programme de repas après un diagnostic de diabète ou la préparation d’un visionnage à distance avec un proche.

OpenAI affiche des scores élevés sur ces cas, de 90,4 % à 100 % pour les cinq exemples visibles dans son annonce. Ces résultats sont produits par l’entreprise sur son propre benchmark. Ils ne constituent donc pas encore une validation indépendante, et la performance moyenne peut masquer des échecs importants dans des tâches sensibles.

Évaluer l’action, pas seulement la réponse

Le point central de LifeVal est le passage du conseil à l’exécution. Un assistant utile doit pouvoir naviguer sur le Web, utiliser un ordinateur, consulter des connecteurs et préparer des actions vérifiables. Dans l’exemple du logement, le système doit filtrer des biens selon plusieurs contraintes, calculer une taxe et placer un document dans un panier pour révision.

Cette orientation rapproche l’évaluation des agents informatiques réels. Elle augmente aussi les risques. Une erreur sur un achat, une inscription scolaire, un dossier administratif ou une recommandation de santé peut avoir des conséquences plus sérieuses qu’une mauvaise réponse dans une conversation. Les garde-fous, la confirmation humaine et la traçabilité des actions deviennent alors aussi importantes que le taux de réussite.

Un benchmark à confronter à des tests externes

LifeVal apporte une question utile : l’IA fait-elle gagner du temps sur les responsabilités que les personnes jugent vraiment pénibles ou importantes ? Le recours à une enquête de 3 995 répondants donne une base plus concrète que le choix arbitraire de tâches techniques.

Il faudra néanmoins examiner la composition complète du jeu de tests, les critères de notation, la reproductibilité et les écarts entre groupes d’utilisateurs. Un scénario réussi dans un environnement contrôlé peut échouer face à une interface modifiée, un site inaccessible ou une règle locale ambiguë.

OpenAI présente LifeVal comme un instrument pour suivre les progrès de ses modèles au fil du temps. Sa valeur pour le secteur dépendra de la transparence accordée aux chercheurs et de la possibilité de comparer plusieurs assistants dans les mêmes conditions. Le benchmark marque en tout cas un déplacement clair : la compétition ne porte plus seulement sur ce que les modèles savent, mais sur ce qu’ils peuvent accomplir de façon fiable.

Le briefing RoboActu

L’essentiel de la robotique, une fois par semaine.

Une sélection courte des annonces, usages et robots à suivre.

Continuer sur ce sujet

Comparer les robots