DEV Community

Cover image for Qu'est-ce qu'OpenAI LifeVal ? Le benchmark des tâches quotidiennes
Antoine Laurent
Antoine Laurent

Posted on Originally published at apidog.com

Qu'est-ce qu'OpenAI LifeVal ? Le benchmark des tâches quotidiennes

Qu'est-ce qu'OpenAI LifeVal ? Le benchmark des tâches quotidiennes

OpenAI LifeVal est un benchmark de 169 tâches de la vie quotidienne, comme inscrire un enfant à l'école, gérer un budget familial ou se rendre dans un bureau administratif, qu'un agent IA accomplit en utilisant un navigateur, un ordinateur et des connecteurs. Une grille d'évaluation note chaque tentative, et le score correspond à la récompense moyenne de 0 à 1. GPT-6 Astra obtient 80,6 % avec un effort xhigh.

Essayez Apidog dès aujourd'hui

Voilà pour la version courte. Vous trouverez ci-dessous comment OpenAI a conçu LifeVal, tous les scores de modèles qu'elle a publiés (y compris les chiffres par niveau d'effort qui n'existent que dans le graphique interactif de la page), ce que ces chiffres disent sur l'effort de raisonnement, et ce que le benchmark laisse de côté.

Qu'est-ce qu'OpenAI LifeVal ?

LifeVal est un benchmark d'OpenAI Research qui mesure dans quelle mesure un modèle vient à bout des corvées de la vie ordinaire plutôt que de questions de code ou d'examen. Ses 169 tâches sont agentiques : le modèle navigue sur le web, utilise un ordinateur et appelle des connecteurs, et une grille d'évaluation propre à chaque scénario note le résultat.

OpenAI nomme sept domaines de tâches :

  • Aide aux proches
  • Santé
  • Éducation
  • Administration du foyer
  • Finances personnelles
  • Achats
  • Accès aux services publics

La métrique principale est la récompense moyenne. Chaque point fait la moyenne des tentatives au sein d'une même tâche, puis moyenne les 169 moyennes de tâches à poids égal. Un score de 80,6 % correspond à une récompense de 0,806. Les notes du graphique indiquent « No WTP weighting », sur quoi nous reviendrons.

Comment OpenAI a construit l'ensemble de tâches LifeVal

OpenAI n'a pas inventé la liste de tâches à partir de zéro. Elle est partie de la façon dont les gens passent réellement leur temps, en s'appuyant sur deux jeux de données publics et une enquête maison :

  1. L'American Time Use Survey du Bureau of Labor Statistics américain, qui enregistre ce que font les Américains heure par heure.
  2. La Multinational Time Use Study, qui harmonise les journaux d'emploi du temps entre les pays.
  3. Sa propre enquête auprès de 3 995 répondants démographiquement représentatifs, à qui elle a demandé où ils aimeraient l'aide de l'IA.

Les données d'emploi du temps indiquent à OpenAI quelles activités remplissent les journées des gens. L'enquête lui indique lesquelles de ces activités les gens confieraient à un agent. Le recoupement a donné les 169 scénarios.

La page présente cinq exemples de fiches de tâches, chacune avec un score. Ce sont les exemples choisis par OpenAI, pas un échantillon aléatoire :

Exemple de tâche (choix d'OpenAI) Score
Inscrire son enfant dans le bon jardin d'enfants après un déménagement 93,1 %
Gérer des bénévoles avant une inondation 98,0 %
Trouver un nouveau logement pour ma famille 100 %
Regarder un match avec mamie à distance 96,3 %
Préparer les repas d'un parent récemment diagnostiqué diabétique 90,4 %

Scores LifeVal : tous les modèles OpenAI

Le premier graphique d'OpenAI positionne chaque modèle avec un effort de raisonnement xhigh en fonction de sa date de sortie. GPT-6 Astra utilise « le réglage xhigh du blog de lancement ».

Modèle Date de sortie Récompense moyenne LifeVal (xhigh)
GPT-5.2 2025-12-11 49,3 %
GPT-5.4 2026-03-05 73,0 %
GPT-5.5 2026-04-23 77,4 %
GPT-5.6 2026-07-09 80,0 %
GPT-6 Astra 2026-09-03 80,6 %

Bar chart of LifeVal average reward at xhigh effort: GPT-5.2 49.3%, GPT-5.4 73.0%, GPT-5.5 77.4%, GPT-5.6 80.0% and GPT-6 Astra 80.6%

La courbe est raide, puis plate. De GPT-5.2 à GPT-5.4, le score a gagné 23,7 points en trois mois. Les trois sorties suivantes ont ajouté 7,6 points à elles trois, et GPT-6 Astra dépasse GPT-5.6 de 0,6.

Le bond de GPT-5.4 ne tenait pas seulement à la qualité. En xhigh, la latence moyenne est passée de 121,0 secondes à 16,7 secondes et les tokens générés de 202,0K à 30,6K par tâche. Le modèle plus récent atteignait une réponse bien meilleure avec environ un septième de la sortie.

GPT-6.1 Sol et GPT-6.1 Terra n'apparaissent dans aucun des deux graphiques, alors que les deux sont déjà sortis. La chronologie s'arrête au 3 septembre 2026. Si vous hésitez entre GPT-6.1 Sol et Astra pour un produit agentique, LifeVal ne peut pas encore vous aider.

LifeVal selon l'effort de raisonnement

Le second graphique est le plus utile, et on ne le voit qu'en survolant. Il détaille chaque modèle par effort de raisonnement, avec quatre chiffres par point : récompense, latence, tokens générés et coût API. Voici la récompense pour chaque réglage :

Modèle low medium high xhigh max
GPT-5.2 27,7 % 37,2 % 45,2 % 49,3 % n/a
GPT-5.4 62,8 % 70,1 % 72,0 % 73,0 % n/a
GPT-5.5 57,1 % 71,3 % 75,6 % 77,4 % n/a
GPT-5.6 63,9 % 75,0 % 78,8 % 80,0 % 82,6 %
GPT-6 Astra 66,6 % 77,6 % 80,7 % 80,6 % 82,5 %

Line chart of LifeVal reward against charted API cost per task for each model across reasoning efforts, showing GPT-5.6 max at 82.6% near cost 9.65 and GPT-6 Astra max at 82.5% near cost 20.04

Une remarque sur la colonne des coûts. OpenAI l'appelle « API cost » mais ne précise pas l'unité ; considérez donc les chiffres ci-dessous comme un « coût API par tâche tel que représenté », utile pour les ratios, et non comme des dollars.

GPT-5.6 en max égale GPT-6 Astra en max

Réglage Récompense Latence Tokens Coût représenté
GPT-5.6, max 82,6 % 22,2 s 29,7K 9,65
GPT-6 Astra, max 82,5 % 20,6 s 26,3K 20,04
GPT-5.6, xhigh 80,0 % 17,5 s 20,7K 7,55
GPT-6 Astra, high 80,7 % 13,6 s 12,4K 13,07

GPT-5.6 en max devance Astra en max de 0,1 point pour environ la moitié du coût représenté. À effort égal, l'avance d'Astra sur GPT-5.6 est inférieure à trois points à chaque réglage, de 0,6 en xhigh, et disparaît en max. Astra est un peu plus rapide et consomme moins de tokens, mais sur ces tâches, vous la payez environ deux fois plus cher. Notre décomposition des prix de GPT-5.6 et notre guide de l'API GPT-6 Astra donnent les tarifs par token si vous voulez comparer ce ratio à votre propre trafic.

Au-delà de « high », plus de raisonnement n'apporte presque rien

Sur GPT-6 Astra, le réglage high obtient 80,7 % et xhigh 80,6 %. Cet effort supplémentaire coûte 1,4 seconde de plus et 2,1K tokens de plus pour un score légèrement inférieur. GPT-5.4 présente la même forme : un point de gain de high à xhigh.

Les gros gains se situent en bas de la courbe. Faire passer GPT-5.5 de low à medium ajoute 14,2 points. Le faire passer de high à xhigh ajoute 1,8. Si votre agent exécute des tâches quotidiennes de ce type, c'est le réglage medium ou high qu'il faut tester en premier. Le guide du raisonnement d'OpenAI explique comment fonctionne le paramètre effort dans l'API Responses.

Ce que LifeVal laisse de côté

LifeVal est un signal utile, mais il est auto-déclaré. Avant de le citer, connaissez ses limites.

  • Il n'est pas public. Aucun ensemble de tâches téléchargeable, aucun classement public, et OpenAI n'a pas publié les grilles d'évaluation ni la façon dont elle a calibré ses correcteurs. Impossible de le relancer.
  • Il n'évalue que les modèles OpenAI. Aucun Claude, Gemini ni modèle à poids ouverts n'y figure, donc il ne dit rien de la façon dont GPT-6.1 Sol se compare à Claude Sonnet 5.5 ni d'aucune autre confrontation entre fournisseurs.
  • Une version pondérée existe quelque part. Le graphique indique « No WTP weighting », WTP signifiant willingness to pay (consentement à payer). Cela suggère qu'OpenAI a calculé ou envisagé une variante pondérée par ce que les gens seraient prêts à payer pour chaque tâche, et ne l'a pas publiée.
  • Les fiches d'exemple sont choisies à la main. Les cinq fiches de la page obtiennent de 90,4 % à 100 %. La moyenne des 169 tâches pour le meilleur modèle est de 80,6 %. Les exemples montrent les meilleurs jours du benchmark, pas une journée typique.

Rien de tout cela ne rend LifeVal faux. Cela en fait un benchmark de fournisseur. Lisez-le comme vous liriez n'importe quel graphique de lancement : comme une affirmation que vous pouvez tester sur vos propres tâches.

Lancez votre propre test d'effort de raisonnement avec Apidog CLI

Le tableau par effort de LifeVal est une courbe récompense/coût. Vous pouvez tracer la même courbe pour votre propre prompt. Plutôt que d'envoyer des requêtes à la main, confiez la tâche à votre agent de codage et laissez-le piloter Apidog CLI.

Installez la CLI, connectez-vous et ajoutez la skill Apidog à votre agent :

npm install -g apidog-cli@latest
apidog auth login --with-token <YOUR_TOKEN>
npx -y skills add https://apidog.com   # pick your agent when prompted
Enter fullscreen mode Exit fullscreen mode

Donnez ensuite une consigne à Claude Code, Codex ou Cursor :

In Apidog project <projectId>, add a POST https://api.openai.com/v1/responses
endpoint that sends {{model}}, reasoning.effort = {{effort}} and my test prompt.
Create a test case that asserts status 200 and saves latency,
usage.output_tokens and usage.output_tokens_details.reasoning_tokens.
Add a test data set with effort = low, medium, high, xhigh, run the case
once per row against environment <envId>, and give me a table of
latency, tokens and estimated cost per effort.
Enter fullscreen mode Exit fullscreen mode

L'agent lit chaque schéma de payload, valide son JSON et écrit ensuite :

apidog cli-schema get endpoint-create
apidog cli-schema validate endpoint-create --file endpoint.json
apidog endpoint create --project <projectId> --file endpoint.json

apidog test-case category --project <projectId>
apidog cli-schema validate test-case-create --file case.json
apidog test-case create --project <projectId> --file case.json

apidog cli-schema validate test-data-create --file efforts.json
apidog test-data create --project <projectId> --file efforts.json

apidog run --test-case <caseId> --project <projectId> -e <envId> \
  -d <testDataId> -r cli,json --out-dir ./effort-runs
Enter fullscreen mode Exit fullscreen mode

L'option -d déclenche une itération par ligne de données, et -r cli,json fournit à l'agent un rapport JSON à partir duquel construire le tableau. Ajoutez --upload-report si vous voulez parcourir les exécutions dans l'application Apidog ensuite. La référence de la commande apidog run liste toutes les options, et le guide de configuration de Claude Code couvre le côté agent.

Lancez-le sur cinq ou dix de vos vrais prompts, pas un seul. Si LifeVal moyenne 169 tâches, ce n'est pas un hasard : un seul prompt vous en dira plus sur la variance que sur l'effort.

Faut-il faire confiance à LifeVal pour choisir un modèle ?

Utilisez-le pour vous orienter, pas pour décider. LifeVal vous dit trois choses exploitables : les modèles d'OpenAI se sont nettement améliorés sur les tâches quotidiennes à étapes multiples entre décembre 2025 et mars 2026, les gains depuis sont faibles, et un effort de raisonnement supérieur à high est rarement rentable sur ce type de travail.

Ce qu'il ne peut pas vous dire, c'est comment un modèle non-OpenAI obtiendrait son score, comment vos tâches se comparent aux 169 d'OpenAI, ou ce que récompense le correcteur. Pour cela, réalisez votre propre balayage des efforts, comme ci-dessus, et comparez les chiffres que vous pouvez voir. Notre test pratique de GPT-6 Astra est un point de départ pour le type de vérifications qui valent la peine d'être menées.

FAQ

Que signifie LifeVal ?

OpenAI ne développe pas le nom sur la page. Il s'agit d'une évaluation (« Val ») de tâches de la vie quotidienne (« Life ») : 169 scénarios agentiques couvrant l'aide aux proches, la santé, l'éducation, l'administration du foyer, les finances personnelles, les achats et les services publics.

Quel est le score LifeVal de GPT-6 Astra ?

80,6 % de récompense moyenne avec un effort xhigh, le réglage utilisé par OpenAI dans le blog de lancement d'Astra. En effort max, Astra obtient 82,5 %, et en high 80,7 %.

Puis-je exécuter LifeVal moi-même ?

Non. OpenAI n'a pas publié l'ensemble de tâches, les grilles d'évaluation ni le correcteur. Vous pouvez approcher son analyse effort/coût sur vos propres prompts avec un harnais de test comme Apidog CLI, mais vous ne pouvez pas reproduire les scores LifeVal.

LifeVal inclut-il Claude ou Gemini ?

Non. Les deux graphiques ne contiennent que des modèles OpenAI, de GPT-5.2 à GPT-6 Astra. GPT-6.1 Sol et GPT-6.1 Terra en sont absents aussi.

La colonne de coût de LifeVal est-elle en dollars ?

OpenAI l'appelle « API cost » mais ne précise pas l'unité. Utilisez-la pour comparer les réglages entre eux, par exemple GPT-5.6 max à 9,65 contre Astra max à 20,04, plutôt que comme un montant en dollars par tâche.

Quel effort de raisonnement utiliser pour les tâches agentiques quotidiennes ?

Sur LifeVal, les réglages medium ou high captent l'essentiel du gain. GPT-6 Astra obtient 80,7 % en high et 80,6 % en xhigh ; testez donc medium et high sur vos propres tâches avant de payer plus.

Top comments (0)