OpenAI automatise la chasse aux régressions avec une « usine » d’agents Codex

Schéma officiel de l’architecture Performance Factory d’OpenAI pour orchestrer des agents Codex
Performance Factory orchestre des agents Codex autour de tâches persistantes et de validations humaines. Illustration : OpenAI.

OpenAI a présenté le 19 novembre Performance Factory, un système interne qui orchestre des agents Codex pour détecter, diagnostiquer et corriger les ralentissements de ChatGPT. Déployé depuis un peu plus de trois mois, son premier workflow a suivi plus de 1 700 investigations et identifié la cause de plus de 600 régressions.

Des alertes de performance transformées en tâches

Performance Factory part d’un problème très concret : les équipes chargées de la vitesse et de la disponibilité de ChatGPT reçoivent davantage d’alertes qu’elles ne peuvent en examiner manuellement. OpenAI explique avoir progressivement transformé ses méthodes d’analyse en procédures réutilisables, puis en workflows exécutés par des agents.

Le système réunit quatre briques : un service qui conserve l’état de chaque tâche, une boucle d’orchestration qui distribue le travail, une API lançant Codex dans le cloud et des abonnements à des événements comme un commentaire GitHub ou la fin d’un déploiement. L’agent peut ainsi suspendre son travail, puis reprendre lorsqu’une validation humaine ou une mise en production a eu lieu.

Le premier workflow cible les régressions de performance. Lorsqu’une alerte se déclenche, un agent recherche le moment où la dégradation a commencé, compare les requêtes touchées et examine les changements de code ou de configuration. Il consigne ensuite son diagnostic dans une tâche partagée. Si la cause paraît établie, un autre agent peut proposer un correctif, soumis à la revue d’un ingénieur.

Une contre-enquête automatisée avant le correctif

OpenAI dit avoir ajouté une étape de revue contradictoire après avoir constaté que certains agents s’arrêtaient à la première explication plausible. Une session Codex distincte tente alors de réfuter le diagnostic : elle vérifie par exemple si les requêtes non exposées au changement sont restées stables ou si un retour arrière a réellement rétabli la performance.

Sur un échantillon de 100 suggestions de cause racine examinées manuellement, l’entreprise estime que 70 % étaient exactes, tandis que 30 % demandaient des vérifications supplémentaires ou n’établissaient pas complètement le lien de causalité. Ce chiffre souligne que l’automatisation accélère l’enquête sans supprimer le besoin de contrôle.

Le workflow conserve aussi plusieurs décisions humaines. Un ingénieur doit examiner et choisir de fusionner le correctif proposé. Après le déploiement, un agent mesure le retour à la normale. Si l’amélioration n’est que partielle, le système peut clore l’incident initial et ouvrir une nouvelle tâche pour le ralentissement restant.

Un cas d’usage interne, pas un nouveau produit

Performance Factory n’est pas annoncé comme un service commercial. Il s’agit d’une infrastructure interne qui donne toutefois un aperçu de la manière dont OpenAI utilise ses propres agents sur des systèmes de production. La société indique que le workflow a lancé en moyenne 17 investigations automatisées par jour pendant sa phase actuelle.

L’intérêt principal tient à la continuité du travail : l’état, les preuves et les décisions ne restent pas enfermés dans une session d’agent. Ils sont conservés dans une tâche que plusieurs agents et ingénieurs peuvent reprendre. OpenAI cherche maintenant à mieux évaluer les changements apportés à ses skills, à tester les correctifs sur des charges synthétiques et à mieux classer les incidents selon leur impact.

Notre analyse

Ce retour d’expérience documente une architecture d’agents moins spectaculaire qu’un assistant autonome généraliste, mais plus proche des contraintes réelles d’une équipe d’exploitation. Les garde-fous décrits sont aussi importants que l’automatisation : séparation des rôles, revue contradictoire, identité de service limitée et validation humaine avant déploiement.

Les résultats restent des mesures internes et ne permettent pas d’évaluer seuls la qualité finale des correctifs. Ils montrent néanmoins qu’un agent peut devenir une étape persistante d’un processus d’ingénierie, à condition que son travail soit traçable, contestable et repris par un humain aux moments décisifs.

Sources : présentation officielle d’OpenAI.

Le briefing RoboActu

L’essentiel de la robotique, une fois par semaine.

Une sélection courte des annonces, usages et robots à suivre.

Continuer sur ce sujet

Comparer les robots