OpenAI propose de faire de la perplexité un indicateur commun pour mieux comparer la progression des modèles de pointe et fixer des seuils de sécurité partagés entre laboratoires. Dans une publication datée du 22 novembre, l’entreprise dévoile une partie de ses mesures internes de préentraînement et appelle le secteur à davantage de transparence.
Un indicateur ancien remis au centre du débat
La perplexité mesure la capacité d’un modèle à prédire le prochain élément d’une séquence. Plus elle est basse, plus ses prédictions sont précises. OpenAI explique suivre cette métrique sur un jeu de données interne stable depuis GPT-3.5, même si les méthodes d’entraînement et les évaluations de capacités ont beaucoup évolué depuis.
Selon l’entreprise, GPT-3.5 atteignait une log-perplexité d’environ 0,99 sur ce jeu interne, contre environ 0,91 pour GPT-4. OpenAI affirme désormais être passé sous 0,8 et associe cette progression à l’apparition de capacités plus fortes en cybersécurité et en mathématiques. Ces chiffres ne constituent toutefois pas un classement public. Le jeu de données n’est pas partagé et les valeurs ne peuvent donc pas être reproduites ou comparées directement avec celles d’autres laboratoires.
Des seuils avant de poursuivre l’entraînement
La proposition va au-delà de la publication d’une courbe. OpenAI souhaite que les développeurs de modèles avancés définissent ensemble des limites à ne pas franchir tant que certaines méthodes de compréhension et de surveillance ne sont pas prêtes. La société évoque notamment une prochaine zone de progression autour de 0,68 à 0,7 de log-perplexité, sans prétendre savoir quelles capacités pourraient alors émerger.
L’idée serait de relier chaque seuil à des exigences concrètes, par exemple de nouveaux outils de suivi du raisonnement ou des tests de sécurité renforcés. OpenAI estime qu’un tel cadre fournirait une base scientifique plus stable que des benchmarks applicatifs rapidement saturés.
Une métrique utile, mais incomplète
OpenAI reconnaît plusieurs limites majeures. Les laboratoires n’utilisent ni les mêmes données d’évaluation ni les mêmes mélanges d’entraînement. La perplexité ne mesure pas directement une tâche utile et ignore une partie des progrès obtenus après le préentraînement, notamment par le raisonnement explicite, l’ajustement fin ou l’apprentissage par renforcement.
Le texte établit aussi un lien entre la baisse de perplexité et l’émergence de capacités, mais cette relation reste observée sur les propres systèmes d’OpenAI. Elle devra être confrontée à des mesures indépendantes avant de pouvoir devenir une norme industrielle.
Notre analyse
La publication apporte un élément rare: une fenêtre chiffrée sur la manière dont un grand laboratoire suit ses modèles avant leur mise en produit. Son intérêt principal tient moins aux valeurs annoncées qu’à l’appel à définir des règles communes en amont de l’entraînement. Le défi sera d’éviter qu’un indicateur interne, difficile à auditer, devienne un substitut à des évaluations de risques plus concrètes.
Source : OpenAI, « Perplexity and Intelligence », 22 novembre 2026.
