Google prévoit de prendre en charge en 2027 un signal commun dans robots.txt permettant aux sites web d’exprimer leurs préférences concernant l’entraînement des modèles d’intelligence artificielle. Le mécanisme est issu des travaux AIPREF menés à l’Internet Engineering Task Force.
L’annonce vise à réduire la multiplication des règles propres à chaque entreprise. Aujourd’hui, un éditeur doit souvent identifier plusieurs robots d’exploration ou utiliser des contrôles spécifiques à chaque fournisseur. Le projet propose un jeton de politique partagé, lisible par les acteurs qui choisiront de l’adopter.
Un refus commun, avec des réglages spécifiques
Dans le fonctionnement décrit par Google Search Central, un site pourra placer ce signal dans son fichier robots.txt pour refuser l’utilisation de ses contenus à des fins d’entraînement. Google prévoit alors d’interpréter ce choix comme un refus adressé à Google-Extended, sauf si le site indique explicitement une règle différente pour ce robot.
Les contrôles propres à chaque entreprise ne disparaîtront donc pas. Ils continueront à fonctionner à côté du signal commun. Un éditeur pourra exprimer une préférence générale, puis définir des exceptions pour certains fournisseurs.
Google précise que les sites autorisant explicitement Google-Extended restent éligibles à l’apparition de leurs contenus dans les réponses fondées sur des sources au sein des applications Gemini. Cette distinction rappelle que l’entraînement d’un modèle et l’utilisation d’une page comme source de réponse ne recouvrent pas toujours les mêmes traitements.
Un projet de standard, pas encore une règle universelle
Le signal s’appuie sur un brouillon technique AIPREF. Il ne s’agit donc pas encore d’une norme finalisée ni d’une obligation imposée à tous les développeurs d’IA. Son efficacité dépendra du nombre de fournisseurs qui le reconnaîtront et de la manière dont chacun documentera son interprétation.
Google relie cette initiative aux demandes des éditeurs, des organisations de la société civile et des régulateurs. L’entreprise cite également le code de bonnes pratiques européen pour les modèles d’IA à usage général, qui reconnaît robots.txt comme un moyen principal d’exprimer des préférences lisibles par les machines.
Le calendrier annoncé laisse une période de transition. Google vise une prise en charge en 2027 et promet d’en préciser les modalités. Les responsables de sites n’ont donc pas encore à modifier leurs fichiers sur la seule base de cette annonce.
Notre analyse
Un signal partagé peut simplifier la gestion technique, mais il ne résout pas à lui seul les questions juridiques et commerciales liées aux données d’entraînement. robots.txt reste un fichier déclaratif. Il faut encore que les fournisseurs le respectent, que les journaux permettent d’identifier leurs robots et que les éditeurs puissent vérifier l’effet de leur choix.
Le point décisif sera l’adoption collective. Si plusieurs grands acteurs appliquent la même définition et publient des outils de contrôle, le mécanisme pourra devenir un repère opérationnel. Dans le cas contraire, les éditeurs devront continuer à maintenir une liste de règles spécifiques en parallèle.
