Google prévoit un signal commun dans robots.txt pour encadrer l’entraînement des IA

Google a annoncé que, d’ici 2027, son moteur de recherche pourra lire un nouveau tokenTokenUnité de contenu traitée par un modèle de langage, pouvant représenter un mot, une partie de mot ou un caractère. placé dans le fichier robots.txt d’un site web. Ce token, issu du projet AIPREF mené à la IETF, servirait à indiquer aux modèles d’intelligence artificielleIntelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision. la volonté du propriétaire du site quant à l’utilisation de ses contenus pour l’entraînementTrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances..

Un format unique pour simplifier la gestion

Aujourd’hui, chaque grand fournisseur d’IA propose son propre jeu de règles : certains exigent que les éditeurs ajoutent des directives spécifiques pour leurs crawlers, d’autres demandent des listes blanches ou noires séparées. Cette multiplicité oblige les responsables de sites à maintenir plusieurs configurations, source de confusion et d’erreurs. Le signal commun proposé par Google se présente comme un « jeton de politique partagé », lisible par tout acteur qui accepte de le prendre en compte. Un webmaster pourrait donc ajouter une ligne du type :

User-agent: * 
AIPREF: "no‑train"

pour refuser globalement l’usage de ses pages à des fins d’entraînement, tout en conservant la possibilité de préciser des exceptions pour des robots particuliers.

Comment le refus sera‑t-il appliqué ?

Selon les indications de Google Search Central, le signal "no‑train" serait interprété comme un refus adressé à Google‑Extended, le crawler dédié à la collecte de données pour les modèles Gemini. Si le site ne spécifie aucune règle différente, Google s’abstiendra d’utiliser le contenu pour entraîner ses IA. Les contrôles propres à chaque entreprise ne disparaissent pas : ils restent actifs en parallèle, ce qui permet à un éditeur de définir une préférence générale puis d’ajouter des dérogations, par exemple en autorisant l’accès à un partenaire de confiance.

Il est aussi précisé que les sites qui autorisent explicitement Google‑Extended restent éligibles à apparaître dans les réponses générées par Gemini lorsqu’il cite des sources en ligne. Cette distinction montre que l’entraînement et la récupération de pages comme sources de réponse sont deux traitements distincts.

Un projet encore en cours d’élaboration

Le signal s’appuie sur un brouillon technique AIPREF de l’IETF. Il ne s’agit donc pas encore d’une norme officielle, ni d’une obligation légale pour les développeurs d’IA. Son adoption dépendra du nombre de fournisseurs qui le reconnaîtront et de la façon dont chacun documentera son interprétation. Google justifie l’initiative par les demandes des éditeurs, des organisations de la société civile et des régulateurs, en citant notamment le code de bonnes pratiques européen pour les modèles d’IA à usage général, qui considère robots.txt comme le principal moyen d’exprimer des préférences lisibles par les machines.

Le calendrier indique une période de transition jusqu’en 2027, pendant laquelle Google promet de détailler les modalités d’implémentation. Les responsables de sites n’ont donc pas encore besoin de modifier leurs fichiers, mais peuvent commencer à se familiariser avec le concept.

Enjeux et limites

Un signal partagé pourrait alléger la charge technique des éditeurs, mais il ne résout pas les questions juridiques liées à la collecte de données d’entraînement. Le fichier robots.txt reste une déclaration ; son respect dépend de la bonne volonté des fournisseurs d’IA. Il faut également que les crawlers s’identifient clairement et que les éditeurs disposent d’outils pour vérifier que leurs consignes sont bien appliquées.

Le facteur décisif sera l’adoption collective. Si plusieurs grands acteurs alignent leurs pratiques autour du même token, le mécanisme deviendra un repère opérationnel. Dans le cas contraire, les listes de règles spécifiques resteront nécessaires, et le signal commun ne sera qu’un complément.

Pour les gestionnaires de sites, le principal point à retenir est que, d’ici quelques années, un simple ajout dans robots.txt pourrait suffire à exprimer une préférence globale en matière d’entraînement IA, à condition que les principaux fournisseurs de modèles adoptent le même standard.