Une norme commune pour empêcher le scraping IA : un token partagé dans robots.txt

Les éditeurs de contenu web sont confrontés depuis plusieurs mois à une multiplication des robots qui parcourent leurs sites pour nourrir les modèles d’intelligence artificielleIntelligence artificielleEnsemble de techniques permettant à des machines d'accomplir des tâches nécessitant habituellement certaines capacités humaines, comme la reconnaissance, la prédiction ou la prise de décision.. Jusqu’à présent, chaque acteur – OpenAI, Google, Microsoft, Anthropic – demandait d’afficher séparément ses propres consignes dans le fichier robots.txt, ce qui obligeait les éditeurs à gérer une foule de directives différentes.

Un signal unique pour tous les grands modèles

Kevin Kelley, responsable technique des standards chez Anthropic, a proposé à l’Internet Engineering Task Force (IETF) d’introduire un « policy tokenTokenUnité de contenu traitée par un modèle de langage, pouvant représenter un mot, une partie de mot ou un caractère. » commun. Ce token serait placé dans le fichier robots.txt et indiquerait aux crawlers s’ils sont autorisés à collecter le contenu à des fins d’entraînementTrainingProcessus durant lequel un modèle ajuste ses paramètres à partir de données afin d'améliorer ses performances. ou non. L’idée est simple : un éditeur déclare une fois son souhait, et les quatre géants de l’IA s’engagent à le respecter.

OpenAI, Google, Microsoft et Anthropic ont déjà confirmé leur intention d’honorer ce signal. Meta, représenté par Andy Stone, a exprimé son soutien mais n’a pas encore précisé si la société appliquera la même règle. Le token ne remplace pas les restrictions classiques (exclusion de l’indexation, blocage complet), il se concentre uniquement sur l’usage à des fins d’entraînement des modèles.

Comment ça fonctionne concrètement ?

Le fichier robots.txt, connu depuis longtemps des spécialistes du référencement, recevra une ligne supplémentaire du type :

Policy-Token: no‑ai‑training

Lorsque le crawler d’OpenAI, de Google ou de Microsoft rencontre cette instruction, il doit interrompre la collecte du contenu pour l’entraînement. Microsoft précise que ses contrôles seront granulaire : il sera possible de bloquer uniquement l’entraînement tout en autorisant la présence du site dans les résultats de recherche Bing. Google, qui propose déjà des options similaires, promet que la visibilité dans le moteur de recherche ne sera pas affectée.

Cette approche repose sur la bonne foi des fournisseurs d’IA et sur une mise en œuvre technique fiable. Le token sera publié dans les prochains mois pour OpenAI, tandis que Google et Microsoft prévoient de le supporter dès l’an prochain. Anthropic l’a déjà intégré dans ses propres crawlers.

Pourquoi c’est important pour les éditeurs

Pour les éditeurs, le principal avantage est la simplification administrative. Plutôt que de négocier séparément avec chaque entreprise, ils n’ont plus qu’un seul point de configuration. Cela réduit le risque d’erreurs et permet d’appliquer rapidement une politique cohérente.

Sur le plan économique, certains éditeurs envisagent d’utiliser le token comme levier de négociation. Le standard RSL (Really Simple Licensing) permet déjà de facturer les accès des crawlers ; combiner les deux mécanismes pourrait rendre le modèle plus transparent et potentiellement plus rémunérateur.

Enfin, le token participe à la lutte contre les hallucinations des modèles d’IA. En obligeant les systèmes à se référer à des sources vérifiées (processus d’« AI groundingGroundingApproche consistant à relier les réponses d'une IA à des informations de référence pour améliorer leur pertinence et leur vérifiabilité. »), les éditeurs contribuent à améliorer la fiabilité des réponses générées par les assistants virtuels.

Limites et perspectives

Le dispositif repose sur l’adhésion volontaire des grands acteurs. Aucun cadre légal ne contraint encore les entreprises à respecter le token, ce qui signifie que des acteurs moins scrupuleux pourraient continuer à scraper les sites. De plus, la mise en place technique nécessite une mise à jour des crawlers, ce qui pourrait prendre du temps.

Malgré ces réserves, le projet montre une volonté de la part de l’industrie de répondre aux préoccupations légitimes des créateurs de contenu. Si le token devient un standard reconnu, il pourrait inspirer d’autres mesures, comme des exigences de transparence sur les données d’entraînement ou des labels de provenance des contenus.

En attendant, les éditeurs sont invités à préparer leur fichier robots.txt en intégrant la ligne proposée, afin d’être prêts dès que les principaux fournisseurs d’IA activeront le support du token. Cette anticipation leur permettra de garder le contrôle sur l’usage de leurs contenus tout en restant visibles dans les moteurs de recherche.

Le paysage du web continue d’évoluer, mais la possibilité de dire non à l’entraînement IA grâce à un simple token pourrait devenir une référence pour la protection du contenu en ligne.