Robots.txt : Google, Bing, OpenAI et Anthropic s’alignent sur l’entraînement des IA

Le 30 octobre 2026, Google, Microsoft (Bing), OpenAI et Anthropic ont promis de respecter un même signal sur l’entraînement des IA. Il tient en une ligne du robots.txt, User-agent: __usage_ai-training, et Google prévoit de le prendre en charge début 2027. Sur un site vitrine ou une boutique Shopify, rien ne bouge tout seul. Mais un réglage maladroit pourrait vous coûter vos citations dans Gemini.

Une ligne commune pour refuser l’entraînement des IA

Jusqu’ici, il fallait viser chaque robot d’IA un par un, avec par exemple Google-Extended chez Google. Le nouveau signal vient du groupe AIPREF de l’IETF, l’organisme qui rédige les standards techniques d’Internet. Son brouillon publié sur le Datatracker ajoute un seul « jeton », sans nouvelle instruction ni nouvelle syntaxe.

Le fonctionnement reprend celui du robots.txt classique. Un « Disallow » sur une page vaut refus de l’entraînement, alors qu’un « Allow » vaut accord. Le brouillon cite d’ailleurs l’exemple d’un site qui refuse tout, sauf son dossier /press-kit/. Selon ce texte, l’entraînement ne vise que les modèles d’IA générative, pas ceux qui classent ou notent des contenus.

Surtout, la règle générale User-agent: * ne s’applique pas à ce jeton. Sans ligne __usage_ai-training, votre site n’exprime donc aucun choix. Le jeton ne règle pas non plus l’exploration : pour bloquer un robot, il faut toujours le viser par son nom.

Google rattache cette démarche au code de bonnes pratiques de l’UE pour les IA à usage général, issu de l’AI Act. Prudence toutefois, car le texte reste un brouillon individuel en version 00. Son auteur, Kevin Kelley, travaille chez Anthropic, et le document expire le 3 mai 2027. Nate Hake, participant au groupe AIPREF, prévient d’ailleurs sur X : « ce n’est pas vraiment bouclé à l’IETF, et d’importants désaccords demeurent ».

Le piège Gemini : Google-Extended couvre aussi les réponses

Chez Google, la nuance pèse lourd. Selon la page officielle de Google sur ses robots, Google-Extended ne sert pas qu’à entraîner les futurs modèles Gemini. Il décide aussi du grounding, c’est-à-dire de l’usage de vos pages par Gemini au moment où il répond.

Le jeton commun touchera donc Gemini dès qu’aucune règle ne vise Google-Extended. Dans ce cas, Google « prévoit de l’interpréter comme si l’éditeur avait bloqué Google-Extended », explique John Mueller, Search Advocate chez Google. Un commerçant qui refuse l’entraînement en bloc risque ainsi de perdre ses citations dans l’appli Gemini, et les clics associés.

La parade tient en deux lignes : une règle explicite User-agent: Google-Extended suivie d’un Allow. Les règles propres à chaque entreprise restent valables à côté du signal commun, et la plus précise doit primer. Google précise aussi que les sites qui autorisent explicitement Google-Extended peuvent apparaître dans les réponses de Gemini et y recevoir des clics.

Côté classement, pas de panique. Google-Extended n’a aucun effet sur Google Search et ne sert pas de critère de positionnement. Il n’existe d’ailleurs aucun robot dédié, puisque Google explore avec ses robots habituels. En revanche, aucune source ne précise noir sur blanc l’effet du jeton sur les AI Overviews et AI Mode.

Bing sépare l’entraînement et les citations dans Copilot

Microsoft va plus loin avec trois réglages distincts : entraînement, grounding et grounding limité. Vous pouvez donc refuser l’entraînement tout en restant cité par Copilot. Bloquer le grounding peut en revanche faire perdre de la visibilité dans les réponses des IA, selon Bing. Le classement classique, lui, ne bouge pas.

Le calendrier démarre le 15 décembre 2026, avec un grounding temporaire dans Bing Webmaster Tools pour les sites sous NoArchive ou NoCache. Bing appliquera ensuite les nouveaux réglages dès le 1er février 2027. Pour garder vos restrictions, il faudra les configurer avant le 1er mars 2027. Les réglages temporaires prendront fin le 30 septembre 2027.

Bing Webmaster Tools propose aussi un rapport « AI Performance », avec les citations, les pages citées et les requêtes. Consultez-le avant de couper quoi que ce soit. Quant à OpenAI, il appliquerait le signal dans les prochains mois, selon la presse spécialisée. Anthropic aurait déjà commencé sa mise en place, mais ces calendriers restent à confirmer à la source.

Entraînement des IA : quoi vérifier dans votre robots.txt avant 2027

Pour une TPE qui mise sur les moteurs IA (le GEO), mieux vaut ne rien ajouter ou tout autoriser. C’est l’option la plus sûre à ce stade. Refuser l’entraînement des IA profite surtout aux créateurs de contenus originaux, comme les photographes ou les éditeurs. Sur Shopify comme sur WooCommerce, aucune annonce ne précise encore comment les plateformes ou les extensions SEO intégreront ce jeton.

En attendant, cinq contrôles s’imposent :

• Lisez votre fichier à la racine du site (votresite.fr/robots.txt) et notez les blocages visant Google-Extended ou des robots d’IA.
• Supprimez tout Disallow sur Google-Extended si vous tenez à vos citations dans Gemini.
• Décidez page par page : fiches produit et blog servent votre visibilité IA, d’autres zones peuvent rester fermées.
• Si vous refusez l’entraînement via le jeton commun, ajoutez User-agent: Google-Extended avec Allow pour garder le grounding.
• Sous NoArchive ou NoCache, réglez vos préférences dans Bing Webmaster Tools avant le 1er mars 2027.

Gardez enfin en tête qu’il s’agit d’engagements volontaires. Un accord privé peut primer sur le signal, et les autres robots d’IA ne s’engagent à rien. Si vous hésitez sur les pages à ouvrir, l’équipe Snazzy peut examiner votre fichier lors d’un audit gratuit.