Robots.txt et crawlers IA : quels robots autoriser pour être cité sans nourrir l'entraînement

10 min de lecturePar La team SEO Secret

Quatre lignes dans un robots.txt suffisent à effacer une marque de ChatGPT Search. Pour être cité sans nourrir l'entraînement, il faut ouvrir la porte aux robots de recherche des IA et la fermer à leurs robots d'entraînement, GPTBot et ClaudeBot en tête. Personne ne vérifie, jusqu'au jour où la direction demande pourquoi l'IA recommande trois concurrents et jamais vous.

OpenAI, Anthropic et Perplexity séparent désormais les deux familles.

En bref

  • Le fichier robots.txt est une demande adressée aux crawlers IA, pas un verrou : il n'arrête pas un robot qui l'ignore et n'empêche pas l'indexation d'une URL liée ailleurs.
  • OpenAI, Anthropic et Perplexity documentent des robots distincts pour la recherche et pour l'entraînement, qui se règlent séparément dans le même fichier.
  • Pour être cité sans nourrir l'entraînement des modèles, on autorise OAI-SearchBot, ChatGPT-User, Claude-SearchBot, Claude-User et PerplexityBot, puis on bloque GPTBot et ClaudeBot.
  • Un robots.txt ouvert reste sans effet si le pare-feu ou le CDN rejette les plages d'IP publiées par les éditeurs : c'est le premier point à vérifier.

01 · Ce que le robots.txt contrôle, et ce qu'il ne contrôle pas

Le robots.txt est une demande. Pas un verrou. Il dit à chaque robot qui accepte de le lire ce qu'il peut explorer, user-agent par user-agent, sans contrôler ni l'indexation d'une page, ni un robot indélicat, ni l'usage de pages déjà collectées.

Le protocole d'exclusion des robots repose sur la bonne foi : les grands éditeurs documentent leurs robots, un aspirateur de contenus anonyme ne lit rien. On le traite donc comme une signalétique, pas comme une protection : ce qui doit rester privé passe par une authentification, jamais par une ligne Disallow.

La syntaxe en trois instructions

Chaque bloc du fichier s'adresse à un robot, désigné par le nom qu'il se donne. Trois instructions suffisent dans la plupart des cas :

  • User-agent nomme le robot visé, ou tous les autres avec * ;
  • Disallow interdit un chemin ;
  • Allow rouvre un chemin à l'intérieur d'une zone interdite.

Un robot suit le bloc qui porte son nom et laisse de côté le bloc générique.

Le piège classique concerne l'indexation. Une URL bloquée peut apparaître dans Google si d'autres pages pointent vers elle : le moteur la connaît sans l'avoir lue. Pour sortir une page de l'index, il faut la balise noindex, donc laisser le robot venir la lire.

Faut-il une règle différente pour les moteurs classiques et les robots IA ?

Oui. Googlebot et Bingbot, les robots des moteurs de recherche, gardent leur bloc. Les crawlers IA reçoivent chacun le leur, parce que chaque éditeur sépare maintenant la collecte qui sert ses réponses de celle qui nourrit ses modèles.

02 · Les robots IA à connaître en 2026

Les crawlers IA qui comptent en 2026 se résument à dix robots et un jeton, répartis entre OpenAI, Anthropic, Perplexity, Google et Microsoft. Chez OpenAI et Anthropic, un robot sert la recherche, un autre l'entraînement, un troisième agit à la demande d'un utilisateur. Bloquer le mauvais coûte une citation.

Le tableau ci-dessous reprend le rôle de chacun, d'après la documentation de son éditeur.

Éditeur Robot Rôle Se règle par le robots.txt Effet d'un blocage
OpenAI OAI-SearchBot Fait apparaître les sites dans ChatGPT Search Oui Le site sort de ChatGPT Search
OpenAI GPTBot Collecte pour l'entraînement des modèles Oui Contenus exclus de l'entraînement, ChatGPT Search intact
OpenAI ChatGPT-User Actions déclenchées par un utilisateur Réglage indépendant des deux autres Restreint les visites faites pour le compte d'un utilisateur
Anthropic Claude-SearchBot Recherche de Claude Oui Peut réduire la visibilité dans les résultats de Claude
Anthropic Claude-User Visites demandées par un utilisateur de Claude Oui Peut réduire la visibilité dans les résultats de Claude
Anthropic ClaudeBot Collecte pour l'entraînement Oui Contenus futurs exclus de l'entraînement
Perplexity PerplexityBot Résultats de Perplexity, sans usage pour l'entraînement Oui Le site risque de sortir des résultats de Perplexity
Perplexity Perplexity-User Visite déclenchée par une question d'utilisateur Généralement ignoré Effet limité : le robot passe le plus souvent
Google Googlebot Exploration pour Google Search, AI Overviews et AI Mode Oui Plus aucun extrait, donc plus aucun lien dans Google Search ni dans ses réponses IA
Google Google-Extended (jeton) Entraînement de Gemini et ancrage de ses réponses Oui Sortie de l'ancrage Gemini, Google Search intact
Microsoft Bingbot Exploration pour l'index de Bing Oui Sortie de Bing, et probablement des réponses de Copilot

Ce que disent les éditeurs, conditionnel compris

OpenAI précise dans « Overview of OpenAI Crawlers » que les réglages de ses trois robots sont indépendants. Anthropic écrit, dans son centre d'aide, que bloquer Claude-SearchBot ou Claude-User « peut » réduire la visibilité dans la recherche de Claude. Le conditionnel figure dans le texte d'Anthropic : on le garde.

Perplexity, de son côté, indique que PerplexityBot n'est pas utilisé pour l'entraînement. Microsoft n'apparaît qu'à travers Bingbot, car Copilot s'appuie sur la recherche Bing. Fermer la porte à Bingbot revient donc, selon toute vraisemblance, à se fermer aussi celle de l'assistant de Microsoft : le détail est sur la page dédiée à Copilot.

03 · Le robots.txt à copier : être cité sans nourrir l'entraînement

Pour être cité sans nourrir l'entraînement, le robots.txt autorise les robots de recherche des éditeurs IA et ferme ceux qui alimentent les modèles. Googlebot et Bingbot, eux, travaillent comme avant. Le fichier ci-dessous est commenté en français ; seule l'adresse du sitemap est à remplacer par la vôtre.

# robots.txt · être cité par les IA sans nourrir l'entraînement

# Moteurs de recherche classiques : accès complet
User-agent: Googlebot
Allow: /

User-agent: Bingbot
Allow: /

# Recherche IA : ces robots produisent les citations
User-agent: OAI-SearchBot
Allow: /

User-agent: ChatGPT-User
Allow: /

User-agent: Claude-SearchBot
Allow: /

User-agent: Claude-User
Allow: /

User-agent: PerplexityBot
Allow: /

# Entraînement des modèles : accès fermé
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Option Gemini : retirer les # pour sortir de l'entraînement de Gemini
# Coût : vos pages ne servent plus à ancrer les réponses de Gemini
# User-agent: Google-Extended
# Disallow: /

# Tous les autres robots
User-agent: *
Allow: /

Sitemap: https://www.votre-site.fr/sitemap.xml

Deux remarques avant de copier. Le fichier se place à la racine du domaine, et chaque sous-domaine a le sien. Un user-agent mal orthographié ne déclenche aucune erreur : le robot ne se reconnaît pas et applique le bloc générique.

Les deux autres réglages possibles

Deux variantes existent, et chacune a son prix :

  • tout autoriser : on supprime les blocs GPTBot et ClaudeBot. Le choix se défend si la présence de la marque dans les modèles compte plus que le contrôle de vos textes ;
  • tout bloquer : un Disallow: / par crawler IA. La marque sort de ChatGPT Search, risque de sortir de Perplexity et peut perdre sa visibilité dans la recherche de Claude, sans rien gagner face aux robots qui ignorent le fichier.

Notre recommandation par défaut reste le premier fichier : il garde la citation et ferme la porte à l'entraînement.

Google-Extended n'est pas un robot mais un jeton robots.txt : il règle l'usage de contenus déjà explorés par Googlebot. Selon la documentation du moteur sur ses robots d'exploration, ce jeton sert à l'entraînement de Gemini et à l'ancrage des réponses dans les applications Gemini. Il n'a aucun effet sur l'inclusion ni le classement dans Google Search.

Le bloquer revient donc à sortir de l'ancrage Gemini, pas de Google. Une marque qui vit de contenus propriétaires, études ou guides payants, peut le fermer. Celle qui veut être recommandée par Gemini a intérêt à le laisser ouvert.

AI Overviews et AI Mode obéissent à une autre règle

Les AI Overviews et AI Mode ne dépendent pas de Google-Extended, mais de Googlebot et des directives d'extrait (nosnippet, max-snippet). Google Search Central le précise dans « AI features and your website ». Pour y apparaître comme lien, une page doit être indexée et éligible à un extrait, sans autre exigence technique.

Ce qu'on déconseille : poser nosnippet pour « se protéger » des AI Overviews. La directive retire aussi vos extraits des résultats classiques, ce qui fait payer cher une protection symbolique.

05 · Le piège du pare-feu et du CDN

Un robots.txt ouvert derrière un pare-feu fermé ne sert à rien. La requête d'OAI-SearchBot ou de PerplexityBot est rejetée avant même d'atteindre le fichier. Certaines protections anti-robots de CDN, dont celles de Cloudflare, peuvent bloquer les crawlers IA par défaut selon les réglages du compte, et votre robots.txt n'en saura jamais rien.

Être bien réglé ne suffit plus. Encore faut-il être joignable, et chaque éditeur le dit à sa manière :

  • OpenAI publie les plages d'IP de chacun de ses robots, et son centre d'aide sur ChatGPT Search demande de vérifier que l'hébergeur ou le CDN laisse passer celles d'OAI-SearchBot ;
  • Perplexity recommande d'autoriser PerplexityBot ainsi que ses plages d'IP publiées pour apparaître dans ses résultats ;
  • Anthropic ne publie pas de plages d'IP et précise que le blocage par IP ne garantit pas l'exclusion : pour Claude, le robots.txt reste le bon outil.

Quels risques et quelles limites face aux IA ?

Le robots.txt a deux limites. Il ne retient que les robots qui le respectent, et la documentation de Perplexity indique que Perplexity-User ignore généralement le fichier. Ce qui a déjà été collecté, ensuite, reste collecté : Anthropic parle de contenus futurs pour ClaudeBot, pas du passé.

Le risque inverse coûte plus cher. Une règle trop large, ou un pare-feu trop zélé, ferme la porte aux robots de recherche et efface la marque des réponses sans que l'équipe marketing le sache.

06 · Vérifier que les robots passent vraiment

Trois contrôles disent si les robots passent vraiment : le fichier lui-même, les logs serveur, puis le rendu de vos pages sans JavaScript. Un fichier bien écrit reste lettre morte si le CDN filtre. Une page ouverte, elle, peut rester vide pour un robot qui n'exécute pas vos scripts.

La vérification se fait dans cet ordre :

  1. Tester le fichier : notre testeur robots.txt indique, user-agent par user-agent, ce qui est autorisé ou bloqué.
  2. Chercher les user-agents dans les logs serveur, avec la commande ci-dessous, pour compter les visites par code de réponse.
  3. Comparer les adresses IP aux plages publiées par OpenAI et Perplexity, car un user-agent se copie en une ligne par n'importe quel imposteur.
  4. Contrôler le rendu avec le test de rendu JavaScript, qui montre ce qu'un robot lit quand il n'exécute pas vos scripts.
# Visites des crawlers IA par code HTTP (format de log combiné)
grep -E "OAI-SearchBot|ChatGPT-User|Claude-SearchBot|Claude-User|PerplexityBot" access.log \
  | awk '{print $9}' | sort | uniq -c

Des 200 en nombre : les robots lisent vos pages. Une colonne de 403 : le pare-feu filtre, et le robots.txt n'y est pour rien.

Ce que ces contrôles pèsent dans un audit

Chez SEO Secret, ces vérifications forment la partie « préparation du site » de l'audit GEO gratuit. Elles pèsent 20 points sur 100 du score IA ; les 80 autres mesurent la présence de la marque dans les réponses. On y regarde l'accès des crawlers IA, les données structurées, le contenu lisible sans JavaScript, la description de l'offre, le sitemap et le llms.txt.

Le llms.txt y figure comme un point d'hygiène, pas comme un levier : on vérifie sa présence et sa propreté, sans en attendre la moindre citation. L'audit on-site complet suit la même logique sur plus de 300 critères, lisibilité par Google et par les crawlers LLM comprise.

07 · Et le fichier llms.txt ?

Le llms.txt n'est pas nécessaire pour être cité par une IA. Proposé par Jeremy Howard (Answer.AI) en septembre 2024, ce format résume un site à l'intention des modèles de langage. Google, dans son guide du 15 mai 2026 sur les fonctionnalités d'IA générative, écrit qu'aucun llms.txt ni document « pour IA » n'est requis.

Les données d'usage vont dans le même sens. Sur 137 210 domaines étudiés par Ahrefs en juin 2026, 28 % publient un llms.txt valide, et 97 % de ces fichiers n'ont reçu aucune requête en mai 2026.

Les robots de recherche IA pèsent 1,1 % des requêtes reçues par ces fichiers, les outils d'audit SEO 21,7 %. Le format est donc vingt fois plus lu par ceux qui vérifient sa présence que par ceux qui pourraient le citer.

Notre position : utile pour une documentation développeurs, sans effet prouvé sur les citations. Le vérifier ne coûte rien, en attendre une citation coûte du temps : ce temps va mieux au robots.txt et au pare-feu.

08 · Questions fréquentes

Peut-on bloquer GPTBot sans disparaître de ChatGPT ?

Oui : GPTBot collecte pour l'entraînement des modèles, alors que la présence dans ChatGPT Search dépend d'OAI-SearchBot. OpenAI indique que les deux réglages sont indépendants, ce qui permet de bloquer GPTBot sans perdre vos chances d'apparaître dans ChatGPT.

Que se passe-t-il si l'on bloque ClaudeBot ?

Selon le centre d'aide d'Anthropic, bloquer ClaudeBot exclut vos contenus futurs de l'entraînement de Claude. La visibilité dans la recherche de Claude dépend de Claude-SearchBot et de Claude-User, qui se règlent à part.

Perplexity respecte-t-il le robots.txt ?

PerplexityBot le respecte, et Perplexity recommande même de l'autoriser, avec ses plages d'IP publiées, pour apparaître dans ses résultats. Perplexity-User, déclenché par la question d'un utilisateur, ignore généralement le fichier selon la documentation de l'éditeur.

Bloquer Google-Extended retire-t-il un site des AI Overviews ?

Non, car Google précise que Google-Extended n'a aucun effet sur Google Search. Les AI Overviews et AI Mode reposent sur l'indexation par Googlebot et sur l'éligibilité de la page à un extrait.

Combien de temps avant qu'une modification soit prise en compte ?

Les robots relisent le robots.txt régulièrement, souvent en quelques heures, parfois en un jour ou un peu plus : le rythme varie d'un éditeur à l'autre. Le plus sûr reste de vérifier dans vos logs serveur que le comportement de chaque robot a bien changé.

Vous êtes cité sur ChatGPT ? On regarde ensemble.

Sources

  • OpenAI, documentation « Overview of OpenAI Crawlers » et centre d'aide « ChatGPT search », consultés le 10 novembre 2026.
  • Anthropic, centre d'aide « Does Anthropic crawl data from the web… », consulté le 10 novembre 2026.
  • Perplexity, documentation « Perplexity Crawlers », consultée le 10 novembre 2026.
  • Google, documentation des robots d'exploration Google, section « Google-Extended », consultée le 10 novembre 2026.
  • Google Search Central, « AI features and your website », consulté le 10 novembre 2026.
  • Google Search Central, « Optimizing your website for generative AI features on Google Search », mai 2026.
  • Ahrefs, « What Is llms.txt, and Should You Care About It? » et étude sur 137 210 domaines, juin 2026.
  • Jeremy Howard (Answer.AI), proposition du format llms.txt, septembre 2024.
À lire aussi