Robots.txt et robots des IA : les réglages SEO et GEO à connaître
Le fichier robots.txt indique aux robots quelles pages de votre site ils peuvent explorer. Les IA en utilisent deux sortes : des robots de recherche, qui trouvent les pages à citer, et des robots d'entraînement. Pour être cité, laissez passer les premiers ; bloquer les seconds reste votre choix.
Sommaire
- C'est quoi le fichier robots.txt ?
- Les robots des IA : lesquels servent à vous citer
- Robots.txt : les réglages SEO, IA et GEO selon votre choix
- Un fichier robots.txt commenté
- Les erreurs qui rendent votre site invisible aux IA
- Comment vérifier votre fichier robots.txt
- Questions fréquentes : robots.txt, SEO, IA et GEO
C'est quoi le fichier robots.txt ?
C'est un simple fichier texte, placé à la racine de votre site : votresite.fr/robots.txt. Ouvrez cette adresse dans votre navigateur, vous verrez le vôtre. Il contient des groupes de règles : chaque groupe commence par le nom d'un robot (User-agent), suivi des parties du site qu'il peut explorer (Allow) ou non (Disallow).
User-agent: * Disallow: /panier/ Sitemap: https://votresite.fr/sitemap.xml
Ce fichier dit à tous les robots (*) de ne pas explorer le panier, et leur indique où trouver la liste des pages du site.
Deux points à retenir :
- C'est une consigne, pas un verrou. Les grands robots la respectent, mais le fichier est public et ne protège rien. Pour garder un contenu privé, il faut une connexion.
- Il règle l'exploration, pas l'affichage. Une page interdite peut rester connue d'un moteur si d'autres sites y renvoient. Pour qu'une page n'apparaisse pas dans Google, c'est la balise noindex qu'il faut utiliser, pas le robots.txt.
Les robots des IA : lesquels servent à vous citer
Chaque IA publie la liste de ses robots. Voici ce qu'en disent leurs documentations officielles.
| IA | Robot | Rôle | Si vous le bloquez |
|---|---|---|---|
| ChatGPT | OAI-SearchBot | Trouver les pages affichées dans la recherche de ChatGPT | Vos pages ne sont plus reprises dans les réponses ; au mieux un lien et un titre |
| ChatGPT | GPTBot | Collecter des pages pour entraîner les modèles d'OpenAI | Vos pages sont exclues de l'entraînement, sans effet sur la recherche |
| ChatGPT | ChatGPT-User | Lire une page à la demande d'un utilisateur | Selon OpenAI, le robots.txt peut ne pas s'appliquer |
| Claude | Claude-SearchBot | Indexer des pages pour la recherche | Visibilité réduite dans les réponses de Claude |
| Claude | ClaudeBot | Collecter des pages pour l'entraînement | Vos futures pages sont exclues de l'entraînement |
| Claude | Claude-User | Lire une page à la demande d'un utilisateur | Visibilité réduite pour les recherches demandées par les utilisateurs |
| Perplexity | PerplexityBot | Afficher et relier des sites dans ses résultats ; pas d'entraînement | Perplexity n'indexe plus le texte de vos pages ; il peut encore afficher le domaine, le titre et un bref résumé |
| Perplexity | Perplexity-User | Lire une page à la demande d'un utilisateur | Selon Perplexity, ce robot ignore en général le robots.txt |
| Googlebot | Explorer les pages pour Google Search, AI Overviews et mode IA compris | Google ne peut plus lire vos pages ni les citer dans ses réponses | |
| Google-Extended | Pas un robot à part : une consigne qui règle l'usage de vos pages pour entraîner Gemini et pour certains autres systèmes d'IA de Google | Aucun effet sur Google Search ni sur le classement, selon Google |
Gardez aussi Bingbot, le robot de Bing, autorisé : ChatGPT s'appuie en partie sur des moteurs de recherche tiers.
Les autres robots à connaître
| Éditeur | Robot | Rôle |
|---|---|---|
| Mistral AI | MistralAI-Index | Indexer des pages pour la recherche de son assistant |
| Mistral AI | MistralAI-Training | Collecter des pages pour l'entraînement de ses modèles |
| Mistral AI | MistralAI-User | Lire une page à la demande d'un utilisateur, en respectant le robots.txt |
| Apple | Applebot | Explorer le web pour Siri, Spotlight et Safari ; ses données peuvent aussi servir à l'entraînement, sauf refus par Applebot-Extended |
| Apple | Applebot-Extended | Pas un robot à part : une consigne qui refuse l'entraînement des modèles d'Apple, sans effet sur ses résultats de recherche |
| Common Crawl | CCBot | Constituer une archive publique du web, réutilisée par de nombreux projets d'IA |
Mistral AI, l'IA française, suit la même logique que ses concurrents : un robot pour la recherche, un pour l'entraînement, un pour les demandes des utilisateurs.
Robots.txt : les réglages SEO, IA et GEO selon votre choix
Vous voulez être cité partout
C'est le bon choix pour la plupart des entreprises. Un fichier qui laisse tout passer, sauf les pages sans intérêt, suffit :
User-agent: * Disallow: /panier/ Sitemap: https://votresite.fr/sitemap.xml
Vous voulez être cité, sans servir à l'entraînement
User-agent: * Disallow: /panier/ User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / Sitemap: https://votresite.fr/sitemap.xml
Un robot suit le groupe qui porte son nom, sinon le groupe *. Ici, OAI-SearchBot, Claude-SearchBot, PerplexityBot et Googlebot suivent le premier groupe et restent autorisés. À savoir : bloquer Google-Extended peut aussi réduire l'usage de vos pages dans certaines réponses de Gemini.
Vous voulez protéger une partie du site
Interdisez seulement les dossiers concernés, par exemple /espace-client/, et protégez-les surtout par une connexion : le robots.txt, public, ne cache rien.
Un fichier robots.txt commenté
Voici un fichier comme on en trouve souvent, après un copier-coller « pour bloquer les IA » :
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: GPTBot Disallow: / User-agent: OAI-SearchBot Disallow: / User-agent: PerplexityBot Disallow: / Sitemap: https://votresite.fr/sitemap_index.xml
- Le premier groupe est celui de WordPress : il ferme l'administration et laisse passer le reste. Rien à changer.
- GPTBot : l'entraînement des modèles d'OpenAI est refusé. C'est un choix, sans effet sur la recherche.
- OAI-SearchBot : c'est le problème. ChatGPT ne peut plus reprendre vos pages dans ses réponses. Supprimez ces deux lignes.
- PerplexityBot : même chose pour Perplexity, dont il est le robot de recherche. Supprimez aussi ces deux lignes.
- Sitemap : l'adresse du plan du site, utile à tous les robots. À garder.
Les erreurs qui rendent votre site invisible aux IA
- Le « Disallow: / » oublié. Posé pendant la création du site pour cacher la version de test, il bloque tous les robots, IA comprises, une fois le site en ligne.
- Un blocage en dehors du robots.txt. Certains hébergeurs, pare-feu ou services comme Cloudflare bloquent des robots des IA d'un clic. Chez Cloudflare, depuis le 15 septembre 2026, les options « Block » et « Block on pages with ads » arrêtent aussi des robots à usages multiples, comme Googlebot, Bingbot ou Applebot, y compris pour la recherche ; « Disallow AI Training » refuse seulement l'entraînement. Pour un site qui affiche de la publicité, Cloudflare propose ce blocage sur les pages avec publicité dès l'inscription. Votre robots.txt peut être parfait et vos pages rester inaccessibles.
- Un réglage de la Search Console. Depuis le 31 août 2026, Google permet d'exclure un site de ses fonctions d'IA générative, dans les paramètres de la Search Console. Avec l'option « Exclure les liens et le contenu de mon site des fonctionnalités d'IA générative de la Recherche », il retire vos pages des AI Overviews et du mode IA, même si elles sont bien indexées.
- Un fichier au mauvais endroit. Il doit se trouver à la racine de chaque adresse : votresite.fr/robots.txt, et non dans un sous-dossier.
- Des fichiers CSS ou JavaScript bloqués, qui empêchent les robots d'afficher vos pages comme vos visiteurs.
- Le robots.txt utilisé pour cacher une page. Il ne la retire pas de Google : utilisez plutôt la balise noindex.
Comment vérifier votre fichier robots.txt
- Ouvrez votresite.fr/robots.txt et cherchez les lignes « Disallow: / », ainsi que les noms des robots du tableau.
- Dans la Search Console de Google, le rapport robots.txt, dans les paramètres, montre la version lue par Google et ses éventuelles erreurs.
- Si votre site passe par Cloudflare ou un pare-feu, vérifiez son réglage des robots des IA.
- Les journaux de votre hébergeur montrent quels robots visitent réellement vos pages.
Sur WordPress, le fichier se modifie depuis Yoast SEO ou Rank Math : la page WordPress détaille la marche à suivre. L'audit gratuit d'iasyo vérifie automatiquement l'accès de chaque robot des IA à votre site.
Questions fréquentes : robots.txt, SEO, IA et GEO
C'est quoi le robot txt ?
Le fichier robots.txt, placé à la racine d'un site, indique aux robots des moteurs de recherche et des IA quelles pages ils peuvent explorer. C'est une consigne publique, respectée par les grands robots, mais qui ne protège aucun contenu.
Comment utiliser le fichier robots.txt de WordPress ?
WordPress crée un fichier robots.txt virtuel tant qu'il n'en existe pas sur le serveur. Pour le modifier, passez par votre extension SEO : dans Yoast SEO, Outils puis Éditeur de fichiers ; dans Rank Math, en mode avancé, Réglages généraux puis Modifier le robots.txt.
Faut-il bloquer GPTBot ?
C'est un choix. GPTBot collecte des pages pour entraîner les modèles d'OpenAI. Le bloquer ne vous retire pas de la recherche de ChatGPT, tant qu'OAI-SearchBot reste autorisé : OpenAI précise que les deux réglages sont indépendants.
Bloquer l'entraînement des IA me fait-il disparaître de leurs réponses ?
Non, si vous laissez passer leurs robots de recherche : OAI-SearchBot pour ChatGPT, Claude-SearchBot pour Claude, PerplexityBot pour Perplexity et Googlebot pour Google. Google-Extended n'a aucun effet sur Google Search.
Combien de temps faut-il pour qu'un changement soit pris en compte ?
Environ 24 heures pour OpenAI, selon sa documentation. Google garde en général le fichier en mémoire jusqu'à 24 heures lui aussi.
Le robots.txt protège-t-il mes contenus des IA ?
Non. C'est une consigne publique, respectée par les grands robots, pas une protection. Les robots qui lisent une page à la demande d'un utilisateur, comme Perplexity-User, peuvent l'ignorer. Pour protéger un contenu, il faut une connexion ou un pare-feu.
Où se trouve le fichier robots.txt ?
À la racine de votre site : votresite.fr/robots.txt. Chaque sous-domaine a le sien : boutique.votresite.fr a besoin de son propre fichier.
Faut-il un groupe de règles pour chaque IA ?
Non. Le groupe « User-agent: * » s'applique à tous les robots qui n'ont pas de groupe à leur nom. Ajoutez un groupe seulement pour les robots que vous voulez traiter à part, par exemple GPTBot si vous refusez l'entraînement.
À propos de l’auteur
Sources
Google, documentation des robots d'exploration : « Présentation du fichier robots.txt et guide » et « Comment Google interprète la spécification robots.txt »
Google Search Central, « Google's common crawlers » (Google-Extended)
OpenAI, « Overview of OpenAI Crawlers »
Anthropic, « Does Anthropic crawl data from the web, and how can site owners block the crawler? »
Perplexity, « Perplexity Crawlers » ; Mistral AI, « Robots » ; Apple, « About Applebot » ; Common Crawl, FAQ
IETF, RFC 9309 « Robots Exclusion Protocol », 2022
Cloudflare, « Your site, your rules: new AI traffic options for all customers », 1er juillet 2026 ; Google, aide de la Search Console sur le réglage d'IA générative de la recherche
Toutes consultées le 28 septembre 2026
