Outil SEO, IA et GEO gratuitGénérateur de robots.txt
Choisissez un modèle, votre plateforme et, pour chaque IA, ce que vous autorisez : la recherche, qui permet d'être cité, et l'entraînement des modèles. Le générateur écrit le fichier robots.txt, commenté ligne par ligne, prêt à copier ou à télécharger, avec la marche à suivre pour votre plateforme.
Comment utiliser le générateur
- Choisissez un modèle : être cité partout convient à la plupart des entreprises.
- Indiquez votre plateforme, puis les dossiers que les robots n'ont pas à visiter, comme le panier ou le compte client.
- Réglez les robots des IA, un par un si vous le souhaitez.
- Copiez le fichier et suivez la marche à suivre pour votre plateforme.
Recherche ou entraînement : ce que vous choisissez
Chaque IA utilise plusieurs robots. Les robots de recherche trouvent les pages que l'IA cite dans ses réponses : les bloquer, c'est renoncer à être cité. Les robots d'entraînement collectent des pages pour les futurs modèles : les refuser ne vous retire pas des réponses ; OpenAI le précise pour les siens, et Anthropic distingue les siens de la même façon. Le guide des robots des IA détaille le rôle de chacun.
Avant de mettre le fichier en ligne
- Gardez une copie de votre fichier actuel.
- Après la mise en ligne, ouvrez votresite.fr/robots.txt pour vérifier qu'il s'affiche.
- Testez-le avec le testeur robots.txt pour les IA.
- Consultez le rapport robots.txt de la Search Console de Google.
- Comptez environ 24 heures pour qu'OpenAI prenne en compte le changement, selon sa documentation.
Questions fréquentes : robots.txt, SEO, IA et GEO
C'est quoi le robot txt ?
Le fichier robots.txt, placé à la racine d'un site, indique aux robots des moteurs de recherche et des IA quelles pages ils peuvent explorer. Les grands robots le respectent, mais il ne protège aucun contenu : il est public.
Comment puis-je utiliser le fichier robots.txt de WordPress ?
WordPress crée un fichier virtuel tant qu'il n'en existe pas sur le serveur. Pour le remplacer par celui du générateur, collez-le dans Yoast SEO, Outils puis Éditeur de fichiers, ou dans Rank Math, en mode avancé, Réglages généraux puis Modifier le robots.txt.
Qu'est-ce qu'un robot d'indexation ?
Un programme qui parcourt le web pour découvrir et lire les pages. Googlebot le fait pour Google ; OAI-SearchBot pour la recherche de ChatGPT ; Claude-SearchBot pour Claude ; PerplexityBot pour Perplexity.
Le fichier généré convient-il à mon site ?
C'est une base sûre. Si votre site a déjà des règles particulières, ajoutez-les au fichier généré plutôt que de les perdre, et testez le résultat.
Faut-il refuser les robots d'entraînement ?
C'est un choix, sans effet sur votre présence dans les réponses tant que les robots de recherche restent autorisés. Le modèle « Être cité sans servir à l'entraînement » fait ce réglage pour vous.
