Glossaire SEO, IA et GEO
GPTBot en bref : le robot d'entraînement d'OpenAI
GPTBot est le robot d'OpenAI qui parcourt le web pour collecter des pages pouvant servir à entraîner ses modèles d'IA, dont ceux de ChatGPT. Le bloquer dans le fichier robots.txt exclut vos pages de cet entraînement, sans effet sur la recherche de ChatGPT.
Le guide des robots des IA et du robots.txt donne les réglages prêts à copier. OpenAI utilise un autre robot, OAI-SearchBot, pour trouver les pages que cite la recherche de ChatGPT, et un troisième, ChatGPT-User, pour lire une page à la demande d'un utilisateur. Les réglages sont indépendants ; si vous autorisez GPTBot et OAI-SearchBot, OpenAI peut se contenter d'une seule exploration pour les deux usages.
Faut-il bloquer GPTBot ?
C'est un choix, qui ne concerne que l'entraînement : certains refusent que leurs textes servent à entraîner une IA, d'autres préfèrent que les modèles connaissent leur entreprise. Le bloquer ne vous retire pas des réponses de ChatGPT, tant qu'OAI-SearchBot reste autorisé. Voici les deux lignes à ajouter au fichier robots.txt :
User-agent: GPTBot Disallow: /
Sources
OpenAI, « Overview of OpenAI Crawlers »
