Robots.txt y rastreadores de IA: los ajustes SEO y GEO que debe conocer

Es un simple archivo de texto, situado en la raíz de su web: suweb.es/robots.txt. Abra esta dirección en su navegador y verá el suyo. Contiene grupos de reglas: cada grupo empieza por el nombre de un rastreador (User-agent), seguido de las partes de la web que puede rastrear (Allow) o no (Disallow).

Este archivo pide a todos los rastreadores (*) que no rastreen el carrito, y les indica dónde encontrar la lista de páginas de la web.

Dos puntos que conviene retener:

• Es una indicación, no un cerrojo. Los grandes rastreadores la respetan, pero el archivo es público y no protege nada. Para mantener un contenido privado, hace falta un inicio de sesión.
• Regula el rastreo, no la visualización. Una página prohibida puede seguir siendo conocida por un buscador si otras webs enlazan con ella. Para que una página no aparezca en Google, hay que usar la etiqueta noindex, no el robots.txt.

Cada IA publica la lista de sus rastreadores. Esto es lo que dicen sus documentaciones oficiales.

Mantenga también permitido Bingbot, el rastreador de Bing: ChatGPT se apoya en parte en buscadores de terceros.

Otros rastreadores que conviene conocer

Mistral AI, la IA francesa, sigue la misma lógica que sus competidores: un rastreador para la búsqueda, uno para el entrenamiento y uno para las peticiones de los usuarios.

Es la opción adecuada para la mayoría de las empresas. Basta un archivo que lo deje pasar todo, salvo las páginas sin interés:

Un rastreador sigue el grupo que lleva su nombre o, si no lo hay, el grupo *. Aquí, OAI-SearchBot, Claude-SearchBot, PerplexityBot y Googlebot se rigen por el primer grupo y quedan permitidos. Conviene saber que bloquear Google-Extended también puede reducir el uso de sus páginas en algunas respuestas de Gemini.

Prohíba solo las carpetas afectadas, por ejemplo /mi-cuenta/, y protéjalas sobre todo con un inicio de sesión: el robots.txt, que es público, no oculta nada.

El Generador de robots.txt de iasyo escribe estos archivos por usted, rastreador por rastreador.

Este es un archivo como los que se encuentran a menudo, tras un copiar y pegar «para bloquear las IA»:

• El primer grupo es el de WordPress: cierra la administración y deja pasar el resto. No hay nada que cambiar.
• GPTBot: se rechaza el entrenamiento de los modelos de OpenAI. Es una elección, sin efecto en la búsqueda.
• OAI-SearchBot: aquí está el problema. ChatGPT ya no puede retomar sus páginas en sus respuestas. Elimine estas dos líneas.
• PerplexityBot: lo mismo para Perplexity, del que es el rastreador de búsqueda. Elimine también estas dos líneas.
• Sitemap: la dirección del sitemap, útil para todos los rastreadores. Consérvela.

• El «Disallow: /» olvidado. Puesto durante la creación de la web para ocultar la versión de pruebas, bloquea a todos los rastreadores, IA incluidas, una vez que la web está en línea.
• Un bloqueo fuera del robots.txt. Algunos proveedores de alojamiento, cortafuegos o servicios como Cloudflare bloquean rastreadores de IA con un clic. En Cloudflare, desde el 15 de septiembre de 2026, las opciones «Block» y «Block on pages with ads» también detienen a rastreadores de uso múltiple, como Googlebot, Bingbot o Applebot, incluso para la búsqueda; «Disallow AI Training» solo rechaza el entrenamiento. Para una web que muestra publicidad, Cloudflare propone este bloqueo en las páginas con publicidad desde el alta. Su robots.txt puede ser perfecto y sus páginas, seguir siendo inaccesibles.
• Un ajuste de Search Console. Desde el 31 de agosto de 2026, Google permite excluir una web de sus funciones de IA generativa, en los ajustes de Search Console. Con la opción «Excluir los enlaces y el contenido de mi sitio de las funciones de IA generativa de la Búsqueda», sus páginas salen de las AI Overviews y del Modo IA, aunque estén bien indexadas.
• Un archivo en el lugar equivocado. Debe estar en la raíz de cada dirección: suweb.es/robots.txt, y no en una subcarpeta.
• Archivos CSS o JavaScript bloqueados, que impiden a los rastreadores mostrar sus páginas como las ven sus visitantes.
• El robots.txt usado para ocultar una página. No la retira de Google: utilice mejor la etiqueta noindex.

• Abra suweb.es/robots.txt y busque las líneas «Disallow: /», así como los nombres de los rastreadores de la tabla.
• Pruébelo rastreador por rastreador con el Robots.txt tester para IA de iasyo, gratis.
• En Google Search Console, el informe de robots.txt, en los ajustes, muestra la versión que ha leído Google y sus posibles errores.
• Si su web pasa por Cloudflare o por un cortafuegos, revise su ajuste de rastreadores de IA.
• Los registros de su proveedor de alojamiento muestran qué rastreadores visitan realmente sus páginas.

En WordPress, el archivo se modifica desde Yoast SEO o Rank Math: la página SEO para IA en WordPress detalla los pasos. La auditoría gratis de iasyo comprueba automáticamente el acceso de cada rastreador de IA a su web.