Herramienta SEO, IA y GEO gratisGenerador de robots.txt
Elija una plantilla, su plataforma y, para cada IA, lo que autoriza: la búsqueda, que permite aparecer citado, y el entrenamiento de los modelos. El generador escribe el archivo robots.txt, comentado línea por línea, listo para copiar o descargar, con los pasos a seguir para su plataforma.
Cómo usar el generador
- Elija una plantilla: «Aparecer citado en todas partes» conviene a la mayoría de las empresas.
- Indique su plataforma y después las carpetas que los rastreadores no necesitan visitar, como el carrito o la cuenta de cliente.
- Configure los rastreadores de IA, uno a uno si lo desea.
- Copie el archivo y siga los pasos para su plataforma.
Búsqueda o entrenamiento: lo que usted elige
Cada IA utiliza varios rastreadores. Los rastreadores de búsqueda encuentran las páginas que la IA cita en sus respuestas: bloquearlos es renunciar a aparecer citado. Los rastreadores de entrenamiento recopilan páginas para los futuros modelos: bloquearlos no le retira de las respuestas; OpenAI lo precisa para los suyos, y Anthropic distingue los suyos de la misma manera. La guía de los rastreadores de IA detalla la función de cada uno.
Antes de publicar el archivo
- Guarde una copia de su archivo actual.
- Tras publicarlo, abra suweb.es/robots.txt para comprobar que se muestra.
- Pruébelo con el Robots.txt tester para IA.
- Consulte el informe de robots.txt de Google Search Console.
- Cuente unas 24 horas para que OpenAI tenga en cuenta el cambio, según su documentación.
Preguntas frecuentes: robots.txt, SEO, IA y GEO
¿Qué es el robots.txt?
El archivo robots.txt, situado en la raíz de una web, indica a los rastreadores de los buscadores y de las IA qué páginas pueden rastrear. Los grandes rastreadores lo respetan, pero no protege ningún contenido: es público.
¿Cómo uso el archivo robots.txt de WordPress?
WordPress crea un archivo virtual mientras no exista uno en el servidor. Para sustituirlo por el del generador, péguelo en Yoast SEO, en Herramientas y luego Editor de archivos, o en Rank Math, en modo avanzado, en Ajustes generales y luego Editar robots.txt.
¿Qué es un rastreador web?
Un programa que recorre la web para descubrir y leer las páginas. Googlebot lo hace para Google; OAI-SearchBot, para la búsqueda de ChatGPT; Claude-SearchBot, para Claude; PerplexityBot, para Perplexity.
¿El archivo generado es adecuado para mi web?
Es una base segura. Si su web ya tiene reglas propias, añádalas al archivo generado en lugar de perderlas, y pruebe el resultado.
¿Hay que bloquear los rastreadores de entrenamiento?
Es una elección, sin efecto en su presencia en las respuestas mientras los rastreadores de búsqueda sigan permitidos. La plantilla «Aparecer citado sin servir para el entrenamiento» hace este ajuste por usted.
