Robots.txt e crawler AI: le impostazioni SEO e GEO da conoscere
Il file robots.txt indica ai crawler quali pagine del suo sito possono esplorare. Le AI ne usano di due tipi: crawler di ricerca, che trovano le pagine da citare, e crawler di addestramento. Per essere citato, lasci passare i primi; bloccare i secondi resta una sua scelta.
Indice
Cos'è il file robots.txt?
È un semplice file di testo, posto nella radice del suo sito: ilsuosito.it/robots.txt. Apra questo indirizzo nel browser e vedrà il suo. Contiene gruppi di regole: ogni gruppo comincia con il nome di un crawler (User-agent), seguito dalle parti del sito che può esplorare (Allow) o no (Disallow).
User-agent: * Disallow: /carrello/ Sitemap: https://ilsuosito.it/sitemap.xml
Questo file dice a tutti i crawler (*) di non esplorare il carrello, e indica loro dove trovare l'elenco delle pagine del sito.
Due punti da ricordare:
- È un'istruzione, non una serratura. I grandi crawler la rispettano, ma il file è pubblico e non protegge nulla. Per mantenere privato un contenuto, serve un accesso con login.
- Regola l'esplorazione, non la visualizzazione. Una pagina vietata può restare nota a un motore se altri siti rimandano a essa. Perché una pagina non compaia su Google, bisogna usare il tag noindex, non il robots.txt.
I crawler delle AI: quali servono a citarla
Ogni AI pubblica l'elenco dei suoi crawler. Ecco cosa ne dicono le loro documentazioni ufficiali.
| AI | Crawler | Ruolo | Se lo blocca |
|---|---|---|---|
| ChatGPT | OAI-SearchBot | Trovare le pagine mostrate nella ricerca di ChatGPT | Le sue pagine non vengono più riprese nelle risposte; al massimo un link e un titolo |
| ChatGPT | GPTBot | Raccogliere pagine per addestrare i modelli di OpenAI | Le sue pagine sono escluse dall'addestramento, senza effetti sulla ricerca |
| ChatGPT | ChatGPT-User | Leggere una pagina su richiesta di un utente | Secondo OpenAI, il robots.txt può non applicarsi |
| Claude | Claude-SearchBot | Indicizzare pagine per la ricerca | Visibilità ridotta nelle risposte di Claude |
| Claude | ClaudeBot | Raccogliere pagine per l'addestramento | Le sue pagine future sono escluse dall'addestramento |
| Claude | Claude-User | Leggere una pagina su richiesta di un utente | Visibilità ridotta per le ricerche richieste dagli utenti |
| Perplexity | PerplexityBot | Mostrare e collegare siti nei suoi risultati; nessun addestramento | Perplexity non indicizza più il testo delle sue pagine; può ancora mostrare il dominio, il titolo e un breve riassunto |
| Perplexity | Perplexity-User | Leggere una pagina su richiesta di un utente | Secondo Perplexity, questo crawler in genere ignora il robots.txt |
| Googlebot | Esplorare le pagine per la Ricerca Google, AI Overview e AI Mode compresi | Google non può più leggere le sue pagine né citarle nelle sue risposte | |
| Google-Extended | Non è un crawler a sé: un'istruzione che regola l'uso delle sue pagine per addestrare Gemini e per alcuni altri sistemi di AI di Google | Nessun effetto sulla Ricerca Google né sul posizionamento, secondo Google |
Mantenga autorizzato anche Bingbot, il crawler di Bing: ChatGPT si basa in parte su motori di ricerca di terze parti.
Gli altri crawler da conoscere
| Azienda | Crawler | Ruolo |
|---|---|---|
| Mistral AI | MistralAI-Index | Indicizzare pagine per la ricerca del suo assistente |
| Mistral AI | MistralAI-Training | Raccogliere pagine per l'addestramento dei suoi modelli |
| Mistral AI | MistralAI-User | Leggere una pagina su richiesta di un utente, rispettando il robots.txt |
| Apple | Applebot | Esplorare il web per Siri, Spotlight e Safari; i suoi dati possono servire anche all'addestramento, salvo rifiuto tramite Applebot-Extended |
| Apple | Applebot-Extended | Non è un crawler a sé: un'istruzione che rifiuta l'addestramento dei modelli di Apple, senza effetti sui suoi risultati di ricerca |
| Common Crawl | CCBot | Costituire un archivio pubblico del web, riutilizzato da numerosi progetti di AI |
Mistral AI, l'AI francese, segue la stessa logica dei concorrenti: un crawler per la ricerca, uno per l'addestramento, uno per le richieste degli utenti.
Robots.txt: le impostazioni SEO, AI e GEO secondo la sua scelta
Vuole essere citato ovunque
È la scelta giusta per la maggior parte delle aziende. Basta un file che lasci passare tutto, tranne le pagine senza interesse:
User-agent: * Disallow: /carrello/ Sitemap: https://ilsuosito.it/sitemap.xml
Vuole essere citato, senza servire all'addestramento
User-agent: * Disallow: /carrello/ User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / Sitemap: https://ilsuosito.it/sitemap.xml
Un crawler segue il gruppo che porta il suo nome, altrimenti il gruppo *. Qui OAI-SearchBot, Claude-SearchBot, PerplexityBot e Googlebot seguono il primo gruppo e restano autorizzati. Da sapere: bloccare Google-Extended può anche ridurre l'uso delle sue pagine in alcune risposte di Gemini.
Vuole proteggere una parte del sito
Vieti solo le cartelle interessate, per esempio /area-clienti/, e soprattutto le protegga con un accesso con login: il robots.txt, pubblico, non nasconde nulla.
Un file robots.txt commentato
Ecco un file come se ne trovano spesso, dopo un copia-incolla «per bloccare le AI»:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: GPTBot Disallow: / User-agent: OAI-SearchBot Disallow: / User-agent: PerplexityBot Disallow: / Sitemap: https://ilsuosito.it/sitemap_index.xml
- Il primo gruppo è quello di WordPress: chiude l'amministrazione e lascia passare il resto. Niente da cambiare.
- GPTBot: l'addestramento dei modelli di OpenAI è rifiutato. È una scelta, senza effetti sulla ricerca.
- OAI-SearchBot: è questo il problema. ChatGPT non può più riprendere le sue pagine nelle risposte. Elimini queste due righe.
- PerplexityBot: stessa cosa per Perplexity, di cui è il crawler di ricerca. Elimini anche queste due righe.
- Sitemap: l'indirizzo della mappa del sito, utile a tutti i crawler. Da tenere.
Gli errori che rendono il suo sito invisibile alle AI
- Il «Disallow: /» dimenticato. Messo durante la creazione del sito per nascondere la versione di prova, blocca tutti i crawler, AI comprese, una volta che il sito è online.
- Un blocco al di fuori del robots.txt. Alcuni hosting, firewall o servizi come Cloudflare bloccano i crawler delle AI con un clic. Su Cloudflare, dal 15 settembre 2026, le opzioni «Block» e «Block on pages with ads» fermano anche i crawler a uso multiplo, come Googlebot, Bingbot o Applebot, anche per la ricerca; «Disallow AI Training» rifiuta soltanto l'addestramento. Per un sito che mostra pubblicità, Cloudflare propone questo blocco sulle pagine con pubblicità già all'iscrizione. Il suo robots.txt può essere perfetto e le sue pagine restare inaccessibili.
- Un'impostazione di Search Console. Dal 31 agosto 2026, Google permette di escludere un sito dalle sue funzionalità di AI generativa, nelle impostazioni di Search Console. Se l'esclusione è attiva, le sue pagine escono dalle AI Overview e dall'AI Mode, anche se sono ben indicizzate.
- Un file nel posto sbagliato. Deve trovarsi nella radice di ogni indirizzo: ilsuosito.it/robots.txt, e non in una sottocartella.
- File CSS o JavaScript bloccati, che impediscono ai crawler di visualizzare le sue pagine come le vedono i suoi visitatori.
- Il robots.txt usato per nascondere una pagina. Non la toglie da Google: usi piuttosto il tag noindex.
Come verificare il suo file robots.txt
- Apra ilsuosito.it/robots.txt e cerchi le righe «Disallow: /», oltre ai nomi dei crawler della tabella.
- In Google Search Console, il report robots.txt, nelle impostazioni, mostra la versione letta da Google e gli eventuali errori.
- Se il suo sito passa per Cloudflare o un firewall, verifichi l'impostazione relativa ai crawler delle AI.
- I log del suo hosting mostrano quali crawler visitano davvero le sue pagine.
Su WordPress, il file si modifica da Yoast SEO o da Rank Math: la pagina SEO AI per WordPress spiega la procedura. L'audit gratuito di iasyo verifica automaticamente l'accesso di ogni crawler delle AI al suo sito.
Domande frequenti: robots.txt, SEO, AI e GEO
Cos'è il file robots.txt?
Il file robots.txt, posto nella radice di un sito, indica ai crawler dei motori di ricerca e delle AI quali pagine possono esplorare. È un'istruzione pubblica, rispettata dai grandi crawler, ma che non protegge alcun contenuto.
Come usare il file robots.txt di WordPress?
WordPress crea un file robots.txt virtuale finché non ne esiste uno sul server. Per modificarlo, passi dal suo plugin SEO: in Yoast SEO, Strumenti poi Modifica file; in Rank Math, in modalità avanzata, Impostazioni generali poi Modifica robots.txt.
Bisogna bloccare GPTBot?
È una scelta. GPTBot raccoglie pagine per addestrare i modelli di OpenAI. Bloccarlo non la esclude dalla ricerca di ChatGPT, finché OAI-SearchBot resta autorizzato: OpenAI precisa che le due impostazioni sono indipendenti.
Bloccare l'addestramento delle AI mi fa sparire dalle loro risposte?
No, se lascia passare i loro crawler di ricerca: OAI-SearchBot per ChatGPT, Claude-SearchBot per Claude, PerplexityBot per Perplexity e Googlebot per Google. Google-Extended non ha alcun effetto sulla Ricerca Google.
Quanto tempo serve perché una modifica venga presa in considerazione?
Circa 24 ore per OpenAI, secondo la sua documentazione. Anche Google, in genere, conserva il file in memoria fino a 24 ore.
Il robots.txt protegge i miei contenuti dalle AI?
No. È un'istruzione pubblica, rispettata dai grandi crawler, non una protezione. I crawler che leggono una pagina su richiesta di un utente, come Perplexity-User, possono ignorarla. Per proteggere un contenuto, servono un accesso con login o un firewall.
Dove si trova il file robots.txt?
Nella radice del suo sito: ilsuosito.it/robots.txt. Ogni sottodominio ha il suo: negozio.ilsuosito.it ha bisogno di un proprio file.
Serve un gruppo di regole per ogni AI?
No. Il gruppo «User-agent: *» si applica a tutti i crawler che non hanno un gruppo a loro nome. Aggiunga un gruppo solo per i crawler che vuole trattare a parte, per esempio GPTBot se rifiuta l'addestramento.
L'autore
Fonti
Google, documentazione dei crawler: «Introduction to robots.txt» e «How Google interprets the robots.txt specification»
Google Search Central, «Google's common crawlers» (Google-Extended)
OpenAI, «Overview of OpenAI Crawlers»
Anthropic, «Does Anthropic crawl data from the web, and how can site owners block the crawler?»
Perplexity, «Perplexity Crawlers»; Mistral AI, «Robots»; Apple, «About Applebot»; Common Crawl, FAQ
IETF, RFC 9309 «Robots Exclusion Protocol», 2022
Cloudflare, «Your site, your rules: new AI traffic options for all customers», 1° luglio 2026; Google, guida di Search Console sull'impostazione di AI generativa della Ricerca
Tutte consultate il 28 settembre 2026
