Strumento SEO, AI e GEO gratuitoGeneratore robots.txt
Scelga un modello, la sua piattaforma e, per ogni AI, cosa autorizza: la ricerca, che permette di essere citati, e l'addestramento dei modelli. Il generatore scrive il file robots.txt, commentato riga per riga, pronto da copiare o da scaricare, con la procedura da seguire per la sua piattaforma.
Come usare il generatore
- Scelga un modello: essere citati ovunque va bene per la maggior parte delle aziende.
- Indichi la sua piattaforma, poi le cartelle che i crawler non devono visitare, come il carrello o l'area clienti.
- Regoli i crawler AI, uno per uno se lo desidera.
- Copi il file e segua la procedura per la sua piattaforma.
Ricerca o addestramento: cosa sceglie
Ogni AI usa più crawler. I crawler di ricerca trovano le pagine che l'AI cita nelle sue risposte: bloccarli significa rinunciare a essere citati. I crawler di addestramento raccolgono pagine per i modelli futuri: rifiutarli non la esclude dalle risposte; OpenAI lo precisa per i propri, e Anthropic distingue i suoi allo stesso modo. La guida ai crawler AI descrive il ruolo di ciascuno.
Prima di mettere online il file
- Conservi una copia del suo file attuale.
- Dopo la pubblicazione, apra ilsuosito.it/robots.txt per verificare che venga visualizzato.
- Lo verifichi con il test robots.txt per le AI.
- Consulti il rapporto robots.txt di Google Search Console.
- Calcoli circa 24 ore perché OpenAI tenga conto della modifica, secondo la sua documentazione.
Domande frequenti: robots.txt, SEO, AI e GEO
Cos'è il file robots.txt?
Il file robots.txt, posto nella radice di un sito, indica ai crawler dei motori di ricerca e delle AI quali pagine possono scansionare. I grandi crawler lo rispettano, ma non protegge alcun contenuto: è pubblico.
Come si usa il file robots.txt di WordPress?
WordPress crea un file virtuale finché non ne esiste uno sul server. Per sostituirlo con quello del generatore, lo incolli in Yoast SEO, Strumenti, poi Modifica file, oppure in Rank Math, in modalità avanzata, Impostazioni generali, poi Modifica robots.txt.
Cos'è un crawler?
Un programma che percorre il web per scoprire e leggere le pagine. Googlebot lo fa per Google; OAI-SearchBot per la ricerca di ChatGPT; Claude-SearchBot per Claude; PerplexityBot per Perplexity.
Il file generato va bene per il mio sito?
È una base affidabile. Se il suo sito ha già regole particolari, le aggiunga al file generato invece di perderle, e verifichi il risultato.
Bisogna rifiutare i crawler di addestramento?
È una scelta, senza effetti sulla sua presenza nelle risposte finché i crawler di ricerca restano autorizzati. Il modello «Essere citati senza servire all'addestramento» fa questa impostazione per lei.
