Strumento SEO, AI e GEO gratuitoTest robots.txt per le AI
Inserisca l'indirizzo del suo sito: lo strumento legge il file robots.txt e indica, AI per AI, quali crawler possono leggere le sue pagine. Prima quelli che permettono di essere citati nelle risposte, poi quelli che servono all'addestramento. Vede a colpo d'occhio se ChatGPT, Claude, Perplexity o Google possono citarla.
Come usare il test
- Inserisca l'indirizzo del suo sito; aggiunga una pagina precisa se vuole testarla.
- Legga la sintesi: una riga per AI dice se può citarla.
- Apra il dettaglio per vedere la regola applicata a ogni crawler e, se serve, corregga con il generatore robots.txt.
Come leggere il risultato
I crawler di ricerca contano di più: se sono bloccati, l'AI non può riprendere le sue pagine nelle risposte. I crawler di addestramento dipendono da una sua scelta. I crawler su richiesta leggono una pagina quando un utente lo chiede; alcuni ignorano il robots.txt, e lo strumento lo segnala.
I crawler testati
I crawler pubblicati da OpenAI, Anthropic, Perplexity, Google, Mistral AI, Apple e Common Crawl, più Bingbot, il crawler di Bing. L'elenco segue le loro documentazioni ufficiali; viene aggiornato quando un'azienda aggiunge o rinomina un crawler.
Per andare oltre
Lo strumento legge il suo file robots.txt. Verifichi anche le impostazioni del suo firewall, del suo hosting o di Cloudflare, che si applicano al di fuori di questo file. Per un'istruzione noindex, usi il SEO checker on page. E per sapere se le AI la citano già, avvii l'audit SEO AI gratuito.
Domande frequenti: test del robots.txt, SEO, AI e GEO
Come testare il file robots.txt?
Per i crawler AI, questo strumento risponde crawler per crawler. Per Google, Search Console offre anche un rapporto robots.txt, nelle impostazioni, che mostra la versione letta da Google e i suoi errori.
Come capire se ChatGPT può leggere il mio sito?
Verifichi che il suo robots.txt autorizzi OAI-SearchBot, poi che nessun firewall lo blocchi. Nelle statistiche del suo sito, le visite con la dicitura «utm_source=chatgpt.com» mostrano che ChatGPT raccomanda già alcune delle sue pagine.
Il mio robots.txt autorizza tutto: perché l'AI non mi cita?
Poter leggere una pagina non basta. L'AI cita le pagine che rispondono chiaramente alle domande e le aziende di cui parlano altri siti. L'audit SEO AI gratuito mostra chi cita al suo posto, e perché.
Cosa fare se un crawler è bloccato?
Crei un nuovo file con il generatore robots.txt, poi lo metta online seguendo la procedura della sua piattaforma. Quindi lo verifichi di nuovo.
Il test segue le regole di Google?
Sì. Lo strumento applica lo standard del robots.txt così come lo legge Google: prevale la regola più specifica e, a parità di specificità, l'autorizzazione prevale sul divieto.
