Kostenloses SEO-, KI- und GEO-Toolrobots.txt-Tester für KI
Geben Sie die Adresse Ihrer Website ein: Der Tester liest ihre robots.txt-Datei und zeigt, KI für KI, welche Crawler Ihre Seiten lesen dürfen. Zuerst die, durch die Sie in Antworten zitiert werden können, dann die, die dem Training dienen. Sie sehen auf einen Blick, ob ChatGPT, Claude, Perplexity oder Google Sie zitieren können.
So nutzen Sie den Tester
- Geben Sie die Adresse Ihrer Website ein; fügen Sie eine bestimmte Seite hinzu, wenn Sie diese testen möchten.
- Lesen Sie die Übersicht: Eine Zeile pro KI-Assistent zeigt, ob er Sie zitieren kann.
- Öffnen Sie die Details, um die für jeden Crawler angewandte Regel zu sehen, und korrigieren Sie bei Bedarf mit dem robots.txt-Generator.
So lesen Sie das Ergebnis
Die Such-Crawler zählen am meisten: Sind sie blockiert, kann die KI Ihre Seiten nicht in ihre Antworten übernehmen. Ob Sie Trainings-Crawler zulassen, entscheiden Sie selbst. Crawler auf Anfrage lesen eine Seite, wenn ein Nutzer das verlangt; manche ignorieren die robots.txt, und der Tester weist darauf hin.
Die getesteten Crawler
Die von OpenAI, Anthropic, Perplexity, Google, Mistral AI, Apple und Common Crawl veröffentlichten Crawler, dazu Bingbot, der Crawler von Bing. Die Liste folgt ihren offiziellen Dokumentationen; sie wird aktualisiert, wenn ein Anbieter einen Crawler hinzufügt oder umbenennt.
Nächste Schritte
Der Tester liest Ihre robots.txt-Datei. Prüfen Sie auch die Einstellungen Ihrer Firewall, Ihres Hosters oder von Cloudflare, die außerhalb dieser Datei greifen. Für eine noindex-Anweisung nutzen Sie die Onpage-SEO-Analyse. Und um zu erfahren, ob KI-Assistenten Sie bereits zitieren, starten Sie den kostenlosen KI-SEO-Check.
Häufige Fragen zu robots.txt-Tests, SEO, KI und GEO
Wie teste ich meine robots.txt-Datei?
Für KI-Crawler antwortet dieser Tester Crawler für Crawler. Für Google bietet die Search Console außerdem einen robots.txt-Bericht in ihren Einstellungen, der die von Google gelesene Version und ihre Fehler zeigt.
Wie finde ich heraus, ob ChatGPT meine Website lesen kann?
Prüfen Sie, ob Ihre robots.txt OAI-SearchBot erlaubt und ob keine Firewall ihn blockiert. In Ihrer Webanalyse zeigen Besuche mit dem Parameter „utm_source=chatgpt.com“, dass ChatGPT bereits einige Ihrer Seiten empfiehlt.
Meine robots.txt erlaubt alles: Warum zitiert mich die KI nicht?
Eine Seite lesen zu können, reicht nicht. Die KI zitiert Seiten, die Fragen klar beantworten, und Unternehmen, über die andere Websites sprechen. Der kostenlose KI-SEO-Check zeigt, wen sie an Ihrer Stelle zitiert und warum.
Was tun, wenn ein Crawler blockiert ist?
Erstellen Sie mit dem robots.txt-Generator eine neue Datei und veröffentlichen Sie sie so, wie es für Ihre Plattform beschrieben ist. Testen Sie sie danach erneut.
Folgt der Test den Regeln von Google?
Ja. Der Tester wendet den robots.txt-Standard so an, wie Google ihn liest: Die spezifischste Regel hat Vorrang, und bei gleicher Spezifität geht die Erlaubnis dem Verbot vor.
