robots.txt und KI-Crawler: die wichtigsten Einstellungen für SEO und GEO
Die robots.txt-Datei teilt Crawlern mit, welche Seiten Ihrer Website sie crawlen dürfen. KI-Anbieter nutzen zwei Arten von Crawlern: Such-Crawler, die die Seiten finden, die zitiert werden, und Trainings-Crawler. Um zitiert zu werden, lassen Sie die ersten durch; ob Sie die zweiten blockieren, entscheiden Sie selbst.
Inhalt
- Was ist eine robots.txt-Datei?
- KI-Crawler: Welche dazu dienen, Sie zu zitieren
- robots.txt: die Einstellungen für SEO, KI und GEO je nach Ziel
- Eine kommentierte robots.txt-Datei
- Fehler, die Ihre Website für KI unsichtbar machen
- So prüfen Sie Ihre robots.txt-Datei
- Häufige Fragen: robots.txt, SEO, KI und GEO
Was ist eine robots.txt-Datei?
Eine einfache Textdatei im Stammverzeichnis Ihrer Website: ihre-website.de/robots.txt. Öffnen Sie diese Adresse in Ihrem Browser, und Sie sehen Ihre eigene. Sie enthält Gruppen von Regeln: Jede Gruppe beginnt mit dem Namen eines Crawlers (User-agent), gefolgt von den Bereichen der Website, die er crawlen darf (Allow) oder nicht (Disallow).
User-agent: * Disallow: /warenkorb/ Sitemap: https://ihre-website.de/sitemap.xml
Diese Datei weist alle Crawler (*) an, den Warenkorb nicht zu crawlen, und nennt ihnen die Adresse der Liste aller Seiten der Website.
Zwei Punkte sollten Sie sich merken:
- Sie ist eine Anweisung, kein Schloss. Die großen Crawler halten sich daran, aber die Datei ist öffentlich und schützt nichts. Um einen Inhalt privat zu halten, braucht es eine Anmeldung.
- Sie regelt das Crawling, nicht die Anzeige. Eine gesperrte Seite kann einer Suchmaschine bekannt bleiben, wenn andere Websites auf sie verlinken. Damit eine Seite nicht bei Google erscheint, nutzen Sie das noindex-Tag, nicht die robots.txt.
KI-Crawler: Welche dazu dienen, Sie zu zitieren
Jeder KI-Anbieter veröffentlicht die Liste seiner Crawler. Das sagen ihre offiziellen Dokumentationen.
| KI | Crawler | Rolle | Wenn Sie ihn blockieren |
|---|---|---|---|
| ChatGPT | OAI-SearchBot | Die Seiten finden, die in der Suche von ChatGPT angezeigt werden | Ihre Seiten werden nicht mehr in die Antworten übernommen; bestenfalls ein Link und ein Titel |
| ChatGPT | GPTBot | Seiten für das Training der Modelle von OpenAI sammeln | Ihre Seiten sind vom Training ausgeschlossen, ohne Auswirkung auf die Suche |
| ChatGPT | ChatGPT-User | Eine Seite auf Anfrage eines Nutzers lesen | Laut OpenAI gilt die robots.txt hier möglicherweise nicht |
| Claude | Claude-SearchBot | Seiten für die Suche indexieren | Geringere Sichtbarkeit in den Antworten von Claude |
| Claude | ClaudeBot | Seiten für das Training sammeln | Ihre künftigen Seiten sind vom Training ausgeschlossen |
| Claude | Claude-User | Eine Seite auf Anfrage eines Nutzers lesen | Geringere Sichtbarkeit bei Suchen, die Nutzer anfordern |
| Perplexity | PerplexityBot | Websites in den Ergebnissen anzeigen und verlinken; kein Training | Perplexity indexiert den Text Ihrer Seiten nicht mehr; es kann noch Domain, Titel und eine kurze Zusammenfassung anzeigen |
| Perplexity | Perplexity-User | Eine Seite auf Anfrage eines Nutzers lesen | Laut Perplexity ignoriert dieser Crawler die robots.txt in der Regel |
| Googlebot | Seiten für die Google-Suche crawlen, einschließlich AI Overviews und KI-Modus | Google kann Ihre Seiten nicht mehr lesen und nicht in seinen Antworten zitieren | |
| Google-Extended | Kein eigener Crawler: eine Anweisung, die die Nutzung Ihrer Seiten für das Training von Gemini und für bestimmte andere KI-Systeme von Google regelt | Laut Google keine Auswirkung auf die Google-Suche und das Ranking |
Lassen Sie auch Bingbot zu, den Crawler von Bing: ChatGPT stützt sich teilweise auf Suchmaschinen von Drittanbietern.
Weitere Crawler, die Sie kennen sollten
| Anbieter | Crawler | Rolle |
|---|---|---|
| Mistral AI | MistralAI-Index | Seiten für die Suche seines Assistenten indexieren |
| Mistral AI | MistralAI-Training | Seiten für das Training seiner Modelle sammeln |
| Mistral AI | MistralAI-User | Eine Seite auf Anfrage eines Nutzers lesen, unter Beachtung der robots.txt |
| Apple | Applebot | Das Web für Siri, Spotlight und Safari crawlen; seine Daten können auch dem Training dienen, sofern Applebot-Extended das nicht ablehnt |
| Apple | Applebot-Extended | Kein eigener Crawler: eine Anweisung, die das Training der Modelle von Apple ablehnt, ohne Auswirkung auf seine Suchergebnisse |
| Common Crawl | CCBot | Ein öffentliches Archiv des Webs aufbauen, das viele KI-Projekte weiterverwenden |
Mistral AI, der französische KI-Anbieter, folgt derselben Logik wie seine Konkurrenten: ein Crawler für die Suche, einer für das Training, einer für Anfragen der Nutzer.
robots.txt: die Einstellungen für SEO, KI und GEO je nach Ziel
Sie möchten überall zitiert werden
Das ist für die meisten Unternehmen die richtige Wahl. Eine Datei, die alles durchlässt, außer unwichtigen Seiten, genügt:
User-agent: * Disallow: /warenkorb/ Sitemap: https://ihre-website.de/sitemap.xml
Sie möchten zitiert werden, ohne ins Training einzufließen
User-agent: * Disallow: /warenkorb/ User-agent: GPTBot Disallow: / User-agent: ClaudeBot Disallow: / User-agent: Google-Extended Disallow: / Sitemap: https://ihre-website.de/sitemap.xml
Ein Crawler folgt der Gruppe mit seinem Namen, sonst der Gruppe *. Hier folgen OAI-SearchBot, Claude-SearchBot, PerplexityBot und Googlebot der ersten Gruppe und bleiben erlaubt. Gut zu wissen: Wenn Sie Google-Extended blockieren, kann das auch die Nutzung Ihrer Seiten in manchen Antworten von Gemini verringern.
Sie möchten einen Teil der Website schützen
Sperren Sie nur die betroffenen Ordner, zum Beispiel /kundenkonto/, und schützen Sie sie vor allem mit einer Anmeldung: Die robots.txt ist öffentlich und verbirgt nichts.
Eine kommentierte robots.txt-Datei
So eine Datei findet man oft, nach einem Copy-and-paste „um KI zu blockieren“:
User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php User-agent: GPTBot Disallow: / User-agent: OAI-SearchBot Disallow: / User-agent: PerplexityBot Disallow: / Sitemap: https://ihre-website.de/sitemap_index.xml
- Die erste Gruppe ist die von WordPress: Sie sperrt den Administrationsbereich und lässt den Rest durch. Hier ist nichts zu ändern.
- GPTBot: Das Training der Modelle von OpenAI wird abgelehnt. Eine Entscheidung ohne Auswirkung auf die Suche.
- OAI-SearchBot: Hier liegt das Problem. ChatGPT kann Ihre Seiten nicht mehr in seine Antworten übernehmen. Löschen Sie diese beiden Zeilen.
- PerplexityBot: Dasselbe für Perplexity, dessen Such-Crawler er ist. Löschen Sie auch diese beiden Zeilen.
- Sitemap: die Adresse der Sitemap, nützlich für alle Crawler. Behalten Sie sie.
Fehler, die Ihre Website für KI unsichtbar machen
- Das vergessene „Disallow: /“. Beim Aufbau der Website gesetzt, um die Testversion zu verbergen, blockiert es nach dem Livegang alle Crawler, auch die der KI.
- Eine Sperre außerhalb der robots.txt. Manche Hoster, Firewalls oder Dienste wie Cloudflare blockieren KI-Crawler mit einem Klick. Bei Cloudflare halten die Optionen „Block“ und „Block on pages with ads“ seit dem 15. September 2026 auch Crawler mit mehreren Aufgaben auf, etwa Googlebot, Bingbot oder Applebot, auch für die Suche; „Disallow AI Training“ lehnt nur das Training ab. Für eine Website mit Werbung schlägt Cloudflare diese Sperre auf Seiten mit Werbung schon bei der Anmeldung vor. Ihre robots.txt kann fehlerfrei sein und Ihre Seiten trotzdem unerreichbar bleiben.
- Eine Einstellung in der Search Console. Seit dem 31. August 2026 können Sie eine Website in den Einstellungen der Search Console von den Funktionen der generativen KI von Google ausschließen. Ist sie dort ausgeschlossen, verschwinden Ihre Seiten aus den AI Overviews und dem KI-Modus, auch wenn sie gut indexiert sind.
- Eine Datei am falschen Ort. Sie muss im Stammverzeichnis jeder Adresse liegen: ihre-website.de/robots.txt, nicht in einem Unterordner.
- Blockierte CSS- oder JavaScript-Dateien, die Crawler daran hindern, Ihre Seiten so darzustellen, wie Ihre Besucher sie sehen.
- Die robots.txt, um eine Seite zu verbergen. Damit verschwindet sie nicht aus Google: Nutzen Sie stattdessen das noindex-Tag.
So prüfen Sie Ihre robots.txt-Datei
- Öffnen Sie ihre-website.de/robots.txt und suchen Sie nach Zeilen „Disallow: /“ sowie nach den Namen der Crawler aus der Tabelle.
- In der Google Search Console zeigt der robots.txt-Bericht in den Einstellungen die von Google gelesene Version und etwaige Fehler.
- Wenn Ihre Website über Cloudflare oder eine Firewall läuft, prüfen Sie deren Einstellung für KI-Crawler.
- Die Logdateien Ihres Hosters zeigen, welche Crawler Ihre Seiten tatsächlich besuchen.
- Der kostenlose robots.txt-Tester für KI von iasyo zeigt Ihnen, Crawler für Crawler, wer Ihre Seiten lesen darf.
In WordPress bearbeiten Sie die Datei über Yoast SEO oder Rank Math: Die Seite „KI-SEO für WordPress“ beschreibt die Schritte. Der kostenlose KI-SEO-Check von iasyo prüft automatisch, ob jeder KI-Crawler Zugang zu Ihrer Website hat.
Häufige Fragen: robots.txt, SEO, KI und GEO
Was ist eine robots.txt?
Die robots.txt-Datei im Stammverzeichnis einer Website teilt den Crawlern von Suchmaschinen und KI-Assistenten mit, welche Seiten sie crawlen dürfen. Sie ist eine öffentliche Anweisung, an die sich die großen Crawler halten, die aber keinen Inhalt schützt.
Wie nutze ich die robots.txt-Datei von WordPress?
WordPress erzeugt eine virtuelle robots.txt-Datei, solange auf dem Server keine vorhanden ist. Um sie zu bearbeiten, nutzen Sie Ihr SEO-Plugin: in Yoast SEO „Werkzeuge“ und dann „Datei-Editor“; in Rank Math im erweiterten Modus „Allgemeine Einstellungen“ und dann „Bearbeiten der robots.txt“.
Sollte ich GPTBot blockieren?
Das ist Ihre Entscheidung. GPTBot sammelt Seiten, um die Modelle von OpenAI zu trainieren. Wenn Sie ihn blockieren, verschwinden Sie nicht aus der Suche von ChatGPT, solange OAI-SearchBot erlaubt bleibt: OpenAI stellt klar, dass beide Einstellungen unabhängig sind.
Verschwinde ich aus den Antworten der KI, wenn ich das Training blockiere?
Nein, wenn Sie deren Such-Crawler durchlassen: OAI-SearchBot für ChatGPT, Claude-SearchBot für Claude, PerplexityBot für Perplexity und Googlebot für Google. Google-Extended hat keine Auswirkung auf die Google-Suche.
Wie lange dauert es, bis eine Änderung berücksichtigt wird?
Bei OpenAI etwa 24 Stunden, laut seiner Dokumentation. Auch Google speichert die Datei in der Regel bis zu 24 Stunden im Cache.
Schützt die robots.txt meine Inhalte vor KI?
Nein. Sie ist eine öffentliche Anweisung, an die sich die großen Crawler halten, kein Schutz. Crawler, die eine Seite auf Anfrage eines Nutzers lesen, wie Perplexity-User, können sie ignorieren. Um einen Inhalt zu schützen, braucht es eine Anmeldung oder eine Firewall.
Wo befindet sich die robots.txt-Datei?
Im Stammverzeichnis Ihrer Website: ihre-website.de/robots.txt. Jede Subdomain hat ihre eigene: shop.ihre-website.de braucht eine eigene Datei.
Was ist ClaudeBot?
Der Crawler von Anthropic, der Seiten sammelt, die dem Training der Modelle von Claude dienen können. Wenn Sie ihn blockieren, schließen Sie Ihre künftigen Seiten vom Training aus. Für die Suche nutzt Claude einen anderen Crawler, Claude-SearchBot, den Sie getrennt einstellen.
Über den Autor
Quellen
Google, Dokumentation zu den Crawlern: „Introduction to robots.txt“ und „How Google interprets the robots.txt specification“
Google Search Central, „Google's common crawlers“ (Google-Extended)
OpenAI, „Overview of OpenAI Crawlers“
Anthropic, „Does Anthropic crawl data from the web, and how can site owners block the crawler?“
Perplexity, „Perplexity Crawlers“; Mistral AI, „Robots“; Apple, „About Applebot“; Common Crawl, FAQ
IETF, RFC 9309 „Robots Exclusion Protocol“, 2022
Cloudflare, „Your site, your rules: new AI traffic options for all customers“, 1. Juli 2026; Google, Hilfe der Search Console zur Einstellung für generative KI in der Suche
Alle abgerufen am 28. September 2026
