Kostenloses SEO-, KI- und GEO-Toolrobots.txt-Generator
Wählen Sie eine Vorlage, Ihre Plattform und für jeden KI-Assistenten, was Sie erlauben: die Suche, durch die Sie zitiert werden können, und das Training der Modelle. Der Generator schreibt die robots.txt-Datei, Zeile für Zeile kommentiert, fertig zum Kopieren oder Herunterladen, mit der Anleitung für Ihre Plattform.
So nutzen Sie den Generator
- Wählen Sie eine Vorlage: „Überall zitiert werden“ passt für die meisten Unternehmen.
- Geben Sie Ihre Plattform an und dann die Ordner, die Crawler nicht besuchen müssen, etwa den Warenkorb oder das Kundenkonto.
- Stellen Sie die KI-Crawler ein, auf Wunsch einzeln.
- Kopieren Sie die Datei und folgen Sie der Anleitung für Ihre Plattform.
Suche oder Training: Sie entscheiden
Jeder KI-Assistent nutzt mehrere Crawler. Die Such-Crawler finden die Seiten, die die KI in ihren Antworten zitiert: Wer sie blockiert, verzichtet darauf, zitiert zu werden. Die Trainings-Crawler sammeln Seiten für künftige Modelle: Wenn Sie sie ablehnen, verschwinden Sie nicht aus den Antworten; OpenAI stellt das für seine Crawler klar, und Anthropic unterscheidet seine auf dieselbe Weise. Der Ratgeber „KI-Crawler und robots.txt“ erklärt die Rolle jedes einzelnen.
Bevor Sie die Datei veröffentlichen
- Bewahren Sie eine Kopie Ihrer aktuellen Datei auf.
- Öffnen Sie nach der Veröffentlichung ihre-website.de/robots.txt, um zu prüfen, ob sie angezeigt wird.
- Testen Sie sie mit dem robots.txt-Tester für KI.
- Sehen Sie sich den robots.txt-Bericht in der Google Search Console an.
- Rechnen Sie mit etwa 24 Stunden, bis OpenAI die Änderung berücksichtigt; so steht es in seiner Dokumentation.
Häufige Fragen zu robots.txt, SEO, KI und GEO
Was ist eine robots.txt?
Die Datei robots.txt im Stammverzeichnis einer Website teilt den Crawlern von Suchmaschinen und KI-Assistenten mit, welche Seiten sie crawlen dürfen. Die großen Crawler halten sich daran, aber sie schützt keinen Inhalt: Sie ist öffentlich.
Wie nutze ich die robots.txt-Datei von WordPress?
WordPress erzeugt eine virtuelle Datei, solange auf dem Server keine vorhanden ist. Um sie durch die des Generators zu ersetzen, fügen Sie diese in Yoast SEO unter „Werkzeuge“ und dann „Datei-Editor“ ein, oder in Rank Math im erweiterten Modus unter „Allgemeine Einstellungen“ und dann „Bearbeiten der robots.txt“.
Was ist ein Crawler?
Ein Programm, das das Web durchläuft, um Seiten zu entdecken und zu lesen. Googlebot tut das für Google, OAI-SearchBot für die Suche von ChatGPT, Claude-SearchBot für Claude, PerplexityBot für Perplexity.
Passt die erzeugte Datei zu meiner Website?
Sie ist eine verlässliche Grundlage. Wenn Ihre Website bereits eigene Regeln hat, fügen Sie diese der erzeugten Datei hinzu, statt sie zu verlieren, und testen Sie das Ergebnis.
Sollte ich Trainings-Crawler ablehnen?
Das ist Ihre Entscheidung, ohne Auswirkung auf Ihre Präsenz in den Antworten, solange die Such-Crawler erlaubt bleiben. Die Vorlage „Zitiert werden, ohne ins Training einzufließen“ nimmt diese Einstellung für Sie vor.
