Zum Inhalt springen
Alle Artikel

KI-Crawler aussperren? Was Ihr Betrieb damit verliert

Wer OAI-SearchBot oder PerplexityBot sperrt, fehlt in deren Antworten. Die Trainings-Crawler GPTBot und ClaudeBot laufen getrennt und dürfen gesperrt werden.

Stand: 31.10.2026. Grundlage sind die Crawler-Dokumentationen von OpenAI, Google, Anthropic und Perplexity sowie die neuen KI-Einstellungen von Cloudflare, alle am 31.10.2026 im Original gelesen.

Sperren Sie die Such-Crawler der KI-Dienste aus, fehlt Ihr Betrieb in deren Antworten. OpenAI schreibt ausdrücklich, dass ChatGPT Seiten ohne Zugang für OAI-SearchBot nicht in seinen Suchantworten zeigt. Die Crawler fürs Training, bei OpenAI GPTBot und bei Anthropic ClaudeBot, laufen getrennt davon und dürfen gesperrt werden.

Welche KI-Crawler es gibt und wofür sie Ihre Seite lesen

Ein Crawler ist ein Programm, das Websites selbsttätig abruft und liest. Die großen KI-Anbieter betreiben drei Arten davon. Trainings-Crawler sammeln Texte, mit denen künftige KI-Modelle trainiert werden. Such-Crawler bauen einen Index auf, aus dem die KI später Antworten mit Quellen zusammenstellt. Abrufer holen eine Seite in dem Moment, in dem ein Nutzer eine Frage stellt.

Gesteuert wird das über die robots.txt. Das ist eine kurze Textdatei im Hauptverzeichnis Ihrer Website, in der Sie jeden Crawler mit seinem Namen ansprechen und ihm Bereiche erlauben oder verbieten.

AnbieterTrainingSucheAbruf auf Nutzerfrage
OpenAI (ChatGPT)GPTBotOAI-SearchBotChatGPT-User
Anthropic (Claude)ClaudeBotClaude-SearchBotClaude-User
Perplexityin der Doku keiner aufgeführtPerplexityBotPerplexity-User
GoogleGoogle-Extended (Kennung, kein eigener Crawler)Googlebothier nicht betrachtet

Google ist der Sonderfall. Google-Extended hat laut Google-Dokumentation keinen eigenen Crawler, gelesen wird mit den üblichen Google-Programmen. Die Kennung regelt, ob Google Ihre Inhalte für das Training künftiger Gemini-Modelle nutzt und für das Grounding in den Gemini-Apps. Grounding heißt, dass Gemini beim Antworten Inhalte aus dem Google-Suchindex heranzieht, um genauer zu antworten. Auf die Aufnahme in die Google-Suche und auf das Ranking hat Google-Extended keinen Einfluss.

Die KI-Übersichten und der KI-Modus der Google-Suche hängen am Googlebot. Google schreibt in seiner Hilfe zu KI-Funktionen, KI sei fester Teil der Suche, deshalb steuere die robots.txt-Regel für Googlebot auch diesen Zugang. Wie weit KI die Google-Suche verändert, lesen Sie im Beitrag zur Frage, ob Google durch KI ersetzt wird.

Was Sie verlieren, wenn Sie KI-Crawler blockieren

Was eine Sperre kostet, hängt am Namen des Crawlers.

  • OAI-SearchBot gesperrt. Ihre Seite erscheint laut OpenAI nicht in den Suchantworten von ChatGPT. Sie kann dort höchstens noch als Navigationslink auftauchen.
  • Claude-SearchBot gesperrt. Anthropic indexiert Ihre Inhalte nicht für die Suche. Das kann laut Anthropic Ihre Sichtbarkeit in den Suchergebnissen von Claude verringern.
  • Claude-User gesperrt. Claude ruft Ihre Seite nicht ab, auch wenn ein Nutzer gezielt danach fragt.
  • PerplexityBot gesperrt. Perplexity empfiehlt ausdrücklich, ihn zuzulassen, damit eine Seite in den Suchergebnissen erscheint.
  • Googlebot gesperrt. Google kann Ihre Seite für die Suche nicht mehr lesen. Das betrifft laut Google alle Funktionen der Suche, also auch KI-Übersichten und KI-Modus.
  • GPTBot oder ClaudeBot gesperrt. Ihre Inhalte sollen nicht ins Training künftiger Modelle fließen.

OpenAI nennt dafür selbst ein Beispiel. Eine Website kann OAI-SearchBot zulassen, um in den Suchergebnissen zu erscheinen, und GPTBot sperren, damit ihre Inhalte nicht ins Training gehen. Jede Einstellung wirkt laut OpenAI unabhängig von den anderen.

Für ChatGPT-User gelten robots.txt-Regeln laut OpenAI womöglich nicht, weil ein Mensch den Abruf auslöst. Über Perplexity-User schreibt Perplexity, er ignoriere die robots.txt in der Regel. Diese beiden in der robots.txt zu sperren bringt deshalb wenig. Mehr zur Sichtbarkeit in ChatGPT steht im Beitrag zur Frage, ob Ihr Unternehmen in ChatGPT gefunden wird.

Cloudflare und KI-Crawler: was für neue Domains gilt

Cloudflare ist ein Dienst, über den viele Websites ausgeliefert und vor Angriffen geschützt werden. Am 01.07.2025 führte Cloudflare nach eigener Mitteilung eine Standardsperre für KI-Crawler ohne Erlaubnis ein. Jede neue Domain wurde ab da bei der Anmeldung gefragt, ob sie KI-Crawler zulassen will.

Am 01.07.2026 hat Cloudflare die Einstellung aufgeteilt. Alle Kunden, auch im kostenlosen Tarif, steuern seitdem drei Gruppen getrennt: Suche, Agenten und Training. Agenten sind Programme, die in Echtzeit im Auftrag eines Menschen eine Seite besuchen, etwa ChatGPT-User. Für neue Domains gelten laut Cloudflare ab dem 15.09.2026 neue Standardwerte. Training und Agenten sind dann auf Seiten mit Werbeanzeigen gesperrt, die Suche bleibt erlaubt. Zeigt Ihre Seite keine Werbung, greift diese Standardsperre nach Cloudflares Beschreibung nicht.

Gefährlicher ist eine zweite Änderung zum selben Stichtag. Crawler, die Suche und Training verbinden, behandelt Cloudflare nach der strengsten Regel. Cloudflare nennt dabei ausdrücklich Googlebot, Applebot und Bingbot. Wer bei Cloudflare das Training sperrt, über die neuen Einstellungen oder über die ältere Einstellung „Block AI bots“, sperrt damit auch diese drei aus. Ein Betrieb, der nur das KI-Training abwehren wollte, verliert so im schlimmsten Fall die Google-Suche.

Diese Sperre sitzt im Netz vor Ihrer Website, die robots.txt kann dabei unauffällig aussehen. Google zählt in seiner Hilfe zu KI-Funktionen zu den Grundregeln, dass das Crawling in der robots.txt und bei jedem CDN oder Hoster erlaubt ist. Ein CDN ist ein Auslieferungsnetz wie Cloudflare. Hat Ihr Webdesigner bei Cloudflare die verwaltete robots.txt eingeschaltet, steht oben in Ihrer Datei eine Zeile wie Content-Signal: search=yes,ai-train=no. Sie erlaubt die Suche und widerspricht dem Training. Nach Cloudflares Beschreibung äußert die Zeile einen Wunsch und blockiert selbst keinen Crawler.

robots.txt für KI-Crawler prüfen: woran Sie eine Sperre erkennen

  1. Datei aufrufen. Geben Sie ihre-domain.de/robots.txt in die Adresszeile ein. Sie sehen eine kurze Textdatei oder eine Fehlerseite. Gibt es die Datei nicht, geht Google laut seiner Dokumentation davon aus, dass keine Einschränkungen bestehen.
  2. Abschnitte lesen. Jeder Abschnitt beginnt mit User-agent: und dem Namen eines Crawlers. Steht darunter Disallow: /, ist dieser Crawler von der gesamten Seite ausgesperrt. Achten Sie auf OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot und Googlebot.
  3. Auf den Stern achten. User-agent: * spricht alle Crawler an, die keinen eigenen Abschnitt haben. Steht darunter Disallow: /, sind sie alle ausgesperrt, die KI-Such-Crawler eingeschlossen.
  4. Subdomains einzeln prüfen. Eine robots.txt gilt nur für die Adresse, unter der sie liegt. Ein Blog unter blog.ihre-domain.de hat seine eigene Datei, die Sie dort aufrufen.
  5. Die Netzebene prüfen lassen. Ist die robots.txt sauber und Ihre Seite fehlt trotzdem in KI-Antworten, kann die Sperre bei Cloudflare oder beim Hoster sitzen.

Änderungen wirken mit Verzögerung. OpenAI nennt rund 24 Stunden, bis die ChatGPT-Suche eine geänderte robots.txt berücksichtigt, Perplexity bis zu 24 Stunden.

Was Sie dem Webdesigner oder Hoster sagen

Zugang zur robots.txt und zu Cloudflare hat in der Regel, wer Ihre Seite gebaut hat oder betreut. Schicken Sie ihm diese drei Sätze.

  1. „Bitte lassen Sie in der robots.txt OAI-SearchBot, Claude-SearchBot, Claude-User, PerplexityBot und Googlebot zu.“
  2. „Bitte sperren Sie GPTBot und ClaudeBot. Google-Extended bleibt offen.“
  3. „Bitte prüfen Sie bei Cloudflare oder einem anderen CDN, ob ‚Block AI bots‘ oder eine Trainingssperre aktiv ist, und schicken Sie mir einen Screenshot der Einstellung. Laut Cloudflare sperrt eine Trainingssperre ab dem 15.09.2026 auch Googlebot.“

Der kostenlose KI-Check auf blacklyne.ai prüft, ob die Systeme hinter ChatGPT und Google Ihre Seite lesen dürfen und verstehen. Wie wir eine Website für die KI-Suche öffnen, steht auf der Leistungsseite. Der Zugang für KI-Crawler gehört dort fest dazu.

Empfehlung für lokale Betriebe: Training sperren, Suche offen lassen

Ein lokaler Betrieb braucht Anfragen aus dem Ort, von Kunden und von Bewerbern. Die Such-Crawler tragen Ihre Seite in die Antworten von ChatGPT, Claude, Perplexity und Google. Sie bleiben offen. GPTBot und ClaudeBot dürfen Sie sperren, OpenAI und Anthropic führen die Suche über getrennte Bots.

Google-Extended lassen Sie bei einem lokalen Betrieb offen. Die Kennung regelt neben dem Training auch das Grounding in den Gemini-Apps. Wer sie sperrt, schließt seine Inhalte davon aus, wenn Gemini Antworten mit Inhalten aus dem Google-Index belegt. Für Anfang 2027 kündigt Google an, ein gemeinsames maschinenlesbares Signal für Trainingswünsche zu unterstützen. Prüfen Sie Ihre Einstellung dann erneut.

So sieht eine robots.txt nach dieser Empfehlung aus.

# Training sperren
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

# Alle anderen Crawler, auch Suche und KI-Suche
User-agent: *
Allow: /

Eine llms.txt oder andere Sonderdateien brauchen Sie dafür nicht. Google schreibt, für KI-Übersichten und den KI-Modus seien keine neuen maschinenlesbaren Dateien nötig. Mehr dazu im Beitrag llms.txt ist tot.

Häufige Fragen

Wie kann ich KI-Crawler aussperren?

Legen Sie in der robots.txt Ihrer Domain für jeden Crawler einen Abschnitt mit User-agent und Disallow: / an, etwa für GPTBot und ClaudeBot. Die Such-Crawler OAI-SearchBot, Claude-SearchBot und PerplexityBot lassen Sie offen, sonst fehlt Ihr Betrieb in deren Antworten.

Was bewirkt GPTBot in der robots.txt?

Sperren Sie GPTBot, sollen Ihre Inhalte laut OpenAI nicht ins Training der KI-Modelle fließen. Für die ChatGPT-Suche ist OAI-SearchBot zuständig, beide Einstellungen wirken unabhängig voneinander.

Blockiert Cloudflare KI-Crawler automatisch?

Cloudflare hat am 01.07.2025 eine Standardsperre für KI-Crawler eingeführt und neue Domains bei der Anmeldung gefragt, ob sie KI-Crawler zulassen wollen. Ab dem 15.09.2026 sperrt Cloudflare bei neuen Domains Training und Agenten auf Seiten mit Werbung, die Suche bleibt erlaubt. Wer dort das Training sperrt, sperrt laut Cloudflare auch Googlebot, Applebot und Bingbot.

Schadet die Sperre von Google-Extended meinem Google-Ranking?

Nein. Google-Extended hat laut Google keinen Einfluss auf die Aufnahme in die Google-Suche und ist kein Rankingsignal. Die Sperre schließt Ihre Inhalte aber vom Training der Gemini-Modelle und vom Grounding in den Gemini-Apps aus.

Reicht die robots.txt, um ChatGPT auszusperren?

Für Training und Suche ja, OpenAI steuert GPTBot und OAI-SearchBot über die robots.txt. Für ChatGPT-User, den Abruf auf Nutzerfrage, gelten robots.txt-Regeln laut OpenAI womöglich nicht.

Der nächste Schritt

Drei Betriebe stehen vor Ihnen. Die bekommen Ihre Anfragen.

Wer in Ihrem Ort sucht, sieht eine Handvoll Namen. Steht Ihrer nicht darunter, ist der Auftrag vergeben, bevor Sie davon erfahren. Im Gespräch erfahren Sie, woran es liegt.

Ablauf des Gesprächs

  1. Vorab prüfen wir, wo Sie bei Google und auf der Karte stehen, welche Betriebe in Ihrem Ort an Ihrer Stelle genannt werden und welche Fragen Ihre Seite einem Suchenden beantwortet.
  2. Im Termin gehen wir die Befunde an Ihrer eigenen Seite durch. Sie sehen, welche Anfragen Ihnen heute verloren gehen und warum.
  3. Am Ende stehen die Maßnahmen, ihre Reihenfolge und der Preis. Rechnet es sich für Ihren Betrieb nicht, sagen wir ab. Das kommt vor.
Strategiegespräch vereinbaren 4,8 auf Trustpilot · 283+ Betriebe vertrauen der Blacklyne-Gruppe