In vielen robots.txt-Dateien stehen inzwischen Regeln für KI-Bots. Ein Teil davon bewirkt das Gegenteil von dem, was gemeint war. Die häufigsten Gründe: Bot-Namen werden falsch zugeordnet, und die Datei wird anders gelesen, als sie aussieht.
Hier steht, welcher Bot wofür zuständig ist, laut der Dokumentation der Anbieter, und wie du die Datei so baust, dass sie tut, was du willst.
Was ist ein KI-Crawler?
Ein KI-Crawler ist ein Programm, das Webseiten für KI-Systeme abruft. Er meldet sich mit einem Namen, dem User-Agent, etwa GPTBot oder PerplexityBot. Über diesen Namen kannst du ihm in der Datei robots.txt sagen, was er darf.
Wichtiger als der Anbieter ist der Zweck. Ein Trainings-Crawler sammelt Texte, aus denen künftige Modelle lernen. Ein Such-Crawler baut den Index, aus dem eine KI-Suche ihre Quellen holt. Ein Abruf auf Nutzerwunsch passiert, wenn jemand einer KI einen Link gibt oder sie live nachsehen lässt. Die meisten Anbieter haben für jeden Zweck einen eigenen Bot.
Welche KI-Crawler gibt es 2026, und was macht jeder?
Die großen Anbieter trennen ihre Bots nach Zweck. Die Tabelle zeigt die Namen, wie sie in der robots.txt stehen, und was eine Sperre laut Anbieter bewirkt.
| Bot | Anbieter | Zweck | Wenn du sperrst |
|---|---|---|---|
OAI-SearchBot | OpenAI | ChatGPT-Suche | keine Quelle in der ChatGPT-Suche |
GPTBot | OpenAI | Training | kein Training, Suche bleibt |
ChatGPT-User | OpenAI | Abruf auf Nutzerwunsch | Regel gilt laut OpenAI womöglich nicht |
OAI-AdsBot | OpenAI | prüft Zielseiten von Anzeigen in ChatGPT | Anzeigen können nicht geprüft werden |
Claude-SearchBot | Anthropic | Claude-Suche | keine Quelle in der Claude-Suche |
ClaudeBot | Anthropic | Training | kein Training, Suche bleibt |
Claude-User | Anthropic | Abruf auf Nutzerwunsch | kein Abruf, Anthropic hält sich daran |
PerplexityBot | Perplexity | Suche, laut Perplexity kein Training | keine Quelle in Perplexity |
Perplexity-User | Perplexity | Abruf auf Nutzerwunsch | wird laut Perplexity meist ignoriert |
Google-Extended | Gemini-Training und Grounding in Gemini | Google-Suche und KI-Übersichten bleiben | |
Applebot-Extended | Apple | Training der Apple-Modelle | Siri und Spotlight bleiben |
meta-webindexer | Meta | Suche in Meta AI | keine Quelle in Meta AI |
meta-externalagent | Meta | Training | kein Training |
CCBot | Common Crawl | offener Datensatz, oft fürs Training genutzt | nicht im Datensatz |
Bytespider | ByteDance | Training | Wirkung umstritten |
Alte Namen wie anthropic-ai oder Claude-Web nennt Anthropic nicht mehr. Sie schaden in der Datei nicht, ersetzen aber keine Regel für ClaudeBot. Microsoft Copilot nutzt den normalen Bingbot, Googles KI-Übersichten den normalen Googlebot. Wie das bei Google zusammenhängt, steht unter klassische Suchmaschinenoptimierung und Google Maps.
Verschwinde ich aus ChatGPT, wenn ich GPTBot blockiere?
Nein. Für die ChatGPT-Suche ist OAI-SearchBot zuständig, GPTBot sammelt nur Trainingsdaten. OpenAI beschreibt beide Einstellungen als unabhängig voneinander. Wer GPTBot sperrt und OAI-SearchBot zulässt, kann weiter als Quelle in ChatGPT erscheinen.
Erlaubst du beide, crawlt OpenAI deine Seite unter Umständen nur einmal und nutzt das Ergebnis für beide Zwecke. Nach einer Änderung der robots.txt dauert es laut OpenAI rund 24 Stunden, bis die Suche sie berücksichtigt.
Neu seit 2026 ist OAI-AdsBot. Er prüft nur Zielseiten, die als Anzeigen in ChatGPT eingereicht wurden, und trainiert nicht.
Blockiert Google-Extended die KI-Übersichten von Google?
Nein. Google-Extended regelt nur das Training künftiger Gemini-Modelle und die Nutzung in den Gemini-Apps. Es ist kein eigener Crawler, sondern ein Steuerzeichen für Daten, die der Googlebot ohnehin abruft. Auf die Google-Suche und das Ranking hat es laut Google keinen Einfluss.
Die KI-Übersichten und der KI-Modus der Suche laufen über den normalen Googlebot. Wer dort nicht erscheinen will, muss mit nosnippet oder max-snippet arbeiten. Das betrifft aber auch die normalen Textauszüge in der Suche.
Wie stellst du die robots.txt für KI-Crawler richtig ein?
Sperr nur, was du wirklich sperren willst, und lass alles andere unter der allgemeinen Regel. Bots ohne eigene Gruppe folgen der Gruppe User-agent: *. Das ist die sicherste Form, weil deine Sperren für Warenkorb oder Kundenkonto dann für alle gelten.
Stell im Baukasten ein, was du willst. Er schreibt die Datei so, dass sie korrekt gelesen wird:
Wo du die Datei findest: In WordPress erzeugt das System eine virtuelle robots.txt, mit Yoast bearbeitest du sie unter Werkzeuge im Datei-Editor. In Shopify geht das über die Vorlage robots.txt.liquid, in Shopware 6 über die Datei im öffentlichen Verzeichnis. Für Shops gilt die Warnung im nächsten Abschnitt ganz besonders. Mehr zu Shops unter robots.txt im Shopify-Shop anpassen und Shopware-6-Shop für die KI-Suche vorbereiten.
Welche Fehler in der robots.txt kosten KI-Sichtbarkeit?
Die zwei häufigsten Fehler sehen harmlos aus. Erstens: Eine Leerzeile trennt keine Gruppen. Stehen zwei User-agent-Zeilen untereinander, auch mit Leerzeile dazwischen, teilen sie sich die nächste Regel. Zweitens: Bekommt ein Bot eine eigene Gruppe, ignoriert er die Gruppe User-agent: * komplett, samt deiner Sperren für Checkout oder Kundenkonto.
Schalt durch die Beispiele und schau, was der Crawler daraus liest:
Zwei weitere Punkte: Bot-Namen werden ohne Rücksicht auf Groß- und Kleinschreibung erkannt, Pfade dagegen genau. Und liefert der Server für die robots.txt einen Fehler mit 5xx, müssen Crawler laut Standard davon ausgehen, dass alles gesperrt ist. Ein 404 bedeutet dagegen: alles erlaubt.
Halten sich KI-Crawler an die robots.txt?
Die großen Anbieter sagen ja für ihre Crawler, aber nicht für jeden Abruf auf Nutzerwunsch. OpenAI schreibt, dass Regeln für ChatGPT-User womöglich nicht gelten. Perplexity sagt, Perplexity-User ignoriere die robots.txt meistens. Ähnlich äußern sich Meta und Google für ihre Abruf-Dienste. Anthropic gibt an, dass sich auch Claude-User daran hält.
Bei Bytespider gibt es Zweifel: Der Anbieter sagt ja, unabhängige Messungen berichten von Verstößen. Die robots.txt ist am Ende eine Bitte. Wer einen Bot wirklich aussperren will, braucht eine Regel in der Firewall oder beim CDN.
Sperrt dein Hoster KI-Bots, ohne dass du es weißt?
Gut möglich. Eine Studie zu 1.444 deutschen Websites vom März 2026 fand bei einem Drittel Sperren auf Server-Ebene, bei sehr kleinen Betrieben sogar bei 41 Prozent. Solche Sperren stehen nicht in der robots.txt. Der Server antwortet dem Bot einfach mit einem Fehler. Gleiche Muster bei vielen Kunden eines Hosters deuten auf Standardregeln der Anbieter hin.
Dazu kommt Cloudflare: Neue Domains werden seit Juli 2025 standardmäßig gegen KI-Crawler abgesichert. Seit Juli 2026 trennt Cloudflare nach Zweck, und seit dem 15. September 2026 sind auf neuen Domains mit Werbung Trainings- und Agenten-Crawler voreingestellt gesperrt, Such-Crawler bleiben erlaubt.
Der Selbsttest: Ruf deine Seite einmal mit dem Namen eines Bots ab und vergleich den Statuscode mit dem normalen Aufruf. Kommt beim Bot ein 403 oder 429, sperrt der Server.
Warum sehen KI-Crawler manche Inhalte nicht?
Weil die meisten KI-Crawler kein JavaScript ausführen. Eine Messung von Ende 2024 zeigte das für GPTBot, ClaudeBot und CCBot: Sie laden Skripte herunter, führen sie aber nicht aus. Was erst per JavaScript auf der Seite erscheint, sehen sie nicht. Ausnahmen sind der Googlebot und Apple.
Schieb den Regler und schau, was von einer typischen Handwerker-Seite übrig bleibt:
Bewertungs-Widgets, Rechner und nachgeladene Öffnungszeiten sind die häufigsten Lücken. Die Lösung: wichtige Inhalte zusätzlich als normalen Text auf die Seite schreiben. Auch Inhalte, die erst nach der Cookie-Zustimmung erscheinen, sind für Crawler unsichtbar, denn sie klicken kein Banner weg.
Brauchst du eine llms.txt?
Für Google ausdrücklich nicht, für alle anderen fehlt bisher der Nachweis einer Wirkung. Google schreibt in seinem Leitfaden zur KI-Suche vom Mai 2026, dass die Suche keine neuen maschinenlesbaren Dateien braucht und eine llms.txt weder schadet noch hilft. Eine Auswertung von 300.000 Domains fand keinen Vorteil bei Zitaten in KI-Antworten.
Seit August 2026 gibt es eine zweite Fassung des Vorschlags. Sie richtet sich vor allem an Entwickler-Dokumentationen und KI-Agenten. Kein großer Anbieter hat zugesagt, die Datei fremder Websites für die Suche auszuwerten. Für Handwerksbetriebe und Shops ist sie deshalb kein Hebel. Mehr bringt eine Seite, die Fragen klar beantwortet. Das ist der Kern unserer Arbeit bei der KI-Sichtbarkeit für dein Unternehmen.
Wie prüfst du, ob deine Website für KI-Systeme erreichbar ist?
In fünf Schritten, ohne Werkzeug. Hak ab, was du erledigt hast:
Ein Beispiel aus unserer Arbeit: Bei einem Shopify-Shop mit über 4.000 Artikeln fehlten Alt-Texte, Fragen-Bereiche und strukturierte Daten, in KI-Antworten kam der Shop nicht vor. Nach dem Umbau haben wir 100 typische Kundenfragen in KI-Assistenten gestellt: In 86 Prozent der Antworten wurde der Shop genannt und als Quelle verlinkt.
Fazit: Suche öffnen, Training selbst entscheiden.
Die meisten Betriebe wollen in KI-Antworten genannt werden. Dafür müssen die Such-Crawler durchkommen, und der Server darf sie nicht still abweisen. Ob du deine Texte fürs Training freigibst, ist eine eigene Entscheidung, die deine Sichtbarkeit in der Suche nicht berührt.
Die robots.txt ist dabei nur die erste Tür. Danach zählt, ob deine Seite Fragen so beantwortet, dass eine KI sie zitieren kann.
Sollen wir deine robots.txt und deine Server-Antworten prüfen?
Wir schauen, welche KI-Crawler bei dir durchkommen, was sie sehen und was du ändern solltest. Das erste Gespräch ist kostenlos.
Geschrieben von André Schreiber
Geprüfter Online Marketing Manager (ILS Hamburg) und Google Partner, zertifiziert für Search- und Shopping-Anzeigen. Betreut Google-Ads-Konten, Unternehmensprofile und Onlineshops von Betrieben im Kreis Unna und in ganz Deutschland.