Technischer Leitfaden · 30. August 2026
OAI-SearchBot, GPTBot und PerplexityBot richtig einordnen
Wer KI-Crawler pauschal erlaubt oder sperrt, vermischt oft zwei verschiedene Entscheidungen: Soll eine Seite in aktueller KI-Suche auffindbar sein – und darf ihr Inhalt für zukünftiges Modelltraining verwendet werden? Die User-Agents müssen nach ihrem dokumentierten Zweck getrennt bewertet werden.
Die kurze Antwort
Für ChatGPT-Suche ist OAI-SearchBot relevant, nicht GPTBot. GPTBot betrifft OpenAIs mögliche Nutzung für Modelltraining. PerplexityBot dient der Suche und Verlinkung in Perplexity. Googles AI Overviews und AI Mode hängen an der normalen Google-Suche und damit an Googlebot; Google-Extended ist kein eigener Such-Crawler und hat laut Google keinen Einfluss auf Google Search.
Crawler, Zweck und Konsequenz
| User-Agent | Dokumentierter Zweck | Steuerung | Was eine Sperre bedeutet |
|---|---|---|---|
| Googlebot | Google-Suche einschließlich der Suchgrundlage für AI Overviews und AI Mode | robots.txt und Robots-Meta-Tags | Die URL kann ihre Crawl- und Suchberechtigung verlieren; damit fehlt auch die Grundlage für Googles generative Suchfunktionen. |
| Bingbot | Bing-Index; dieser speist auch unterstützte Copilot- und Grounding-Erlebnisse | robots.txt und Bing-kompatible Robots-Meta-Tags | Inhalte können nicht zuverlässig indexiert oder für unterstützte Grounding-Ergebnisse ausgewählt werden. |
| OAI-SearchBot | Auffindbarkeit und Verlinkung in ChatGPT Search | robots.txt | OpenAI kann den Seiteninhalt nicht über diesen Such-Crawler erfassen; eine bloße URL kann unter bestimmten Bedingungen dennoch bekannt sein. |
| GPTBot | Potenzielle Nutzung von Webinhalten zur Verbesserung zukünftiger Modelle | robots.txt | Die Trainingsnutzung wird abgelehnt; das ist getrennt von der ChatGPT-Suche zu entscheiden. |
| PerplexityBot | Auffindbarkeit und Verlinkung in Perplexity Search | robots.txt und gegebenenfalls Netzwerkfreigaben | Die Seite ist für diesen Such-Crawler nicht zugänglich; daraus folgt noch keine Aussage über andere Systeme. |
| Google-Extended | Kontroll-Token für Gemini Apps und Vertex AI; kein eigener HTTP-User-Agent | robots.txt als User-Agent-Token | Hat laut Google keinen Einfluss auf Aufnahme, Ranking oder Darstellung in Google Search. |
Eine belastbare Richtlinie beginnt mit der Geschäftsentscheidung
Vor einer Änderung sollte feststehen, welche Inhalte öffentlich auffindbar sein sollen und welche Trainingsnutzung das Unternehmen akzeptiert. Danach lässt sich die Richtlinie minimal und nachvollziehbar formulieren.
- 1
Öffentliche Suchinhalte bestimmen
Nur Seiten, die für Menschen öffentlich und zitierfähig sein sollen, gehören in die Suchstrategie.
- 2
Such- und Trainingszwecke trennen
OAI-SearchBot und PerplexityBot sind Such-Crawler; GPTBot ist eine getrennte Trainingsentscheidung.
- 3
Spezifische Gruppen vollständig halten
Sobald ein User-Agent eine eigene Gruppe erhält, darf man nicht voraussetzen, dass generische Regeln automatisch mitwirken.
- 4
Konfiguration statt Bot-Verhalten prüfen
Ein Validator kann Regeln und Erreichbarkeit testen, aber nicht behaupten, ein externer Bot habe die Seite wirklich indexiert oder zitiert.
Beispiel: öffentliche Website für Such-Crawler offen
User-agent: *
Allow: /
Sitemap: https://example.de/sitemap.xmlBeispiel: ChatGPT-Suche erlauben, GPTBot separat sperren
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: *
Allow: /
Sitemap: https://example.de/sitemap.xmlDas zweite Beispiel ist keine pauschale Empfehlung. Es zeigt nur, dass Suchzugriff und Trainingszugriff technisch getrennt formuliert werden können.
Was llms.txt dabei nicht leistet
Eine llms.txt ist ein Community-Vorschlag für eine kompakte Inhaltsübersicht. Sie ersetzt weder robots.txt noch Sitemap, Indexierung, interne Links oder zugänglichen HTML-Inhalt. Google erklärt ausdrücklich, dass für seine AI-Funktionen keine speziellen AI-Dateien oder Markups nötig sind. Deshalb sollte llms.txt höchstens als ergänzende Dokumentation gepflegt werden – nicht als Rankinghebel.
Was technisch geprüft werden kann
- robots.txt ist erreichbar und syntaktisch auswertbar
- Googlebot, Bingbot, OAI-SearchBot und PerplexityBot sind für Zielpfade nicht versehentlich gesperrt
- Sitemap und kanonische Seiten sind erreichbar
- Robots-Meta-Tags widersprechen der Crawl-Richtlinie nicht
- Wichtiger Inhalt steht im ausgelieferten HTML
- Server oder WAF liefern legitimen Crawlern keine unbeabsichtigten Fehler
Primärquellen
Vom Regelwerk zur konkreten Website-Prüfung
Die AI-Crawlability-Prüfung betrachtet nicht nur die Textdatei, sondern auch Statuscodes, Weiterleitungen, Renderbarkeit und die tatsächlich relevanten Zielseiten.