GEO
LLM-Crawler und KI-Bots – was Website-Betreiber wissen müssen
Neben den klassischen Suchmaschinen-Crawlern (Googlebot, Bingbot) durchsuchen seit 2023 zunehmend KI-Crawler das Web — Bots von OpenAI, Anthropic, Perplexity, Google und anderen KI-Unternehmen. Sie sammeln Daten für zwei unterschiedliche Zwecke: KI-Modell-Training und KI-Suche in Echtzeit. Für Website-Betreiber ist relevant: Diese Bots zu verstehen, zu erkennen und bewusst zu steuern — sowohl aus Sichtbarkeits- als auch aus Kontroll-Perspektive.
Die wichtigsten KI-Crawler
GPTBot
Betreiber: OpenAI. Zweck: Training für GPT-Modelle. User-Agent: GPTBot
ChatGPT-User
Betreiber: OpenAI. Zweck: ChatGPT Browse (Echtzeit). User-Agent: ChatGPT-User
ClaudeBot
Betreiber: Anthropic. Zweck: Training für Claude-Modelle. User-Agent: ClaudeBot
Claude-Web
Betreiber: Anthropic. Zweck: Claude Web-Suche (Echtzeit). User-Agent: Claude-Web
Google-Extended
Betreiber: Google. Zweck: Training für Gemini, AI Overviews. User-Agent: Google-Extended
PerplexityBot
Betreiber: Perplexity. Zweck: Perplexity-Suche (Echtzeit). User-Agent: PerplexityBot
Bytespider
Betreiber: ByteDance (TikTok). Zweck: Training für eigene KI-Modelle. User-Agent: Bytespider
CCBot
Betreiber: Common Crawl. Zweck: Öffentlicher Datensatz (viele KI-Unternehmen nutzen ihn). User-Agent: CCBot
Training-Crawler vs. Echtzeit-Crawler
Der wichtigste Unterschied zwischen KI-Crawlern: Sammeln sie Daten für das Training künftiger Modell-Versionen, oder durchsuchen sie das Web in Echtzeit für eine konkrete Nutzeranfrage?
Training-Crawler (GPTBot, ClaudeBot, Google-Extended)
Diese Bots crawlen Websites um Daten für das Training zukünftiger Modell-Versionen zu sammeln. Die gecrawlten Inhalte fliessen — wenn überhaupt — erst in Monaten oder Jahren in ein neues Modell ein. Blockieren dieser Bots verhindert, dass eigene Inhalte in zukünftige Trainingsdaten einfliessen — beeinflusst aber NICHT die aktuelle KI-Suche.
Echtzeit-Crawler (PerplexityBot, ChatGPT-User, Claude-Web)
Diese Bots durchsuchen das Web als direkte Reaktion auf eine Nutzeranfrage — ähnlich wie ein Suchmaschinen-Crawler. Wenn ein Nutzer Perplexity nach einem aktuellen Thema fragt, crawlt PerplexityBot relevante Seiten in dem Moment. Blockieren dieser Bots bedeutet: die Website kann nicht als Quelle für KI-Antworten in Echtzeit dienen — direkter GEO-Impact.
Training-Crawler blockieren ist nicht dasselbe wie GEO-Sichtbarkeit verhindern
Ein häufiges Missverständnis: GPTBot oder ClaudeBot (Training-Crawler) zu blockieren, verhindert NICHT dass die Website in ChatGPT- oder Claude-Antworten erscheint — diese Antworten basieren oft auf Echtzeit-Suche (Bing für ChatGPT, eigene Suche für Claude), nicht auf den Trainingsdaten. Wer GEO-Sichtbarkeit will, sollte Echtzeit-Crawler (ChatGPT-User, Claude-Web, PerplexityBot) nicht blockieren.
KI-Crawler über robots.txt steuern
Wie klassische Suchmaschinen-Crawler respektieren die meisten grossen KI-Crawler die robots.txt-Datei. Website-Betreiber können einzelne Crawler gezielt erlauben oder blockieren.
Alle Training-Crawler blockieren
User-agent: GPTBot, Disallow: / — analog für ClaudeBot, Google-Extended, Bytespider, CCBot. Diese Einträge verhindern dass Inhalte in zukünftige Trainingsdaten dieser Anbieter einfliessen. Hat keinen Effekt auf aktuelle KI-Suche.
Echtzeit-Crawler erlauben
Keine Disallow-Einträge für ChatGPT-User, Claude-Web, PerplexityBot — oder explizit User-agent: PerplexityBot, Allow: /. Diese Bots ermöglichen GEO-Sichtbarkeit in Echtzeit-KI-Antworten.
Selektiv nach Bereich
Bestimmte Bereiche (z.B. Premium-Content, App-Bereich) für alle Crawler sperren, öffentlichen Content offen lassen. robots.txt erlaubt pfadspezifische Regeln pro User-Agent.
Warum manche Website-Betreiber KI-Crawler blockieren
Inhalte nicht für KI-Training
Betroffene Crawler-Art: Training-Crawler
Urheberrechts- und Geschäftsmodell-Bedenken
News, Premium-Content — betrifft beide Crawler-Arten
Server-Last durch aggressive Crawler
Betrifft beide Arten, je nach Crawler-Verhalten
Kontrolle über KI-generierte Zusammenfassungen
Betrifft primär Training-Crawler
Grosse Publisher (New York Times, Reddit, Stack Overflow) haben Lizenzvereinbarungen mit KI-Unternehmen abgeschlossen — entweder für Zugang zu ihren Daten oder als Ausgleich für Crawling. Für kleinere Websites ist Blockieren meist nicht wirtschaftlich relevant, kann aber aus Prinzip oder Geschäftsmodell-Gründen sinnvoll sein.
Empfehlung für content-getriebene Websites
Für Websites die GEO-Sichtbarkeit anstreben (wie content-getriebene SEO/Marketing-Websites), ist die typische Empfehlung: Echtzeit-Crawler offen lassen (sie ermöglichen Zitate in aktuellen KI-Antworten), Training-Crawler nach eigener Abwägung — Blockieren schützt vor zukünftiger Trainingsdaten-Nutzung, hat aber keinen kurzfristigen GEO-Effekt.
robots.txt regelmässig prüfen
Neue KI-Crawler entstehen kontinuierlich. Eine robots.txt die 2024 erstellt wurde, kennt 2026 neue Crawler nicht. Quartalsweise prüfen: Welche neuen KI-Crawler gibt es? Entspricht die robots.txt-Konfiguration noch der eigenen Strategie? Listen wie das ‘ai.robots.txt’-Projekt auf GitHub bieten aktuelle Übersichten.
Häufig gestellte Fragen zum Thema LLM-Crawler und KI-Bots
Ja — KI-Crawler senden ihren User-Agent-String mit jedem Request, sichtbar in Server-Access-Logs. Tools wie Cloudflare Analytics, AWStats oder einfache grep-Befehle auf Log-Dateien zeigen Crawler-Aktivität. Auffällig hohe Anfragenraten von einem KI-Crawler können auch ein Performance-Thema sein.
Die grossen, etablierten Anbieter (OpenAI, Anthropic, Google, Perplexity) respektieren robots.txt offiziell. Es gibt aber Berichte über Crawler die robots.txt ignorieren — besonders kleinere oder weniger bekannte Anbieter. robots.txt ist eine Bitte, kein technischer Schutz — für echten Schutz sind serverseitige Blockaden (IP/User-Agent-basiert) nötig.
Bei normalem Crawling-Verhalten meist nicht spürbar. Bei aggressivem Crawling (viele Anfragen in kurzer Zeit) kann es zu Serverlast kommen. Rate-Limiting für bekannte Crawler-User-Agents in der Server-Konfiguration kann hier helfen, ohne die Crawler komplett zu blockieren.
Common Crawl ist ein gemeinnütziges Projekt das einen riesigen, öffentlich verfügbaren Web-Datensatz bereitstellt. Viele KI-Unternehmen (auch kleinere, die keinen eigenen Crawler betreiben) nutzen Common-Crawl-Daten für Training. CCBot zu blockieren beeinflusst potenziell viele KI-Modelle indirekt — nicht nur einen Anbieter.