Eine scheinbar unscheinbare Cloudflare-Einstellung kann den Unterschied machen, ob Ihre Inhalte von KI-Systemen wie ChatGPT, Perplexity oder Google AI Overviews gefunden werden. Selbst wenn Sie alle technischen Voraussetzungen für Suchmaschinenoptimierung (SEO) erfüllen, könnte eine veraltete Konfiguration Ihre Reichweite in KI-gestützten Suchen unterbinden – ohne dass Sie es bemerken.
Cloudflare blockiert KI-Crawler – und Sie zahlen den Preis
Die kostenlose Version von Cloudflare, die von Millionen Websites genutzt wird, aktiviert standardmäßig eine Funktion, die KI-Crawler gezielt blockiert. Diese Einstellung namens „Instruct AI bots to not scrape content“ fügt automatisch Regeln in die robots.txt-Datei ein und verhindert, dass KI-Systeme Ihre Inhalte abrufen. Das Problem: Viele Nutzer deaktivieren zwar die explizite Blockade für KI-Bots, wissen aber nichts von dieser zusätzlichen, stillen Einschränkung.
Ein Entwickler, der unter dem Pseudonym vibescoder einen Blog betreibt, entdeckte dies auf die harte Tour. Obwohl er alle offensichtlichen Einstellungen überprüft hatte, blieb seine Website für KI-Crawler unsichtbar. Erst ein detaillierter Audit enthüllte, dass Cloudflare trotz deaktivierter Blockade weiterhin KI-Bots in der robots.txt ausschloss – ohne dass dies im ursprünglichen Code erkennbar war.
Die betroffenen Crawler umfassten:
- GPTBot (ChatGPT)
- ClaudeBot (Claude)
- Google-Extended (Google AI Overviews)
- Amazonbot
- CCBot
- Bytespider
SEO vs. AEO: Warum Sie beides brauchen
Traditionelle SEO konzentriert sich darauf, Inhalte für Suchmaschinen wie Google zu optimieren. Doch mit dem Aufstieg von KI-gestützten Antwortsystemen entsteht eine zweite Disziplin: Answer Engine Optimization (AEO). Während SEO darauf abzielt, in klassischen Suchergebnissen zu ranken, geht es bei AEO darum, Inhalte so aufzubereiten, dass sie von KI-Assistenten zitiert, zusammengefasst oder als Quelle genutzt werden.
Die Unterschiede sind entscheidend:
- SEO erfordert Meta-Tags, strukturierte Daten und Backlinks.
- AEO benötigt klare Antwortstrukturen, zitierfähige Inhalte und spezifische Dateiformate wie
llms.txt.
Ohne AEO optimierte Inhalte riskieren Sie, dass Ihre Arbeit zwar in Google gefunden wird – aber nicht in KI-Systemen. Das bedeutet weniger Sichtbarkeit, weniger Zitate und im schlimmsten Fall das Verschwinden Ihrer Inhalte aus den Antworten moderner Suchmaschinen.
So beheben Sie das Problem in 60 Sekunden
Die Lösung ist überraschend einfach, erfordert aber das Wissen um die richtige Einstellung. Folgen Sie diesen Schritten:
- Melden Sie sich bei Ihrem Cloudflare-Dashboard an.
- Navigieren Sie zu Security → Settings.
- Suchen Sie nach der Option „Manage your robots.txt“.
- Wählen Sie „Disable robots.txt configuration“ aus.
Diese Einstellung stoppt die automatische Modifikation Ihrer robots.txt durch Cloudflare und stellt sicher, dass Ihre ursprünglichen Regeln unverändert bleiben. Alternativ können Sie „Content Signals Policy“ wählen, wenn Sie verhindern möchten, dass Ihre Inhalte für das Training von KI-Modellen genutzt werden. Beachten Sie jedoch, dass dies Ihre Sichtbarkeit in KI-Systemen einschränken kann.
Wichtige Hinweise zur Cloudflare-Konfiguration
Cloudflare bietet drei separate Einstellungen, die KI-Crawler beeinflussen. Alle müssen überprüft werden:
- Block AI Bots (Security → Settings): Blockiert explizit KI-Trainingscrawler.
- AI Labyrinth (Security → Settings): Fügt irreführende Links hinzu, um nicht konforme Bots abzulenken.
- Manage your robots.txt (Security → Settings): Modifiziert die robots.txt-Datei am Edge.
Nur wenn alle drei Einstellungen korrekt konfiguriert sind, können Sie sicher sein, dass Ihre Inhalte von KI-Systemen gefunden werden.
Die Zukunft der Inhaltsentdeckung: llms.txt
Neben der robots.txt-Datei gewinnt eine neue Datei namens `llms.txt` an Bedeutung. Während die robots.txt traditionell für Suchmaschinenroboter gedacht ist, dient llms.txt als dedizierte Anleitung für KI-Crawler. Sie kann folgende Informationen enthalten:
- Eine Beschreibung Ihrer Website und ihrer Themen
- Spezifische Anweisungen für KI-Systeme, wie sie Ihre Inhalte nutzen dürfen
- Verweise auf wichtige Seiten oder Artikel
Ohne eine solche Datei verlassen Sie sich darauf, dass KI-Systeme Ihre Inhalte eigenständig interpretieren – was selten optimal funktioniert. Die Implementierung einer llms.txt ist ein einfacher, aber wirkungsvoller Schritt, um Ihre AEO zu verbessern.
Fazit: Prüfen Sie jetzt Ihre Einstellungen
Die Episode von vibescoder zeigt, wie leicht technische Details übersehen werden können – selbst von erfahrenen Entwicklern. Eine falsche Cloudflare-Konfiguration kann Ihre gesamte KI-Strategie zunichtemachen, ohne dass Sie es merken.
Nehmen Sie sich fünf Minuten Zeit, um Ihre Einstellungen zu überprüfen. Stellen Sie sicher, dass Cloudflares KI-Blockaden deaktiviert sind und dass Ihre Inhalte sowohl für SEO als auch für AEO optimiert sind. Die Zukunft der Inhaltsentdeckung liegt in den Händen von KI-Systemen – und wer sie ignoriert, riskiert, unsichtbar zu werden.
Der nächste Schritt? Führen Sie einen vollständigen Audit Ihrer Website durch und prüfen Sie, ob Ihre Inhalte in den Antworten von ChatGPT, Perplexity oder Google AI Overviews erscheinen. Wenn nicht, wissen Sie jetzt, wo Sie ansetzen müssen.
KI-Zusammenfassung
Bulutflare kullanıcıları, AI arama motorlarının içeriklerinize ulaşmasını engelleyebilecek gizli bir ayarın farkında olmayabilir. Üç ayarı kontrol edin ve AEO stratejinizi güçlendirin.
