Crawler-Politik, GSC-Opt-out & Preferred Sources in KI-Suche

TL;DR: Gleich zwei infrastrukturelle Weichenstellungen prägen die erste Augustwoche 2026 für GEO-Praktizierende: Cloudflare führt ab 15. September ein Drei-Klassen-Crawler-System ein, das versehentlich auch Googlebot blockieren kann – und Google rollt einen neuen GSC-Opt-out-Schalter für AI Overviews und AI Mode aus, der erstmals eine saubere Trennung von KI-Sichtbarkeit und organischem Ranking ermöglicht. Beide Maßnahmen zwingen Website-Betreiber zu aktiven, strategisch überlegten Entscheidungen.

Cloudflare ersetzt den „Block AI Bots”-Schalter durch drei Kategorien

Cloudflare hat AI-Unternehmen eine Frist bis zum 15. September 2026 gesetzt: Bis dahin müssen Crawler, die für die klassische Suche genutzt werden, klar von solchen für KI-Training und Agenten-Tasks getrennt werden – oder sie werden auf werbefinanzierten Seiten standardmäßig blockiert. Das alte „Alles-oder-Nichts”-Toggle wird durch drei unabhängige Klassen abgelöst: Search, Agent und Training.

Die eigentliche Brisanz liegt in der Klassifizierung von Googlebot, Bingbot und Applebot als „Mixed-Use”-Crawler. Cloudflare wendet auf solche Multi-Purpose-Crawler stets die restriktivste eingestellte Regel an: Wer Training-Bots blockiert, blockiert damit auch Googlebot auf Ad-Monetized-Pages. Publisher, die ihre Inhalte vor KI-Scraping schützen wollen, riskieren so unbeabsichtigt ihre organische Indexierung.

Google bietet zwar Google-Extended als robots.txt-Direktive an, um KI-Nutzung separat zu steuern – doch dieser Mechanismus verhindert nicht das Erscheinen in AI Overviews, da diese auf dem normalen Search-Index basieren. Cloudflares erklärtes Ziel ist, Google und andere Suchanbieter strukturell zur Trennung ihrer Crawler zu zwingen.

Handlungsbedarf: Cloudflare-Nutzer sollten vor dem 15. September unter Security → Settings → Configure AI bot policies explizite Ausnahmeregeln für die Crawler setzen, auf die das eigene Geschäftsmodell angewiesen ist. Nichts tun ist ebenfalls eine Entscheidung – und nach Fristablauf möglicherweise eine kostspielige.

Google Search Console: Erstmals echter Opt-out für AI Overviews

Google rollt in der Search Console einen neuen Toggle aus, mit dem Website-Betreiber ihre Inhalte aus AI Overviews, AI Mode und generativen Discover-Features herausnehmen können – ohne die klassischen organischen Rankings zu berühren. Der Schalter findet sich unter Settings → Search generative AI und bietet drei Zustände: Include, Exclude und Inherit from Parent.

Der Startschuss fiel am 3. Juni 2026 unter regulatorischem Druck der britischen Competition and Markets Authority (CMA) – die weltweit erste rechtsverbindliche Auflage dieser Art für einen Suchmaschinenkonzern. Der Rollout begann mit UK-Properties und breitet sich jetzt wellenweise auf die USA, Indien, die Schweiz und weitere Regionen aus.

Wichtig für die GEO-Strategie: Ein Opt-out entfernt nicht die KI-Antwort selbst – er übergibt lediglich die Zitierung an einen Wettbewerber, der im System verbleibt. Zudem gilt dieser Toggle separat von Google-Extended (Modell-Training) und nosnippet (Snippet-Steuerung). Page-level-Controls sind für März 2027 angekündigt.

Preferred Sources jetzt auch in AI Overviews – Audience-Loyalität als Ranking-Faktor

Seit dem 27. Mai 2026 wirkt Googles Preferred-Sources-Feature nicht mehr nur in Top Stories, sondern auch in AI Overviews und AI Mode. Nutzer können Quellen als bevorzugt kennzeichnen; diese Auswahl erzeugt ein sichtbares Label innerhalb von KI-Antworten.

Laut Google sind Nutzer doppelt so häufig bereit, auf einen Link einer bevorzugten Quelle zu klicken, und über 345.000 Quellen wurden bereits von Nutzern als Preferred Sources markiert. Die Implikation für GEO ist strategisch: Audience-Loyalität und direkte Leser-Bindung werden zu messbaren Sichtbarkeitssignalen innerhalb KI-generierter Antworten – ein Hebel, der nicht über technische Optimierung allein erreichbar ist.

Die aktuellen Studiendaten legen nahe, dass eine Zitierung in AI Overviews die Klickwahrscheinlichkeit erhöht und unter Umständen zusätzlichen Direktverkehr nach sich zieht – ein zentrales Argument gegen vorschnellen Opt-out.

Was bedeutet das für die GEO-Praxis?

Die drei Entwicklungen dieser Woche sind keine isolierten Produktupdates, sondern Teile einer strukturellen Neuordnung: Wer KI-Sichtbarkeit aktiv gestalten will, braucht jetzt klare Policies auf Crawler-Ebene (Cloudflare-Einstellungen), eine bewusste Entscheidung über den GSC-AI-Toggle und eine Leser-Loyalitätsstrategie für Preferred Sources. Passivität bedeutet in allen drei Fällen den Verlust von Kontrolloptionen.