Am 17. November 2026 hat Google in seiner Crawling-Dokumentation die Anleitung „Allow Google-Agent traffic“ veröffentlicht[1]; der Änderungsverlauf der Dokumentation führt sie unter diesem Datum[2]. Das Fachportal Search Engine Roundtable berichtete am selben Tag darüber[3]. Google-Agent ist der Name, unter dem KI-Agenten auf Googles Infrastruktur im Auftrag von Nutzern Websites aufrufen und dort Aktionen ausführen[1].
Das Ziel laut Google: Echte Anfragen dieser Agenten sollen nicht blockiert werden, die bestehenden Sicherheitsmaßnahmen aber erhalten bleiben[1]. Google-Agent selbst ist nicht neu, Google führt ihn seit dem 20. März 2026 in seiner Dokumentation[2]. Wie robots.txt, Signaturen und die Grundsatzfrage „zulassen oder sperren“ zusammenhängen, haben wir am 12. November am Beispiel von United eingeordnet; hier geht es um die neue Checkliste.

Ein CDN (Content Delivery Network) ist ein vorgeschaltetes Auslieferungsnetz, eine WAF (Web Application Firewall) ein Filter für Web-Anfragen. Beide entscheiden oft automatisch, wer als Bot gilt und abgewiesen wird. Damit sie Google-Agent richtig einordnen, nennt Google drei Merkmale[1]:
Web Bot Auth ist bei Google ausdrücklich ein Experiment; geprüft wird die Signatur nach dem IETF-Standard HTTP Message Signatures (RFC 9421)[6]. Signierte Anfragen enthalten einen Header Signature-Agent mit dem Wert g="https://agent.bot.goog" sowie die Header Signature und Signature-Input mit dem Label g[1]. Die öffentlichen Schlüssel liegen unter agent.bot.goog im Pfad /.well-known/http-message-signatures-directory[6].
Google signiert allerdings nicht jede Anfrage eines Agenten und rät, ersatzweise über die IP-Adresse zu prüfen[6]. Eine Regel, die nur signierte Anfragen durchlässt, würde also echte Google-Agent-Zugriffe aussperren.
Google-Agent ist kein Suchcrawler. Googlebot sammelt automatisch Inhalte für den Suchindex[7], Google-Agent handelt erst, wenn ein Nutzer seinen Agenten losschickt[1]. Der Unterschied im Überblick:
| Kriterium | Googlebot | Google-Agent |
|---|---|---|
| Zweck | Inhalte für den Google-Suchindex finden[7] | Websites im Auftrag eines Nutzers bedienen[1] |
| robots.txt | ✓ beim automatischen Crawlen immer beachtet[7] | ✗ von nutzergesteuerten Abrufen in der Regel ignoriert[4] |
| IP-Liste | common-crawlers.json[7] | user-triggered-agents.json[1] |
| Folgen einer Sperre laut Google | Seiten und Shopping-Einträge können aus der Suche fallen[8] | Die Anleitung nennt keine Folgen für die Suche[1] |
Zur Ranking-Wirkung sagt die neue Anleitung nichts. Sie erwähnt weder Rankings noch Googlebot noch robots.txt[1]. Ob Freigabe oder Sperre die Sichtbarkeit in der Suche beeinflusst, ist damit offen; belegen lässt sich weder ein Vorteil noch ein Nachteil.
Anders bei Googlebot, als Hintergrund: Am 11. November hat Google gewarnt, dass pauschaler Bot-Schutz ohne Ausnahme für verifizierte Crawler dazu führen kann, dass Seiten und Shopping-Einträge aus der Suche fallen[8]. Wer seine Bot-Regeln ohnehin anfasst, prüft beide Kennungen am besten gemeinsam.
Manche Bot-Erkennungsdienste, CDNs und Firewalls bieten laut Google eigene Wege, Google-Agent zu verifizieren[1]; ob Ihrer dazugehört, erfahren Sie beim Anbieter. Ohne solche Funktion prüfen Sie selbst: erst den User-Agent, dann die IP-Adresse, dann, falls vorhanden, die Signatur. Verifizierte Anfragen sollen keine Bot-Abfragen mehr sehen, also keine Prüfseiten, die Menschen von Maschinen unterscheiden sollen[1]. Für die Fehlerbehebung nennt Google sechs Punkte:
Wichtig ist die Anleitung vor allem für Shops, Buchungsseiten und Portale mit strengem Bot-Schutz, denn Google nennt genau deren Kernstrecken: Suche, Filter, Warenkorb und Buchung[1]. Eine einfache Firmenwebsite ohne eigenen Bot-Schutz muss nach unserer Einschätzung nichts umbauen.
Ein schneller Test: Suchen Sie in den Zugriffsprotokollen (Logs) oder im Dashboard Ihres Bot-Schutzes nach „Google-Agent“ und prüfen Sie, ob diese Anfragen mit Fehlercodes oder Abfrageseiten beantwortet werden. Welche Google-Produkte den Agenten nutzen und wie viele Anfragen zu erwarten sind, nennen weder die Anleitung noch Googles Liste der nutzergesteuerten Abrufe[1][4]. Für uns ist das deshalb eine Wartungsaufgabe für die nächsten Wochen, kein Grund für Hektik.
Google-Agent ist die Kennung für KI-Agenten auf Googles Infrastruktur, die im Auftrag eines Nutzers Websites aufrufen und dort Aktionen ausführen[1]. Googlebot crawlt dagegen automatisch für den Suchindex und beachtet dabei robots.txt immer[7]; nutzergesteuerte Abrufe wie Google-Agent ignorieren robots.txt in der Regel[4].
Die Anleitung äußert sich nicht zum Datenschutz und beschreibt auch nicht, welche Daten Google bei solchen Abrufen verarbeitet[1]. Die Freigabe selbst ändert nur, welche Anfragen Ihre Bot-Erkennung durchlässt. Ob Ihre Datenschutzerklärung Anfragen und Bestellungen abdeckt, die Kunden über einen KI-Agenten auslösen, klären Sie am besten mit Ihrem Datenschutzbeauftragten.
- Google Crawling Infrastructure: Allow Google-Agent traffic (17.11.2026): developers.google.com
- Google Crawling Infrastructure: Changelog, Einträge vom 17.11.2026 und 20.03.2026 (abgerufen 17.11.2026): developers.google.com
- Search Engine Roundtable: New Google Search Help Document On How To Allow Google-Agent Traffic (17.11.2026): seroundtable.com
- Google Crawling Infrastructure: List of Google user-triggered fetchers (abgerufen 17.11.2026): developers.google.com
- Google: IP-Bereiche von Google-Agent, user-triggered-agents.json (abgerufen 17.11.2026): developers.google.com
- Google Crawling Infrastructure: Google's Guide to Authenticating Requests with Web Bot Auth (Experimental) (Stand 13.10.2026): developers.google.com
- Google Crawling Infrastructure: List of Google's common crawlers (abgerufen 17.11.2026): developers.google.com
- Google Search Central Blog: Moving to a CDN without overwhelming your origin (or blocking Googlebot) (11.11.2026): developers.google.com