Google-Agent zulassen: Was Googles neue Anleitung verlangt
Sphinx-Flashdesign Logo
Geschrieben von
Sphinx-Flashdesign
Developers Signature Designers Signature
Datum
17.11.2026
Lesezeit
6 Min.
Wörter
1177
Google-Agent zulassen, ohne den Bot-Schutz aufzuweichen: Dafür gibt es jetzt eine eigene Anleitung von Google für alle, deren Website hinter Firewall, CDN oder Bot-Erkennung steht.

Am 17. November 2026 hat Google in seiner Crawling-Dokumentation die Anleitung „Allow Google-Agent traffic“ veröffentlicht[1]; der Änderungsverlauf der Dokumentation führt sie unter diesem Datum[2]. Das Fachportal Search Engine Roundtable berichtete am selben Tag darüber[3]. Google-Agent ist der Name, unter dem KI-Agenten auf Googles Infrastruktur im Auftrag von Nutzern Websites aufrufen und dort Aktionen ausführen[1].

Das Ziel laut Google: Echte Anfragen dieser Agenten sollen nicht blockiert werden, die bestehenden Sicherheitsmaßnahmen aber erhalten bleiben[1]. Google-Agent selbst ist nicht neu, Google führt ihn seit dem 20. März 2026 in seiner Dokumentation[2]. Wie robots.txt, Signaturen und die Grundsatzfrage „zulassen oder sperren“ zusammenhängen, haben wir am 12. November am Beispiel von United eingeordnet; hier geht es um die neue Checkliste.

Google-Agent zulassen: Googles KI-Agent passiert Firewall, CDN und Bot-Schutz einer Website
Google-Agent zulassen: Woran Sie echte Anfragen erkennen

Ein CDN (Content Delivery Network) ist ein vorgeschaltetes Auslieferungsnetz, eine WAF (Web Application Firewall) ein Filter für Web-Anfragen. Beide entscheiden oft automatisch, wer als Bot gilt und abgewiesen wird. Damit sie Google-Agent richtig einordnen, nennt Google drei Merkmale[1]:

Kennung
Der User-Agent, die Selbstauskunft jeder Anfrage, enthält „Google-Agent“[1]. Allein reicht das nicht, diese Kennung lässt sich fälschen[4].
IP-Adresse
Die Anfrage kommt von einer Adresse aus der Liste user-triggered-agents.json, die Google veröffentlicht[1][5].
Signatur, falls vorhanden
Manche Anfragen tragen eine kryptografische Signatur nach dem Verfahren Web Bot Auth, die sich gegen Googles öffentliche Schlüssel prüfen lässt[1][6].

Web Bot Auth ist bei Google ausdrücklich ein Experiment; geprüft wird die Signatur nach dem IETF-Standard HTTP Message Signatures (RFC 9421)[6]. Signierte Anfragen enthalten einen Header Signature-Agent mit dem Wert g="https://agent.bot.goog" sowie die Header Signature und Signature-Input mit dem Label g[1]. Die öffentlichen Schlüssel liegen unter agent.bot.goog im Pfad /.well-known/http-message-signatures-directory[6].

Google signiert allerdings nicht jede Anfrage eines Agenten und rät, ersatzweise über die IP-Adresse zu prüfen[6]. Eine Regel, die nur signierte Anfragen durchlässt, würde also echte Google-Agent-Zugriffe aussperren.

Googlebot oder Google-Agent: Was das für Ihr Ranking heißt

Google-Agent ist kein Suchcrawler. Googlebot sammelt automatisch Inhalte für den Suchindex[7], Google-Agent handelt erst, wenn ein Nutzer seinen Agenten losschickt[1]. Der Unterschied im Überblick:

KriteriumGooglebotGoogle-Agent
ZweckInhalte für den Google-Suchindex finden[7]Websites im Auftrag eines Nutzers bedienen[1]
robots.txt✓ beim automatischen Crawlen immer beachtet[7]✗ von nutzergesteuerten Abrufen in der Regel ignoriert[4]
IP-Listecommon-crawlers.json[7]user-triggered-agents.json[1]
Folgen einer Sperre laut GoogleSeiten und Shopping-Einträge können aus der Suche fallen[8]Die Anleitung nennt keine Folgen für die Suche[1]

Zur Ranking-Wirkung sagt die neue Anleitung nichts. Sie erwähnt weder Rankings noch Googlebot noch robots.txt[1]. Ob Freigabe oder Sperre die Sichtbarkeit in der Suche beeinflusst, ist damit offen; belegen lässt sich weder ein Vorteil noch ein Nachteil.

Anders bei Googlebot, als Hintergrund: Am 11. November hat Google gewarnt, dass pauschaler Bot-Schutz ohne Ausnahme für verifizierte Crawler dazu führen kann, dass Seiten und Shopping-Einträge aus der Suche fallen[8]. Wer seine Bot-Regeln ohnehin anfasst, prüft beide Kennungen am besten gemeinsam.

Die Checkliste für Firewall, CDN und Bot-Schutz

Manche Bot-Erkennungsdienste, CDNs und Firewalls bieten laut Google eigene Wege, Google-Agent zu verifizieren[1]; ob Ihrer dazugehört, erfahren Sie beim Anbieter. Ohne solche Funktion prüfen Sie selbst: erst den User-Agent, dann die IP-Adresse, dann, falls vorhanden, die Signatur. Verifizierte Anfragen sollen keine Bot-Abfragen mehr sehen, also keine Prüfseiten, die Menschen von Maschinen unterscheiden sollen[1]. Für die Fehlerbehebung nennt Google sechs Punkte:

Freigabe vor Sperren setzen
Ihre Erlaubnisregel muss Vorrang haben vor breiten Sperren: vor Blockaden ganzer Cloud- und Rechenzentrumsnetze (ASN, die Kennnummer eines solchen Netzes), vor verwalteten Bot-Regeln und vor Richtlinien, die KI-Agenten pauschal abweisen[1].
CAPTCHAs und JavaScript-Prüfungen überspringen
Die Regel muss nicht nur harte Sperren aufheben, sondern auch CAPTCHAs, also Rätselaufgaben, und JavaScript-Prüfungen überspringen, einschließlich einzelner CAPTCHA-Felder bei Suche oder Formularversand[1].
Die ganze Strecke freigeben
Die Freigabe muss mehr abdecken als die Startseite: Suche, Filter, Detailseiten, Warenkorb, Buchung sowie XHR-, GraphQL- und API-Endpunkte, also die Schnittstellen, über die eine Seite im Hintergrund Daten nachlädt[1].
Rate-Limits pro IP anpassen
Rate-Limits begrenzen die Zahl der Anfragen pro Adresse und Zeit. Weil gleichzeitige Anfragen vieler Nutzer über dieselben Google-Adressen laufen, sollen solche Limits die verifizierten Bereiche berücksichtigen oder ausnehmen[1].
IP-Liste aktuell halten
IP-basierte Regeln müssen zum jeweils aktuellen Stand von user-triggered-agents.json passen[1]. Die Datei trägt einen eigenen Erstellungszeitpunkt[5]; gleichen Sie sie automatisiert ab, statt die Adressen einmal abzuschreiben.
Proxys nichts verschlucken lassen
Load Balancer, die Last auf mehrere Server verteilen, und andere Zwischenstationen müssen die ursprüngliche IP-Adresse, den User-Agent und bei signierten Anfragen die Signatur-Header erhalten[1]. Sonst prüft Ihre Regel am Ende nur die Adresse des eigenen Proxys.
Freigeben heißt nicht: Türen öffnen
Die Freigabe betrifft nur die Bot-Erkennung. Logins, Bestätigungsschritte vor dem Kauf und Rechteprüfungen auf dem Server bleiben, wie sie sind; Google will die bestehenden Sicherheitsmaßnahmen ausdrücklich erhalten[1]. Und regeln Sie nie über den User-Agent allein: Diese Kennung kann jeder Bot vortäuschen[4].
Unsere Einordnung: Wer jetzt handeln sollte

Wichtig ist die Anleitung vor allem für Shops, Buchungsseiten und Portale mit strengem Bot-Schutz, denn Google nennt genau deren Kernstrecken: Suche, Filter, Warenkorb und Buchung[1]. Eine einfache Firmenwebsite ohne eigenen Bot-Schutz muss nach unserer Einschätzung nichts umbauen.

Ein schneller Test: Suchen Sie in den Zugriffsprotokollen (Logs) oder im Dashboard Ihres Bot-Schutzes nach „Google-Agent“ und prüfen Sie, ob diese Anfragen mit Fehlercodes oder Abfrageseiten beantwortet werden. Welche Google-Produkte den Agenten nutzen und wie viele Anfragen zu erwarten sind, nennen weder die Anleitung noch Googles Liste der nutzergesteuerten Abrufe[1][4]. Für uns ist das deshalb eine Wartungsaufgabe für die nächsten Wochen, kein Grund für Hektik.

Häufige Fragen zu Google-Agent
Was ist Google-Agent, und worin unterscheidet er sich von Googlebot?

Google-Agent ist die Kennung für KI-Agenten auf Googles Infrastruktur, die im Auftrag eines Nutzers Websites aufrufen und dort Aktionen ausführen[1]. Googlebot crawlt dagegen automatisch für den Suchindex und beachtet dabei robots.txt immer[7]; nutzergesteuerte Abrufe wie Google-Agent ignorieren robots.txt in der Regel[4].

Muss eine Website Google-Agent überhaupt zulassen?

Nein. Google beschreibt die Anleitung als Hilfe für Betreiber, die Google-Agent auf ihrer Website ermöglichen wollen[2]; eine Pflicht nennt Google nicht. Wer Kunden auch über KI-Agenten bedienen will, sollte verifizierte Anfragen aber nicht an Bot-Abfragen scheitern lassen[1].

Wie lassen sich Google-Agent-Anfragen verifizieren?

In drei Schritten: Der User-Agent enthält „Google-Agent“, die IP-Adresse steht in user-triggered-agents.json, und falls vorhanden wird die Signatur über die Header Signature und Signature-Input geprüft[1]. Da Google nicht jede Anfrage signiert, bleibt die IP-Prüfung die Rückfallebene[6].

Wirkt sich die Freigabe auf das Ranking aus?

Dazu gibt es keine Aussage von Google, die Anleitung erwähnt Rankings nicht[1]. Belegt ist nur für Googlebot, dass Seiten hinter dauerhaften Bot-Abfragen aus der Suche fallen können[8].

Welche Auswirkungen hat das auf den Datenschutz?

Die Anleitung äußert sich nicht zum Datenschutz und beschreibt auch nicht, welche Daten Google bei solchen Abrufen verarbeitet[1]. Die Freigabe selbst ändert nur, welche Anfragen Ihre Bot-Erkennung durchlässt. Ob Ihre Datenschutzerklärung Anfragen und Bestellungen abdeckt, die Kunden über einen KI-Agenten auslösen, klären Sie am besten mit Ihrem Datenschutzbeauftragten.

Quellen
  1. Google Crawling Infrastructure: Allow Google-Agent traffic (17.11.2026): developers.google.com
  2. Google Crawling Infrastructure: Changelog, Einträge vom 17.11.2026 und 20.03.2026 (abgerufen 17.11.2026): developers.google.com
  3. Search Engine Roundtable: New Google Search Help Document On How To Allow Google-Agent Traffic (17.11.2026): seroundtable.com
  4. Google Crawling Infrastructure: List of Google user-triggered fetchers (abgerufen 17.11.2026): developers.google.com
  5. Google: IP-Bereiche von Google-Agent, user-triggered-agents.json (abgerufen 17.11.2026): developers.google.com
  6. Google Crawling Infrastructure: Google's Guide to Authenticating Requests with Web Bot Auth (Experimental) (Stand 13.10.2026): developers.google.com
  7. Google Crawling Infrastructure: List of Google's common crawlers (abgerufen 17.11.2026): developers.google.com
  8. Google Search Central Blog: Moving to a CDN without overwhelming your origin (or blocking Googlebot) (11.11.2026): developers.google.com
Kommt Google-Agent durch Ihren Bot-Schutz?
Wir prüfen Firewall-, CDN- und Bot-Regeln Ihrer Website oder Ihres Shops, lassen verifizierte Anfragen von Google-Agent und Googlebot gezielt durch und halten den übrigen Bot-Schutz aufrecht. Mehr unter IT-Sicherheit.
Jetzt Kontakt mit uns aufnehmen
Tags:
Per WhatsApp schreiben