// HEISE ONLINE — INTELLIGENZA ARTIFICIALE
robots.txt auf Diät: Ein einziger Befehl soll alle KI-Trainer stoppen
Google will ab 2027 ein anbieterübergreifendes IETF-Token fürs KI-Training in der robots.txt auswerten. Google-Extended bleibt für Ausnahmen erhalten.
This article is also available in
English.
It was translated with technical assistance and editorially reviewed before publication.
Google will ab 2027 ein gemeinsames Steuersignal in der Datei robots.txt unterstützen, mit dem Website-Betreiber der Nutzung ihrer Inhalte für das Training von KI-Modellen zentral widersprechen können. Statt für jeden KI-Anbieter einzelne Sperrregeln zu pflegen, soll ein übergreifendes Policy-Token ausreichen, um die eigenen Präferenzen in einem Schritt gegenüber mehreren KI-Entwicklern zu hinterlegen. Die Neuerung stützt sich auf Vorarbeiten der Arbeitsgruppe AI Preferences (AIPREF) bei der Standardisierungsorganisation IETF.
Die im Wurzelverzeichnis eines Webservers abgelegte Textdatei robots.txt regelt bereits seit 1994 nach dem in RFC 9309 standardisierten Robots Exclusion Protocol, auf welche Verzeichnisse und Pfade automatisierte Webcrawler zugreifen dürfen. Ursprünglich steuerten Administratoren damit vor allem Suchmaschinen-Bots, um die Serverlast zu begrenzen oder bestimmte Bereiche von der Indexierung auszuschließen. Mit dem Aufkommen großer Sprachmodelle dient die Datei außerdem als maschinenlesbarer Nutzungsvorbehalt gegen das ungefragte Abgreifen von Trainingsdaten. Technische Zugriffssperren ersetzt die Datei allerdings nicht: Sie formuliert Vorgaben, an die sich kooperative Crawler freiwillig halten, während manche Anbieter die Vorgaben der robots.txt ignorieren.
Laut Google Search Central Blog geht der Schritt auf Rückmeldungen von Publishern, Regulierungsbehörden und Zivilgesellschaft zurück, die branchenweite Kontrollmechanismen gefordert hatten. Bisher müssen Administratoren in ihrer robots.txt jeden KI-Crawler oder jedes herstellerspezifische Token einzeln hinterlegen: zum Beispiel GPTBot für OpenAI, ClaudeBot für Anthropic oder Googles eigenes, seit 2023 angebotenes Token Google-Extended.
Der zugrundeliegende IETF-Entwurf führt dafür keine neue Syntax in das Robots Exclusion Protocol ein, sondern nutzt die bestehende User-Agent-Zeile für ein gemeinsames Policy-Token (__usage_ai-training). Anders als klassische Einträge steht dieses Token nicht für einen konkreten HTTP-Crawler, der sich im Header mit diesem Namen meldet, sondern definiert den Verwendungszweck für alle teilnehmenden KI-Anbieter. Ein globaler Widerspruch gegen das KI-Training mit Ausnahme eines einzelnen Verzeichnisses sieht nach dem Entwurf beispielsweise so aus:
Parser, die das neue Token nicht kennen, ignorieren den Block gemäß RFC 9309 einfach als unbekannten User-Agent. Teilnehmende KI-Anbieter werten die Pfadregeln hingegen aus, um festzustellen, welche Inhalte einer Website sie für das Training ihrer Modelle heranziehen dürfen.
Bestehende unternehmensspezifische Steuerungen sollen laut Google parallel erhalten bleiben. Dadurch können Website-Betreiber eine pauschale Grundentscheidung über das gemeinsame Policy-Token treffen und diese bei Bedarf für einzelne Anbieter überschreiben. Widerspricht eine Website dem KI-Training über das neue gemeinsame Token und macht dabei keine expliziten Angaben zu Google-Extended, wertet Google dies automatisch so, als hätte der Betreiber Google-Extended per Disallow gesperrt.
Wer hingegen Google-Extended ausdrücklich erlaubt, schaltet seine Inhalte nicht nur für das Training frei: Laut Google ist diese explizite Freigabe auch die Voraussetzung dafür, dass Websites über das sogenannte Grounding in Antworten von Gemini-Apps auftauchen und darüber Klicks erhalten können. Beim Grounding verknüpft das Sprachmodell seine generierten Antworten zur Laufzeit mit aktuellen Webquellen, um Fakten zu belegen und weiterführende Links auszuspielen.
Inhaltlich stützt sich das neue Signal auf die Definition von KI-Training, die die IETF-Arbeitsgruppe AIPREF ausgearbeitet hat. Während die Diskussionen der verschiedenen