By Keshavan Thiagaraja
Drei Jahre lang bedeutete es, einer KI-Firma zu sagen, sie solle nicht mit deiner Website trainieren, dass man den Namen ihres Crawlers kennen musste. GPTBot für OpenAI, ClaudeBot für Anthropic, Google-Extended für Google, ein Meta-Tag für Microsoft. Jeder Anbieter hatte seinen eigenen Schalter, seine eigene Syntax und seine eigene Dokumentation, und jeder Website-Betreiber, der aus dem KI-Training aussteigen wollte, musste sie alle finden und pflegen. Am Freitag einigten sich die vier größten KI-Unternehmen darauf, stattdessen eine einzige Zeile zu lesen.
OpenAI, Google, Microsoft und Anthropic haben jeweils angekündigt, ein gemeinsames Signal in der robots.txt zu respektieren, der kleinen Textdatei, die seit 1994 regelt, wie Maschinen mit Websites umgehen. Ein Publisher kann eine Regel schreiben, die sich an alle teilnehmenden KI-Anbieter gleichzeitig richtet und festlegt, ob seine Inhalte zum Training generativer Modelle verwendet werden dürfen. OpenAI sagt, es werde das Signal in den kommenden Monaten umsetzen. Google plant die Unterstützung für 2027. Microsoft hat den detailliertesten Zeitplan veröffentlicht; neue Kontrollen gelten ab Februar.
Die Mechanik ist bewusst langweilig, und genau das ist der Punkt. Der Vorschlag fügt der robots.txt keine neue Direktive hinzu. Eine Site schreibt eine gewöhnliche Regelgruppe unter einem Policy-Token, __usage_ai-training, und verwendet dabei die gleichen Allow- und Disallow-Zeilen wie immer. Eine Wildcard-Gruppe kann dem Token niemals entsprechen, und eine Datei ohne das Token drückt keine Präferenz aus – was auf jede heute veröffentlichte robots.txt zutrifft. Niemandes bestehende Konfiguration ändert über Nacht ihre Bedeutung.
Die Idee stammt aus der AI-Preferences-Arbeitsgruppe der Internet Engineering Task Force, und der konkrete Entwurf wurde vom Anthropic-Ingenieur Kevin Kelley eingereicht. Es ist ein individueller Internet Draft, kein verabschiedeter Standard, und er läuft im Mai 2027 aus, wenn die Arbeitsgruppe ihn nicht weiterführt. Anthropic sagt, die Umsetzung in allen Diensten werde Zeit brauchen. Es ist ein freiwilliger Pakt unter Wettbewerbern, keine Regulierung, und nichts daran birgt eine Strafe über die Reputation hinaus.
Im Kleingedruckten hört die Einigung auf, einfach auszusehen. Jedes Unternehmen wird dieselbe Zeile lesen und etwas anderes damit tun. Google plant, einen gemeinsamen Opt-out wie einen Google-Extended-Block zu behandeln, der Inhalte aus dem künftigen Gemini-Training und aus dem Grounding in Gemini-Apps entfernt, die Google-Suche aber unberührt lässt. Microsoft teilt die Entscheidung in zwei: eine Präferenz fürs Training und eine fürs Grounding, also dafür, ob Ihre Seiten die Antworten speisen dürfen, die Copilot und Bings AI Mode erzeugen. Microsoft stellt außerdem die NoArchive- und NoCache-Tags ab, auf die sich viele Sites heute verlassen, und gibt Betreibern bis März 2027 Zeit, ihre Wahl neu zu erklären. Sites, die diese Frist verpassen, erlauben Grounding künftig standardmäßig.
Dieses letzte Detail verdient die Aufmerksamkeit eines Boards. Sich aus dem Training auszutragen ist nicht dasselbe wie sich aus den Antworten auszutragen. Ein Unternehmen kann seine Inhalte aus den Gewichten eines Modells heraushalten und KI-Produkte sie trotzdem zitieren lassen – oder umgekehrt –, und jeder Anbieter zieht diese Linie an einer anderen Stelle. Microsoft warnt unverblümt: Wer Grounding einschränkt, begrenzt die Sichtbarkeit seiner Marke in KI-generierten Antworten, nicht aber in den normalen Suchergebnissen. Die Entscheidung ist kein technischer Hausputz mehr für das Web-Team. Sie ist eine Distributionsstrategie-Frage: Wo arbeiten Ihre Worte am härtesten für Sie.
Es gibt auch eine ehrliche Grenze dessen, was sich am Freitag geändert hat. Das Signal ist für alle freiwillig, auch für die Unternehmen, die es angekündigt haben. Es sagt nichts über Bezahlung, Lizenzen oder Namensnennung, und es tut nichts für Inhalte, die bereits in den heutigen Modellen stecken. Ein Publisher, der eine Vergütung will, braucht weiterhin einen Vertrag; wer Löschung will, braucht weiterhin einen Anwalt. Was die gemeinsame Zeile bietet, ist Einwilligungs-Maschinerie – billig genug für jede Website und einheitlich genug, dass die Branche nicht mehr behaupten kann, ihre Beachtung sei zu kompliziert gewesen.
Die tiefere Verschiebung verdient ihren Namen. Trainingsdaten verwandeln sich von etwas, das die Branche genommen hat, in etwas, das sie erbitten muss, und das Bitten wird so standardisiert, wie das Web Dinge standardisiert: ein Token, ein Vokabular, eine Arbeitsgruppe, eine Frist. Sobald Einwilligung ein Dateiformat hat, hat Verhandlung einen Ausgangspunkt. Erwarten Sie, dass Lizenzgespräche, Regulierungsentwürfe und Unternehmens-Datendeals auf dieses Signal verweisen werden, so wie Datenschutzdebatten auf Cookie-Banner verweisen: als der Moment, in dem ein vages Prinzip zu einer operativen Kontrolle wurde.
Für Führungsteams ist die Aktion klein, aber real. Entscheiden Sie bewusst, ob Ihre Inhalte Modelle trainieren, Antworten speisen, beides oder nichts davon, und schreiben Sie diese Entscheidung einmal an einem Ort nieder, statt einen Standardwert für sich antworten zu lassen. Beauftragen Sie jemanden zu verfolgen, wie jeder Anbieter die gemeinsame Zeile 2026 und 2027 interpretiert, denn dieselben Worte werden bei Google und Microsoft eine Zeit lang Verschiedenes bedeuten. Die Unternehmen, die das als strategische Wahl behandeln und nicht als Einstellungsseite, werden die sein, deren Inhalte zu ihren eigenen Bedingungen arbeiten.
Denken Sie mathematisch. Konstruieren Sie intelligent. Führen Sie strategisch. Bauen Sie verantwortungsvoll. Skalieren Sie global. Schaffen Sie echten geschäftlichen Wert durch künstliche Intelligenz.
#ArtificialIntelligence #AIStrategy #RobotsTxt #ContentPolicy #ITImpress
