たった一行のテキストが、「私のコンテンツで学習しないで」へのAI業界の回答を統一した
By Keshavan Thiagaraja この3年間、AI企業に自分のウェブサイトで学習しないよう伝えることは、そのクローラーの名前を知っていることを意味した。OpenAIならGPTBot、AnthropicならClaudeBot、GoogleならGoogle-Extended、Microsoftならメタタグ。ベンダーごとに独自のスイッチ、独自の構文、独自のドキュメントがあり、AI学習から外れたいウェブサイト運営者はそれらすべてを見つけて保守しなければならなかった。金曜日、最大手4社のAI企業が、その代わりにたった一行を読むことに合意した。 OpenAI、Google、Microsoft、Anthropicはそれぞれ、1994年からマシンのウェブサイトの扱いを規定してきた小さなテキストファイルrobots.txtにおける共通シグナルを尊重すると発表した。パブリッシャーは、参加するすべてのAIプロバイダーに一度に届く一つのルールを書き、自分のコンテンツを生成モデルの学習に使ってよいかどうかを表明できる。OpenAIは今後数か月でこのシグナルを実装すると述べている。Googleは2027年にサポートを計画している。Microsoftは最も詳細な時間表を公表し、新しいコントロールは2月から有効になる。 仕組みは意図的に退屈なもので、それこそがポイントだ。この提案はrobots.txtに新しいディレクティブを一切追加しない。サイトは__usage_ai-trainingというポリシートークンの下に、いつも使っているAllowとDisallowの行で普通のルールグループを書く。ワイルドカードグループはそのトークンに決して一致せず、トークンを含まないファイルは何の選好も表明しない。今日公開されているすべてのrobots.txtがそうだ。既存の設定の意味が一夜にして変わることはない。 このアイデアはInternet Engineering Task ForceのAI Preferencesワーキンググループから生まれ、具体的なドラフトはAnthropicのエンジニアKevin Kelleyが提出した。これは個人のInternet Draftであり、採択された標準ではなく、ワーキンググループが進展させなければ2027年5月に失効する。Anthropicは、全サービスへのサポート実装には時間がかかるとしている。これは競合同士の自発的な協定であり、規制ではない。評判以外のペナルティは何もない。 細かい注記を読むと、合意は単純には見えなくなる。各社は同じ行を読み、それぞれ違うことをする。Googleは共通のオプトアウトをGoogle-Extendedブロックとして扱う予定で、コンテンツは将来のGeminiの学習とGemini Apps内のグラウンディングから外れるが、Google検索には触れない。Microsoftは決定を二つに分ける。学習の設定と、グラウンディングの設定だ。後者は、CopilotやBingのAI
