By Keshavan Thiagaraja
過去三年,要叫一間AI公司唔好用你嘅網站嚟訓練,就等於要識佢隻爬蟲嘅名。OpenAI嘅GPTBot,Anthropic嘅ClaudeBot,Google嘅Google-Extended,Microsoft嘅meta標籤。每個供應商都有自己嘅開關、自己嘅語法、自己嘅文件,任何想退出AI訓練嘅網站營運者都要逐個搵出嚟。星期五,四大AI公司同意咗睇同一行就得。
OpenAI、Google、Microsoft同Anthropic各自宣佈,佢哋會尊重robots.txt入面一個共同訊號——呢個自1994年起已經決定機器點樣對待網站嘅細文字檔案。出版商可以寫一條規則,同時同所有參與嘅AI供應商對話,表明佢嘅內容可唔可以用嚟訓練生成式模型。OpenAI話會喺未來幾個月實施呢個訊號。Google計劃2027年支援。Microsoft公佈咗最詳細嘅時間表,新控制措施二月份生效。
個機制係特登整到好悶,呢點先係重點。建議冇喺robots.txt加任何新指令。網站喺一個政策令牌__usage_ai-training下面寫普通嘅規則組,用嘅係一向都用開嘅Allow同Disallow行。萬用字元組永遠唔會match呢個令牌,冇令牌嘅檔案唔表達任何偏好——今日網上發佈嘅每一個robots.txt都係咁。任何人現有嘅設定都唔會一夜之間變咗意思。
呢個諗法嚟自Internet Engineering Task Force嘅AI Preferences工作組,具體草案由Anthropic工程師Kevin Kelley提交。呢個係個人嘅Internet Draft,唔係達成共識嘅標準,除非工作組推進,否則2027年5月就會過期。Anthropic話要喺佢所有服務實施支援需要時間。呢個係競爭對手之間嘅自願協議,唔係法規,入面除咗聲譽之外乜都冇。
魔鬼喺細節。每間公司會讀同一行字但做嘅嘢唔同。Google計劃將共同嘅訓練退出當做Google-Extended封鎖,將內容剔出未來Gemini訓練同Gemini Apps入面嘅grounding,但唔掂Google Search。Microsoft將決定一分為二:一個訓練偏好,一個grounding偏好,即係你嘅頁面可唔可以餵Copilot同Bing AI Mode生成嘅答案。Microsoft仲會停用NoArchive同NoCache標籤——好多網站而家仲靠緊佢哋——畀營運者到2027年3月重新申報偏好。過咗deadline嘅網站會預設允許grounding。
最後呢點值得董事會留意。退出訓練唔等於退出答案。一間公司可以將內容剔出模型權重之餘,仍然畀AI產品引用佢,或者調轉,每個供應商喺唔同位劃線。Microsoft明確警告:限制grounding會限制品牌喺AI生成答案入面嘅曝光,雖然唔影響普通搜尋結果。呢個決定唔再係網站團隊嘅技術維修,而係關於你嘅字句喺邊度為你最落力做嘢嘅分發策略問題。
星期五改變嘅嘢都有個誠實嘅界限。呢個訊號對所有人都係自願,包括宣佈佢嘅公司。佢冇講任何關於付款、授權或署名嘅嘢,亦都對已經吸入咗今日模型嘅內容冇任何作用。想要補償嘅出版商仍然需要合約;想要刪除嘅仍然需要律師。共同嗰行提供嘅係同意機制,平到任何網站都用得起,統一到行業唔可以話遵守太難。
更深層嘅改變值得講明。訓練數據正由行業攞走嘅嘢,變成佢哋必須開口要求嘅嘢,而呢個要求正以網絡標準化事物嘅方式被標準化:一個令牌、一套詞彙、一個工作組、一個到期日。一旦同意有咗檔案格式,談判就有咗起點。預期授權談判、監管草案同企業數據交易會引用呢個訊號,就好似私隱討論引用cookie橫額咁:作為模糊原則變成操作控制嘅一刻。
對領導團隊嚟講,行動雖小但真實。有意識咁決定你嘅內容訓練模型、餵答案、兩者都做定係兩者都唔做,一次過、喺一個地方寫低呢個決定,唔好畀預設代你回答。揀個人監察2026同2027年間每個供應商點樣解讀呢行共同文字,因為同樣嘅字喺Google同Microsoft有一段時間會有唔同意思。將呢件事當策略選擇而唔係設定頁面嘅公司,先係佢哋內容按自己條款運作嘅公司。
以數學思維思考。以智慧工程。以戰略領導。負責任咁建設。喺全球擴展。透過人工智能創造真正嘅商業價值。
#ArtificialIntelligence #AIStrategy #RobotsTxt #ContentPolicy #ITImpress
