By Keshavan Thiagaraja
Ba năm qua, yêu cầu một công ty AI không huấn luyện trên website của bạn nghĩa là phải biết tên crawler của họ. GPTBot cho OpenAI, ClaudeBot cho Anthropic, Google-Extended cho Google, một meta tag cho Microsoft. Mỗi nhà cung cấp có công tắc riêng, cú pháp riêng và tài liệu riêng, và bất kỳ người vận hành website nào muốn thoát khỏi việc huấn luyện AI đều phải tìm và duy trì tất cả. Thứ Sáu, bốn công ty AI lớn nhất đã đồng ý đọc một dòng duy nhất thay thế.
OpenAI, Google, Microsoft và Anthropic lần lượt thông báo sẽ tôn trọng một tín hiệu chung trong robots.txt, tệp văn bản nhỏ từ năm 1994 đã chi phối cách máy móc đối xử với các website. Một nhà xuất bản sẽ có thể viết một quy tắc, gửi tới mọi nhà cung cấp AI tham gia cùng lúc, nêu rõ nội dung của mình có được dùng để huấn luyện mô hình tạo sinh hay không. OpenAI cho biết sẽ triển khai tín hiệu trong vài tháng tới. Google dự kiến hỗ trợ vào 2027. Microsoft công bố lịch trình chi tiết nhất, với các kiểm soát mới có hiệu lực từ tháng Hai.
Cơ chế cố tình đơn điệu, và đó chính là điểm mấu chốt. Đề xuất không thêm bất kỳ chỉ thị mới nào vào robots.txt. Một site viết một nhóm quy tắc thông thường dưới một policy token, __usage_ai-training, dùng chính các dòng Allow và Disallow vẫn dùng từ trước tới nay. Một nhóm ký tự đại diện không bao giờ có thể khớp với token đó, và một tệp không có token thì không bày tỏ ưu tiên nào — đúng với mọi robots.txt đang xuất bản trên web hôm nay. Cấu hình hiện có của không ai thay đổi ý nghĩa sau một đêm.
Ý tưởng bắt nguồn từ nhóm làm việc AI Preferences của Internet Engineering Task Force, và bản dự thảo cụ thể do kỹ sư Anthropic Kevin Kelley nộp. Đây là một Internet Draft cá nhân, không phải tiêu chuẩn được thông qua, và sẽ hết hạn vào tháng 5/2027 trừ khi nhóm làm việc đưa nó đi xa hơn. Anthropic cho biết việc triển khai hỗ trợ trên toàn bộ dịch vụ sẽ mất thời gian. Đây là một hiệp ước tự nguyện giữa các đối thủ, không phải quy định, và không có hình phạt nào trong đó ngoài danh tiếng.
Chỗ chữ nhỏ mới là nơi thỏa thuận hết vẻ đơn giản. Mỗi công ty sẽ đọc cùng một dòng và làm điều khác nhau với nó. Google dự kiến xem một opt-out chung như lệnh chặn Google-Extended, loại nội dung khỏi huấn luyện Gemini trong tương lai và khỏi grounding trong Gemini Apps, nhưng không động đến Google Search. Microsoft tách quyết định thành hai: một ưu tiên cho huấn luyện, một cho grounding, tức liệu các trang của bạn có được nuôi các câu trả lời do Copilot và AI Mode của Bing tạo ra. Microsoft cũng khai tử các thẻ NoArchive và NoCache mà nhiều site hiện dựa vào, cho người vận hành thời hạn tới tháng 3/2027 để ghi lại lựa chọn. Các site bỏ lỡ hạn đó sẽ mặc định cho phép grounding.
Chi tiết cuối cùng đó đáng được hội đồng quản trị lưu tâm. Thoát khỏi huấn luyện không giống thoát khỏi câu trả lời. Một công ty có thể giữ nội dung ngoài trọng số của mô hình mà vẫn cho phép các sản phẩm AI trích dẫn nó, hoặc ngược lại, và mỗi nhà cung cấp kẻ đường ranh đó ở một chỗ khác nhau. Microsoft cảnh báo thẳng thắn: hạn chế grounding sẽ giới hạn khả năng hiển thị của thương hiệu trong các câu trả lời do AI tạo ra, dù không ảnh hưởng kết quả tìm kiếm thường. Quyết định này không còn là việc bảo trì kỹ thuật của đội web. Nó là câu hỏi chiến lược phân phối: chữ của bạn làm việc chăm chỉ nhất cho bạn ở đâu.
Cũng có một giới hạn thành thật cho những gì đã đổi vào thứ Sáu. Tín hiệu này tự nguyện với tất cả mọi người, kể cả các công ty đã công bố nó. Nó không nói gì về thanh toán, cấp phép hay ghi nhận, và không làm gì cho nội dung đã bị hấp thụ vào các mô hình hôm nay. Nhà xuất bản muốn bồi thường vẫn cần hợp đồng; nhà xuất bản muốn xóa vẫn cần luật sư. Điều dòng chung này mang lại là bộ máy đồng thuận, đủ rẻ để bất kỳ website nào cũng dùng được và đủ đồng nhất để ngành không thể nói rằng tuân thủ nó quá phức tạp.
Sự dịch chuyển sâu hơn đáng được gọi tên. Dữ liệu huấn luyện đang chuyển từ thứ ngành công nghiệp lấy sang thứ nó phải xin, và việc xin đang được chuẩn hóa theo cách web chuẩn hóa mọi thứ: một token, một bộ từ vựng, một nhóm làm việc, một hạn chót. Khi sự đồng thuận có định dạng tệp, đàm phán có điểm khởi đầu. Hãy mong đợi các cuộc đàm phán cấp phép, dự thảo của cơ quan quản lý và các thỏa thuận dữ liệu doanh nghiệp viện dẫn tín hiệu này như các cuộc thảo luận riêng tư viện dẫn banner cookie: như khoảnh khắc một nguyên tắc mơ hồ trở thành một kiểm soát vận hành.
Với các đội ngũ lãnh đạo, hành động nhỏ nhưng thật. Quyết định một cách có chủ đích rằng nội dung của bạn huấn luyện mô hình, cung cấp thông tin cho câu trả lời, cả hai hay không gì cả, và viết quyết định đó một lần, ở một nơi, thay vì để một giá trị mặc định trả lời thay bạn. Giao cho ai đó theo dõi cách mỗi nhà cung cấp diễn giải dòng chung trong suốt 2026 và 2027, vì những từ ngữ ấy sẽ mang nghĩa khác nhau ở Google và Microsoft một thời gian. Các công ty xem đây là lựa chọn chiến lược chứ không phải trang cài đặt sẽ là những công ty có nội dung làm việc theo điều khoản của chính họ.
Suy nghĩ toán học. Kỹ thuật thông minh. Lãnh đạo chiến lược. Xây dựng có trách nhiệm. Mở rộng toàn cầu. Tạo giá trị kinh doanh thực sự thông qua trí tuệ nhân tạo.
#ArtificialIntelligence #AIStrategy #RobotsTxt #ContentPolicy #ITImpress
