By Keshavan Thiagaraja
سه سال بود که گفتن به یک شرکت هوش مصنوعی برای آموزش ندادن با وبسایت شما به معنای دانستن نام خزنده آن بود. GPTBot برای OpenAI، ClaudeBot برای Anthropic، Google-Extended برای گوگل، و یک متا تگ برای مایکروسافت. هر فروشنده سوئیچ خود، سینتکس خود و مستندات خود را داشت و هر اپراتور وبسایتی که می‌خواست از آموزش هوش مصنوعی خارج شود مجبور بود همه آنها را یکی یکی پیدا کند. جمعه، چهار شرکت بزرگ هوش مصنوعی توافق کردند که به جای آن یک خط را بخوانند.
OpenAI، گوگل، مایکروسافت و Anthropic هر کدام اعلام کردند که به یک سیگنال مشترک در robots.txt احترام می‌گذارند؛ همان فایل متنی کوچکی که از ۱۹۹۴ تصمیم می‌گیرد ماشین‌ها چگونه با وبسایت‌ها رفتار کنند. یک ناشر می‌تواند یک قانون بنویسد که همزمان با همه ارائه‌دهندگان هوش مصنوعی شرکت‌کننده صحبت می‌کند و می‌گوید آیا محتوای او می‌تواند برای آموزش مدل‌های مولد استفاده شود یا نه. OpenAI می‌گوید این سیگنال را در ماه‌های آینده اجرا می‌کند. گوگل پشتیبانی را برای ۲۰۲۷ برنامه‌ریزی کرده. مایکروسافت دقیق‌ترین جدول زمانی را منتشر کرده و کنترل‌های جدید از فوریه اعمال می‌شوند.
مکانیسم عمداً خسته‌کننده است و همین نکته است. این پیشنهاد هیچ دستورالعمل جدیدی به robots.txt اضافه نمی‌کند. یک سایت یک گروه قاعده عادی زیر یک توکن سیاست به نام __usage_ai-training می‌نویسد و از همان خطوط Allow و Disallow همیشگی استفاده می‌کند. یک گروه wildcard هرگز نمی‌تواند با آن توکن مطابقت داشته باشد و فایلی بدون توکن هیچ ترجیحی اعلام نمی‌کند؛ وضعیت هر robots.txt منتشر شده در وب امروز همین است. پیکربندی موجود هیچ‌کس یک شبه تغییر معنا نمی‌دهد.
ایده از گروه کاری AI Preferences در Internet Engineering Task Force آمده و پیش‌نویس مشخص را مهندس Anthropic، کوین کلی، ارائه کرده. این یک پیش‌نویس اینترنتی فردی است، نه استاندارد توافق‌شده، و مگر اینکه گروه کاری آن را جلو ببرد، در مه ۲۰۲۷ منقضی می‌شود. Anthropic می‌گوید اجرای پشتیبانی در همه سرویس‌هایش زمان می‌برد. این یک پیمان داوطلبانه بین رقباست، نه مقررات، و چیزی در آن فراتر از اعتبار نیست.
جزئیات ریز جایی است که توافق دیگر ساده به نظر نمی‌رسد. هر شرکت همان خط را می‌خواند و کار متفاوتی با آن می‌کند. گوگل قصد دارد خروج مشترک از آموزش را مثل مسدودیت Google-Extended تلقی کند، که محتوا را از آموزش آینده Gemini و از grounding داخل اپ‌های Gemini حذف می‌کند، اما به جستجوی گوگل دست نمی‌زند. مایکروسافت تصمیم را دو نیم می‌کند: یک ترجیح برای آموزش و یکی برای grounding، یعنی اینکه آیا صفحات شما می‌توانند پاسخ‌های تولیدشده توسط Copilot و AI Mode بینگ را تغذیه کنند. مایکروسافت همچنین تگ‌های NoArchive و NoCache را که امروز بسیاری از سایت‌ها به آنها تکیه دارند کنار می‌گذارد و به اپراتورها تا مارس ۲۰۲۷ فرصت می‌دهد ترجیحات خود را دوباره اعلام کنند. سایت‌هایی که آن مهلت‌ها را از دست بدهند به‌طور پیش‌فرض grounding را مجاز می‌دانند.
همین جزئیات آخر شایسته توجه هیئت مدیره است. خروج از آموزش با خروج از پاسخ‌ها یکی نیست. یک شرکت می‌تواند محتوای خود را بیرون از وزن‌های مدل نگه دارد در حالی که به محصولات هوش مصنوعی اجازه نقل آن را می‌دهد، یا برعکس، و هر فروشنده آن خط را در جای متفاوتی می‌کشد. مایکروسافت صریحاً هشدار می‌دهد: محدود کردن grounding دیده شدن برند در پاسخ‌های تولیدشده با هوش مصنوعی را محدود می‌کند، هرچند نه در نتایج جستجوی عادی. این تصمیم دیگر نگهداری فنی تیم وب نیست. سوالی درباره استراتژی توزیع است که کلمات شما کجا باید بیشتر برای شما کار کنند.
تغییر جمعه هم مرز صادقانه‌ای دارد. این سیگنال برای همه داوطلبانه است، از جمله شرکت‌هایی که آن را اعلام کردند. چیزی درباره پرداخت، مجوز یا انتساب نمی‌گوید و برای محتوایی که قبلاً وارد مدل‌های امروزی شده کاری نمی‌کند. ناشری که غرامت می‌خواهد هنوز به قرارداد نیاز دارد؛ کسی که حذف می‌خواهد هنوز به وکیل نیاز دارد. آنچه خط مشترک ارائه می‌دهد ماشین‌آلات رضایت است؛ آنقدر ارزان که هر وبسایتی بتواند از آن استفاده کند و آنقدر یکنواخت که صنعت نتواند ادعا کند رعایت آن خیلی سخت بود.
تغییر عمیق‌تر شایسته نام‌گذاری است. داده آموزشی از چیزی که صنعت برمی‌داشت به چیزی که باید درخواست کند تغییر می‌کند، و درخواست به همان شیوه‌ای استاندارد می‌شود که وب چیزها را استاندارد می‌کند: یک توکن، یک واژگان، یک گروه کاری، یک تاریخ انقضا. وقتی رضایت فرمت فایل داشته باشد، مذاکره موقعیت شروع دارد. انتظار داشته باشید مذاکرات مجوز، پیش‌نویس‌های تنظیم‌گران و معاملات داده سازمانی به این سیگنال ارجاع دهند همان‌طور که بحث‌های حریم خصوصی به بنرهای کوکی ارجاع می‌دهند: به‌عنوان لحظه‌ای که اصل مبهم به کنترل عملیاتی تبدیل شد.
برای تیم‌های رهبری، اقدام کوچک اما واقعی است. آگاهانه تصمیم بگیرید که محتوای شما مدل‌ها را آموزش دهد، پاسخ‌ها را تغذیه کند، هر دو یا هیچ‌کدام، و آن تصمیم را یک بار، در یک جا بنویسید، به‌جای اینکه بگذارید پیش‌فرض برای شما پاسخ دهد. کسی را منصوب کنید که نحوه تفسیر خط مشترک توسط هر ارائه‌دهنده را در ۲۰۲۶ و ۲۰۲۷ دنبال کند، چون همان کلمات مدتی در گوگل و مایکروسافت معانی متفاوتی خواهند داشت. شرکت‌هایی که این را یک انتخاب استراتژیک بیش از یک صفحه تنظیمات بدانند، شرکت‌هایی خواهند بود که محتوایشان با شرایط خودشان کار می‌کند.
ریاضی بیندیشید. هوشمندانه مهندسی کنید. راهبردی رهبری کنید. مسئولانه بسازید. جهانی گسترش یابید. از طریق هوش مصنوعی ارزش تجاری واقعی خلق کنید.
#ArtificialIntelligence #AIStrategy #RobotsTxt #ContentPolicy #ITImpress
