By Keshavan Thiagaraja
تین سالوں سے، کسی AI کمپنی سے کہنا کہ آپ کی ویب سائٹ پر تربیت نہ کرے، اس کے crawler کا نام جاننا تھا۔ OpenAI کے لیے GPTBot، Anthropic کے لیے ClaudeBot، Google کے لیے Google-Extended، Microsoft کے لیے ایک meta tag۔ ہر وینڈر کا اپنا سوئچ، اپنا syntax اور اپنی دستاویزات تھیں، اور AI ٹریننگ سے باہر رہنا چاہنے والے ہر ویب سائٹ آپریٹر کو یہ سب ڈھونڈ کر سنبھالنا پڑتا تھا۔ جمعے کو، چار سب سے بڑی AI کمپنیوں نے اس کے بجائے ایک ہی سطر پڑھنے پر اتفاق کیا۔
OpenAI، Google، Microsoft اور Anthropic نے اعلان کیا کہ وہ robots.txt میں ایک مشترکہ اشارے کا احترام کریں گی — وہ چھوٹی سی text فائل جو 1994 سے طے کرتی آئی ہے کہ machines ویب سائٹس کے ساتھ کیسا سلوک کریں۔ ایک ناشر ایک اصول لکھ سکے گا جو ایک ساتھ تمام شریک AI فراہم کنندگان تک پہنچے، بتاتا ہوا کہ اس کا مواد generative models کی تربیت کے لیے استعمال ہو سکتا ہے یا نہیں۔ OpenAI کہتا ہے کہ وہ آنے والے مہینوں میں اس اشارے کو نافذ کرے گا۔ Google 2027 میں معاونت کی منصوبہ بندی کر رہا ہے۔ Microsoft نے سب سے تفصیلی شیڈول شائع کیا ہے؛ نئے کنٹرول فروری سے نافذ ہوں گے۔
طریقہ کار جان بوجھ کر سادہ رکھا گیا ہے، اور یہی اصل بات ہے۔ یہ تجویز robots.txt میں کوئی نیا directive شامل نہیں کرتی۔ ایک سائٹ __usage_ai-training نامی policy token کے تحت ایک عام rule group لکھتی ہے، وہی Allow اور Disallow سطریں استعمال کرتے ہوئے جو ہمیشہ سے چلی آ رہی ہیں۔ کوئی wildcard group اس token سے کبھی مماثل نہیں ہو سکتا، اور جس فائل میں token نہیں وہ کوئی ترجیح ظاہر نہیں کرتی — آج ویب پر شائع شدہ ہر robots.txt فائل ایسی ہی ہے۔ کسی کی موجودہ ترتیب راتوں رات اپنا مطلب نہیں بدلے گی۔
یہ خیال Internet Engineering Task Force کے AI Preferences ورکنگ گروپ سے نکلا، اور مخصوص مسودہ Anthropic کے انجینئر Kevin Kelley نے پیش کیا۔ یہ ایک انفرادی Internet Draft ہے، کوئی اپنایا ہوا معیار نہیں، اور اگر ورکنگ گروپ اسے آگے نہ بڑھائے تو مئی 2027 میں ختم ہو جائے گا۔ Anthropic کہتا ہے کہ اپنی تمام خدمات میں معاونت نافذ کرنے میں وقت لگے گا۔ یہ حریفوں کے درمیان ایک رضاکارانہ معاہدہ ہے، کوئی ضابطہ نہیں، اور شہرت کے سوا اس میں کوئی سزا نہیں۔
باریک چھپی شرائط پڑھنے پر ہی یہ معاہدہ آسان دکھنا بند کرتا ہے۔ ہر کمپنی وہی سطر پڑھے گی اور اس کے ساتھ مختلف کام کرے گی۔ Google مشترکہ opt-out کو Google-Extended block کی طرح مانے گا، جس سے مواد مستقبل کی Gemini تربیت اور Gemini Apps کے grounding سے ہٹ جائے گا، لیکن Google Search کو چھوا نہیں جائے گا۔ Microsoft فیصلے کو دو حصوں میں بانٹ رہا ہے: ایک تربیت کی ترجیح، دوسری grounding کی — یعنی Copilot اور Bing کے AI Mode کے بنائے جوابات میں آپ کے صفحات شامل ہو سکتے ہیں یا نہیں۔ Microsoft ان NoArchive اور NoCache tags کو بھی ختم کر رہا ہے جن پر آج بہت سی سائٹس انحصار کرتی ہیں؛ آپریٹروں کو اپنی پسند دوبارہ درج کرنے کے لیے مارچ 2027 تک کی مہلت دی جا رہی ہے۔ جو سائٹس یہ مہلت چوک جائیں گی، وہ بطور default grounding کی اجازت دے دیں گی۔
یہ آخری تفصیل کسی بھی بورڈ کی توجہ کی متقاضی ہے۔ تربیت سے باہر نکلنا، جوابات سے باہر نکلنا نہیں ہے۔ ایک کمپنی اپنا مواد ماڈل کے weights سے باہر رکھتے ہوئے بھی AI مصنوعات کو اس کا حوالہ دینے دے سکتی ہے، یا اس کا الٹ بھی، اور ہر وینڈر وہ لکیر مختلف جگہ کھینچتا ہے۔ Microsoft کھلم کھلا متنبہ کرتا ہے: grounding محدود کرنے سے AI بنائے جوابات میں برانڈ کی نمائش کم ہوگی، البتہ عام تلاش کے نتائج میں نہیں۔ یہ فیصلہ اب ویب ٹیم کی تکنیکی مرمت نہیں۔ یہ تقسیمی حکمت عملی کا سوال ہے کہ آپ کے الفاظ آپ کے لیے کہاں سب سے زیادہ محنت کریں۔
جمعے کو جو کچھ بدلا اس کی ایک دیانتدارانہ حد بھی ہے۔ یہ اشارہ سب کے لیے رضاکارانہ ہے، یہاں تک کہ اعلان کرنے والی کمپنیوں کے لیے بھی۔ یہ ادائیگی، لائسنسنگ یا attribution کے بارے میں کچھ نہیں کہتا، اور آج کے models میں پہلے سے سمائے مواد کے لیے کچھ نہیں کرتا۔ جس ناشر کو تلافی چاہیے اسے اب بھی معاہدہ درکار ہے؛ جسے حذف کرنا چاہیے اسے اب بھی وکیل درکار ہے۔ مشترکہ سطر جو دیتی ہے وہ رضامندی کی مشینری ہے — اتنی سستی کہ کوئی بھی ویب سائٹ استعمال کر سکے، اور اتنی یکساں کہ انڈسٹری یہ نہ کہہ سکے کہ اس کی پاسداری بہت پیچیدہ تھی۔
گہری تبدیلی کا نام لینا چاہیے۔ ٹریننگ ڈیٹا اس چیز سے بدل رہا ہے جسے انڈسٹری لیتی تھی، اس چیز میں جسے اسے مانگنا ہوگا، اور مانگ ویب کے معیاری بنانے کے انداز میں معیاری ہو رہی ہے: ایک token، ایک vocabulary، ایک ورکنگ گروپ، ایک ڈیڈ لائن۔ جب رضامندی کا فائل فارمیٹ بن جاتا ہے تو مذاکرات کا نقطہ آغاز بن جاتا ہے۔ لائسنسنگ بات چیت، ضابطہ سازوں کے مسودے اور ادارہ جاتی ڈیٹا معاہدے اس اشارے کا حوالہ اسی طرح دیں گے جس طرح پرائیویسی مباحث cookie banners کا دیتے ہیں — وہ لمحہ جب ایک مبہم اصول عملی کنٹرول بن گیا۔
قیادت کی ٹیموں کے لیے قدم چھوٹا مگر حقیقی ہے۔ سوچ سمجھ کر فیصلہ کریں کہ آپ کا مواد models کو تربیت دے، جوابات کو معلومات دے، دونوں کرے یا کوئی نہیں، اور وہ فیصلہ ایک جگہ ایک بار لکھیں، بجائے اس کے کہ کوئی default آپ کی طرف سے جواب دے۔ 2026 اور 2027 کے دوران ہر فراہم کنندہ مشترکہ سطر کی تشریح کیسے کرتا ہے، اس پر نظر رکھنے کے لیے کسی کو مقرر کریں، کیونکہ کچھ عرصے وہی الفاظ Google اور Microsoft میں مختلف مطالب رکھیں گے۔ جو کمپنیاں اسے settings page نہیں بلکہ اسٹریٹجک انتخاب سمجھیں گی، وہی ہوں گی جن کا مواد ان کی اپنی شرائط پر کام کرے گا۔
ریاضیاتی سوچیں۔ ذہانت سے انجینئر کریں۔ حکمت عملی سے قیادت کریں۔ ذمہ داری سے بنائیں۔ عالمی سطح پر پھیلیں۔ مصنوعی ذہانت کے ذریعے حقیقی کاروباری قدر پیدا کریں۔
#ArtificialIntelligence #AIStrategy #RobotsTxt #ContentPolicy #ITImpress
