By Keshavan Thiagaraja
তিন বছর ধরে, কোনো AI কোম্পানিকে আপনার ওয়েবসাইটে ট্রেনিং না করতে বলা মানে ছিল তার ক্রলারের নাম জানা। OpenAI-র জন্য GPTBot, Anthropic-এর জন্য ClaudeBot, Google-এর জন্য Google-Extended, Microsoft-এর জন্য একটি meta tag। প্রতিটি ভেন্ডরের নিজস্ব সুইচ, নিজস্ব সিনট্যাক্স আর নিজস্ব ডকুমেন্টেশন ছিল, আর AI ট্রেনিং থেকে বেরিয়ে আসতে চাওয়া যেকোনো ওয়েবসাইট অপারেটরকে সেগুলো সব খুঁজে রক্ষণাবেক্ষণ করতে হতো। শুক্রবার, চারটি বৃহত্তম AI কোম্পানি তার বদলে একটি মাত্র লাইন পড়তে সম্মত হলো।
OpenAI, Google, Microsoft এবং Anthropic প্রত্যেকে ঘোষণা করেছে যে তারা robots.txt-এ একটি ভাগ করা সংকেত মানবে — সেই ছোট টেক্সট ফাইল যা ১৯৯৪ সাল থেকে নির্ধারণ করে আসছে মেশিনগুলো ওয়েবসাইটের সঙ্গে কেমন আচরণ করবে। একজন প্রকাশক একটি নিয়ম লিখতে পারবেন, যা একসঙ্গে অংশগ্রহণকারী সব AI প্রদানকারীর কাছে পৌঁছাবে, জানিয়ে দেবে তার কনটেন্ট জেনারেটিভ মডেল ট্রেনিংয়ে ব্যবহৃত হতে পারে কি না। OpenAI বলেছে আগামী কয়েক মাসে এটি সংকেতটি বাস্তবায়ন করবে। Google ২০২৭ সালে সহায়তার পরিকল্পনা করছে। Microsoft সবচেয়ে বিস্তারিত সময়সীমা প্রকাশ করেছে; নতুন নিয়ন্ত্রণগুলো ফেব্রুয়ারি থেকে কার্যকর হবে।
কার্যপদ্ধতিটা ইচ্ছাকৃতভাবে একঘেয়ে, আর সেটাই মূল কথা। এই প্রস্তাব robots.txt-এ কোনো নতুন নির্দেশনা যোগ করে না। একটি সাইট __usage_ai-training নামের policy token-এর অধীনে একটি সাধারণ নিয়ম-গ্রুপ লেখে, সবসময়ের মতোই Allow আর Disallow লাইন ব্যবহার করে। কোনো wildcard গ্রুপ সেই token-এর সঙ্গে কখনোই মিলতে পারে না, আর token ছাড়া ফাইল কোনো পছন্দ প্রকাশ করে না — আজ ওয়েবে প্রকাশিত প্রতিটি robots.txt ফাইলই এমন। কারও বিদ্যমান কনফিগারেশন রাতারাতি অর্থ বদলাবে না।
এই ধারণার উৎপত্তি Internet Engineering Task Force-এর AI Preferences ওয়ার্কিং গ্রুপে, আর নির্দিষ্ট খসড়াটি জমা দিয়েছেন Anthropic-এর প্রকৌশলী Kevin Kelley। এটি একটি ব্যক্তিগত Internet Draft, গৃহীত মানক নয়, আর ওয়ার্কিং গ্রুপ এটিকে আরও এগিয়ে না নিলে ২০২৭ সালের মে মাসে এর মেয়াদ শেষ হবে। Anthropic বলছে, তার সব সেবায় সহায়তা বাস্তবায়নে সময় লাগবে। এটি প্রতিযোগীদের মধ্যে একটি স্বেচ্ছামূলক চুক্তি, কোনো নিয়ন্ত্রণ নয়, আর খ্যাতি ছাড়া এতে কোনো শাস্তির বিধান নেই।
খুঁটিনাটিতেই এই সমঝোতা সহজ দেখানো বন্ধ করে। প্রতিটি কোম্পানি একই লাইন পড়বে আর তার সঙ্গে আলাদা আলাদা কাজ করবে। Google ভাগ করা opt-out-কে Google-Extended ব্লক হিসেবে গণ্য করার পরিকল্পনা করছে, যা কনটেন্টকে ভবিষ্যতের Gemini ট্রেনিং আর Gemini Apps-এর grounding থেকে সরিয়ে দেবে, কিন্তু Google Search-কে অক্ষত রাখবে। Microsoft সিদ্ধান্তটাকে দুই ভাগ করছে: একটি ট্রেনিংয়ের পছন্দ, আরেকটি grounding-এর — অর্থাৎ Copilot আর Bing-এর AI Mode-এর তৈরি উত্তরে আপনার পেজ যোগ দিতে পারে কি না। Microsoft আজ অনেক সাইটের ভরসাস্থল NoArchive আর NoCache ট্যাগও বাতিল করছে; অপারেটরদের তাদের পছন্দ নতুন করে জানাতে ২০২৭ সালের মার্চ পর্যন্ত সময় দিচ্ছে। যেসব সাইট এই সময়সীমা মিস করবে, তারা default-এ grounding-এর অনুমতি দেবে।
শেষ এই বিবরণটি যেকোনো বোর্ডের মনোযোগের দাবি রাখে। ট্রেনিং থেকে বেরিয়ে আসা মানে উত্তর থেকে বেরিয়ে আসা নয়। একটি কোম্পানি তার কনটেন্টকে মডেলের weights-এর বাইরে রেখেও AI পণ্যগুলোকে তা উদ্ধৃত করতে দিতে পারে, বা তার উল্টোটাও করতে পারে, আর প্রতিটি ভেন্ডর সেই রেখাটি আলাদা জায়গায় আঁকে। Microsoft সরাসরি সতর্ক করে: grounding সীমিত করলে AI-জনিত উত্তরে ব্র্যান্ডের দৃশ্যমানতা কমবে, যদিও সাধারণ অনুসন্ধান ফলাফলে নয়। সিদ্ধান্তটি আর ওয়েব টিমের প্রযুক্তিগত রক্ষণাবেক্ষণ নয়। এটি একটি বণ্টন কৌশলের প্রশ্ন — আপনার শব্দগুলো আপনার জন্য কোথায় সবচেয়ে পরিশ্রম করে।
শুক্রবার যা বদলাল, তারও একটি সৎ সীমা আছে। এই সংকেত সবার জন্যই স্বেচ্ছামূলক, এমনকি যেসব কোম্পানি এটি ঘোষণা করেছে তাদের জন্যও। এটি পারিশ্রমিক, লাইসেন্সিং বা স্বীকৃতি নিয়ে কিছু বলে না, আর আজকের মডেলগুলোতে ইতিমধ্যে শোষিত কনটেন্টের জন্যও কিছু করে না। যে প্রকাশক ক্ষতিপূরণ চায় তার এখনো চুক্তি দরকার; যে প্রকাশক মুছে ফেলা চায় তার এখনো আইনজীবী দরকার। ভাগ করা লাইনটি যা দেয় তা হলো সম্মতির যন্ত্রপাতি — এত সস্তা যে যেকোনো ওয়েবসাইট ব্যবহার করতে পারে, আর এত uniform যে ইন্ডাস্ট্রি বলতে পারবে না মেনে চলা বেশি জটিল ছিল।
গভীর পরিবর্তনটির নামকরণ করা উচিত। ট্রেনিং ডেটা এমন কিছু থেকে বদলাচ্ছে যা ইন্ডাস্ট্রি নিয়ে নিত, এমন কিছুতে যা তাকে চাইতে হবে, আর চাওয়াটা ওয়েবের মানকীকরণ ধরনেই মানকীকৃত হচ্ছে: একটি token, একটি শব্দভান্ডার, একটি ওয়ার্কিং গ্রুপ, একটি সময়সীমা। সম্মতির ফাইল ফর্ম্যাট হলেই দর-কষাকষির শুরুর ভিত্তি তৈরি হয়। লাইসেন্সিং আলোচনা, নিয়ন্ত্রকদের খসড়া আর এন্টারপ্রাইজ ডেটা চুক্তি এই সংকেতকে এমনভাবে উল্লেখ করবে যেভাবে গোপনীয়তা আলোচনা cookie banner-কে উল্লেখ করে — যে মুহূর্তে একটি অস্পষ্ট নীতি কার্যকর নিয়ন্ত্রণে পরিণত হলো।
লিডারশিপ টিমগুলোর জন্য পদক্ষেপ ছোট কিন্তু বাস্তব। সচেতনভাবে ঠিক করুন আপনার কনটেন্ট মডেল ট্রেন করবে, উত্তরে তথ্য দেবে, দুটোই করবে, নাকি কোনোটাই না, আর সেই সিদ্ধান্ত এক জায়গায় একবার লিখে রাখুন, কোনো default-কে আপনার হয়ে উত্তর দিতে দেবেন না। ২০২৬ আর ২০২৷ জুড়ে প্রতিটি প্রদানকারী ভাগ করা লাইনটি কীভাবে ব্যাখ্যা করে তা অনুসরণের দায়িত্ব কাউকে দিন, কারণ কিছুদিন একই শব্দ Google আর Microsoft-এ আলাদা অর্থ বহন করবে। যেসব কোম্পানি এটিকে সেটিং পেজ নয়, কৌশলগত পছন্দ হিসেবে দেখবে, সেগুলোই হবে যাদের কনটেন্ট তাদের নিজেদের শর্তে কাজ করবে।
গাণিতিকভাবে ভাবুন। বুদ্ধিমত্তার সাথে ইঞ্জিনিয়ার করুন। কৌশলগতভাবে নেতৃত্ব দিন। দায়িত্বের সাথে তৈরি করুন। বিশ্বজুড়ে সম্প্রসারিত হন। কৃত্রিম বুদ্ধিমত্তার মাধ্যমে প্রকৃত ব্যবসায়িক মূল্য তৈরি করুন।
#ArtificialIntelligence #AIStrategy #RobotsTxt #ContentPolicy #ITImpress
