By Keshavan Thiagaraja
गेल्या तीन वर्षांत, एखाद्या AI कंपनीला तुमच्या वेबसाइटवर ट्रेनिंग करू नको असे सांगणे म्हणजे तिच्या crawler चे नाव ओळखणे होते. OpenAI साठी GPTBot, Anthropic साठी ClaudeBot, Google साठी Google-Extended, Microsoft साठी एक meta tag. प्रत्येक विक्रेत्याचा स्वतःचा स्विच, स्वतःचा syntax आणि स्वतःचे दस्तऐवज होते, आणि AI ट्रेनिंगमधून बाहेर पडू इच्छिणाऱ्या प्रत्येक वेबसाइट ऑपरेटरला ते सर्व शोधून सांभाळावे लागत होते. शुक्रवारी, चार सर्वांत मोठ्या AI कंपन्यांनी त्याऐवजी एकच ओळ वाचण्यास सहमती दर्शवली.
OpenAI, Google, Microsoft आणि Anthropic यांनी घोषित केले आहे की ते robots.txt मधील एका सामायिक संकेताचा आदर करतील — १९९४ पासून यंत्रे वेबसाइटशी कसे वागावे हे ठरवणारी ती छोटी टेक्स्ट फाइल. एक प्रकाशक एक नियम लिहू शकेल, जो एकाच वेळी सहभागी सर्व AI पुरवठादारांपर्यंत पोहोचेल, त्याचा कंटेंट जनरेटिव्ह मॉडेल्सच्या ट्रेनिंगसाठी वापरता येतो की नाही हे कळवेल. OpenAI म्हणते आगामी महिन्यांत हा संकेत अंमलात आणेल. Google २०२७ मध्ये सहाय्याची योजना आखत आहे. Microsoft ने सर्वांत तपशीलवार वेळापत्रक प्रकाशित केले आहे; नवे नियंत्रणे फेब्रुवारीपासून लागू होतील.
यंत्रणा जाणूनबुजून साधी ठेवली आहे, आणि तोच मुद्दा आहे. हा प्रस्ताव robots.txt मध्ये कोणतीही नवीन directive जोडत नाही. एक साइट __usage_ai-training नामक policy token खाली नेहमीच्या Allow आणि Disallow ओळी वापरून एक सामान्य नियम-गट लिहिते. कोणताही wildcard गट त्या token शी कधीही जुळू शकत नाही, आणि token नसलेली फाइल कोणतीही पसंती व्यक्त करत नाही — आज वेबवर प्रकाशित प्रत्येक robots.txt फाइल अशीच आहे. कोणाचीही विद्यमान कॉन्फिगरेशन एका रात्रीत अर्थ बदलणार नाही.
ही कल्पना Internet Engineering Task Force च्या AI Preferences वर्किंग ग्रुपमधून आली, आणि विशिष्ट मसुदा Anthropic चे अभियंते Kevin Kelley यांनी सादर केला. हा एक वैयक्तिक Internet Draft आहे, स्वीकारलेला मानक नाही, आणि वर्किंग ग्रुपने तो पुढे नेला नाही तर मे २०२७ मध्ये त्याची मुदत संपेल. Anthropic म्हणते आपल्या सर्व सेवांत सहाय्य अंमलात आणण्यास वेळ लागेल. हा प्रतिस्पर्ध्यांमधील स्वैच्छिक करार आहे, नियमन नाही, आणि प्रतिष्ठेपलीकडे त्यात कोणतीही शिक्षा नाही.
बारकावे अटी वाचल्यावरच हा करार सोपा दिसणे बंद करतो. प्रत्येक कंपनी तीच ओळ वाचेल आणि तिच्याशी वेगवेगळे वागेल. Google सामायिक opt-out ला Google-Extended ब्लॉक मानेल, जे कंटेंटला भविष्यातील Gemini ट्रेनिंग आणि Gemini Apps मधील grounding पासून काढून टाकेल, पण Google Search ला स्पर्श करणार नाही. Microsoft निर्णय दोन भागांत विभागत आहे: एक ट्रेनिंगची पसंती, दुसरी grounding ची — म्हणजे Copilot आणि Bing चे AI Mode तयार करतात त्या उत्तरांत तुमचे पेज सहभागी होऊ शकतात की नाही. Microsoft आज अनेक साइट्स ज्यावर अवलंबून आहेत त्या NoArchive आणि NoCache टॅग्स ना देखील बंद करत आहे; ऑपरेटरांना त्यांची पसंती पुन्हा नोंदवण्यासाठी मार्च २०२७ पर्यंत मुदत दिली जात आहे. ती मुदत चुकवणाऱ्या साइट्स default ने grounding ला परवानगी देतील.
हा शेवटचा तपशील कोणत्याही बोर्डाच्या लक्षात येण्यासारखा आहे. ट्रेनिंगमधून बाहेर पडणे म्हणजे उत्तरांमधून बाहेर पडणे नव्हे. एक कंपनी तिचा कंटेंट मॉडेलच्या weights पासून बाहेर ठेवूनही AI उत्पादनांना तो उद्धृत करू देऊ शकते, किंवा त्याचा उलटा, आणि प्रत्येक विक्रेता ती रेषा वेगळ्या ठिकाणी काढतो. Microsoft स्पष्टपणे इशारा देते: grounding मर्यादित केल्यास AI-जनित उत्तरांत ब्रँडची दृश्यता मर्यादित होईल, परंतु सामान्य शोध निकालांत नाही. हा निर्णय आता वेब टीमची तांत्रिक देखभाल राहिली नाही. तुमचे शब्द तुमच्यासाठी कुठे सर्वांत कष्टाने काम करावेत याचा तो वितरण धोरणाचा प्रश्न आहे.
शुक्रवारी जे बदलले त्याला एक प्रामाणिक मर्यादाही आहे. हा संकेत सर्वांसाठी स्वैच्छिक आहे, जाहिरात करणाऱ्या कंपन्यांसहित. तो पैसे, परवाना किंवा श्रेयाबद्दल काही बोलत नाही, आणि आजच्या मॉडेल्समध्ये आधीच विलीन झालेल्या कंटेंटसाठी काही करत नाही. ज्या प्रकाशकाला भरपाई हवी त्याला अजूनही करार लागेल; ज्याला विलोप हवे त्याला अजूनही वकील लागेल. सामायिक ओळ जे देते ते संमतीचे यंत्रण — इतकी स्वस्त की कोणतीही वेबसाइट वापरू शकते, आणि इतकी एकसमान की उद्योग म्हणू शकत नाही की तिचे पालन करणे अतिशय क्लिष्ट होते.
खोलवरचा बदल ओळखण्यासारखा आहे. ट्रेनिंग डेटा अशा गोष्टीतून बदलत आहे जी उद्योग घेत असे, अशा गोष्टीत जी त्याला मागावी लागेल, आणि मागणी वेब जसे मानकीकरण करते तसे मानकीकृत होत आहे: एक token, एक शब्दसंग्रह, एक वर्किंग ग्रुप, एक मुदत. संमतीला फाइल स्वरूप मिळाले की कराराला सुरुवातीचा बिंदू मिळतो. परवाना चर्चा, नियामकांचे मसुदे आणि एंटरप्राइझ डेटा करार या संकेताचा उल्लेख तसा करतील जसा गोपनीयता चर्चा cookie banners चा करतात — एक अस्पष्ट तत्त्व कार्यात्मक नियंत्रण बनले त्या क्षणाचे प्रतीक म्हणून.
नेतृत्व संघांसाठी कृती छोटी पण खरी आहे. तुमचा कंटेंट मॉडेल्सना ट्रेन करावा, उत्तरांना माहिती द्यावी, दोन्ही करावे की काहीही नाही हे जाणीवपूर्वक ठरवा, आणि तो निर्णय एका जागी एकदाच लिहून ठेवा, एखाद्या default ला तुमच्यावतीने उत्तर देऊ देऊ नका. २०२६ आणि २०२७ मध्ये प्रत्येक पुरवठादार सामायिक ओळीचा अर्थ कसा काढतो यावर लक्ष ठेवण्यासाठी कोणाला तरी नेमा, कारण काही काळ तेच शब्द Google आणि Microsoft मध्ये वेगवेगळे अर्थ घेतील. ज्या कंपन्या याला settings page नव्हे तर धोरणात्मक निवड मानतील, त्याच असतील ज्यांचा कंटेंट त्यांच्या अटींवर काम करेल.
गणितीय विचार करा. बुद्धिमानपणे अभियांत्रिकी करा. धोरणात्मक नेतृत्व करा. जबाबदारीने बांधा. जागतिक पातळीवर विस्तार करा. कृत्रिम बुद्धिमत्तेद्वारे खरे व्यावसायिक मूल्य निर्माण करा.
#ArtificialIntelligence #AIStrategy #RobotsTxt #ContentPolicy #ITImpress
