By Keshavan Thiagaraja
Kwa miaka mitatu, kumwambia kampuni ya AI kutofundisha kwa wavuti yako kulimaanisha kujua jina la crawler yake. GPTBot kwa OpenAI, ClaudeBot kwa Anthropic, Google-Extended kwa Google, meta tag kwa Microsoft. Kila muuzaji alikuwa na swichi yake, syntax yake na nyaraka zake, na mtendaji yeyote wa wavuti aliyetaka kutoka nje ya mafunzo ya AI alilazimika kuzitafuta na kuzitunza zote. Ijumaa, kampuni nne kubwa za AI zimekubali kusoma mstari mmoja badala yake.
OpenAI, Google, Microsoft na Anthropic kila moja imetangaza kwamba itaheshimu ishara ya pamoja katika robots.txt, faili hilo dogo la maandishi ambalo tangu 1994 limekuwa likiamua jinsi mashine zinavyoshughulikia wavuti. Mchapishaji ataweza kuandika kanuni moja, inayowasiliana na watoa huduma wote wa AI wanaoshiriki kwa wakati mmoja, ikisema kama maudhui yake yanaweza kutumika kufundisha modeli za uzalishaji. OpenAI inasema itatekeleza ishara hiyo katika miezi ijayo. Google inapanga usaidizi mwaka 2027. Microsoft imechapisha ratiba ya kina zaidi, na vidhibiti vipya vitaanza kutumika Februari.
Mfumo huo ni wa kuchosha kwa makusudi, na huo ndio lengo. Pendekezo hili halinaongeza directive yoyote mpya kwenye robots.txt. Tovuti huandika kundi la kawaida la kanuni chini ya token ya sera, __usage_ai-training, ikitumia mistari ile ile ya Allow na Disallow iliyotumika kila wakati. Kundi la wildcard haliwezi kulingana na token hiyo kamwe, na faili lisilo na token halionyeshi mapendeleo yoyote — ndiyo hali ya kila robots.txt iliyochapishwa mtandaoni leo. Mipangilio ya mtu yeyote iliyopo haibadiliki maana kwa usiku mmoja.
Wazo hili limetoka katika kikosi kazi cha AI Preferences cha Internet Engineering Task Force, na rasimu maalum iliwasilishwa na mhandisi wa Anthropic Kevin Kelley. Hii ni Internet Draft ya mtu binafsi, si kiwango kilichokubaliwa, na muda wake utaisha Mei 2027 isipokuwa kikosi kazi kikisongesha mbele. Anthropic inasema kutekeleza usaidizi katika huduma zake zote kutachukua muda. Huu ni mkataba wa hiari kati ya washindani, si kanuni, na hakuna adhabu ndani yake zaidi ya sifa.
Maandishi madogo ndipo makubaliano yanapoacha kuonekana rahisi. Kila kampuni itasoma mstari uo huo na kutenda nao kwa njia tofauti. Google inapanga kuchukulia opt-out ya pamoja kama zuio la Google-Extended, linaloondoa maudhui kutoka mafunzo ya Gemini ya baadaye na kutoka grounding ndani ya Gemini Apps, lakini haligusi Google Search. Microsoft inagawanya uamuzi mara mbili: mapendeleo moja kwa mafunzo na mengine kwa grounding, yaani kama kurasa zako zinaweza kulisha majibu yanayozalishwa na Copilot na AI Mode ya Bing. Microsoft pia inafuta tagi za NoArchive na NoCache ambazo tovuti nyingi hutegemea leo, ikitoa waendeshaji hadi Machi 2027 kurekodi upya chaguzi zao. Tovuti zitakazokosa tarehe hiyo za mwisho zitaruhusu grounding kwa chaguo-msingi.
Undani huo wa mwisho unastahili umakini wa bodi. Kutoka nje ya mafunzo si sawa na kutoka nje ya majibu. Kampuni inaweza kuweka maudhui yake nje ya weights za modeli huku ikiruhusu bidhaa za AI kuyanukuu, au kinyume chake, na kila muuzaji huchora mstari huo mahali pake. Microsoft inaonya waziwazi: kupunguza grounding kutapunguza mwonekano wa chapa katika majibu yanayozalishwa na AI, ingawa si katika matokeo ya kawaida ya utafutaji. Uamuzi huu si tena matengenezo ya kiufundi ya timu ya wavuti. Ni swali la mkakati wa usambazaji kuhusu maneno yako yanapaswa kufanya kazi kwa bidii wapi kwa ajili yako.
Pia kuna kikwazo cha ukweli kwa kile kilichobadilika Ijumaa. Ishara hii ni ya hiari kwa kila mtu, ikiwemo kampuni zilizoitangaza. Haisemi chochote kuhusu malipo, leseni au utambuzi, na haifanyi chochote kwa maudhui yaliyofyonza kwenye modeli za leo. Mchapishaji anayetaka fidia bado anahitaji mkataba; anayetaka ufutaji bado anahitaji wakili. Kile ambacho mstari wa pamoja unatoa ni mashine ya ridhaa, ya bei nafuu ya kutosha kwa wavuti yoyote kutumia na ya sare ya kutosha kwamba tasnia haiwezi kudai kuwa kuheshimu ilikuwa ngumu kupita kiasi.
Mabadiliko ya kina yanastahili kuitwa jina. Takwimu za mafunzo zinabadilika kutoka kitu ambacho tasnia ilichukua hadi kitu ambacho lazima iombe, na kuomba kunasanifiwa kwa namna ambavyo wavuti husawazisha mambo: token, msamiati, kikosi kazi, tarehe ya mwisho. Ridhaa ikishakuwa na umbizo la faili, mazungumzo yanakuwa na sehemu ya kuanzia. Tarajia mazungumzo ya leseni, rasimu za wasimamizi na mikataba ya data ya biashara kutaja ishara hii kama vile mjadala wa faragha unavyotaja mabango ya vidakuzi: kama wakati ambapo kanuni isiyo wazi iligeuka kuwa udhibiti wa kiuendeshaji.
Kwa timu za uongozi, hatua ni ndogo lakini halisi. Amua kwa makusudi kama maudhui yako yanafundisha modeli, kuyapa majibu taarifa, zote mbili au la, na uandike uamuzi huo mara moja, mahali pamoja, badala ya kuacha chaguo-msingi likujibie. Mteue mtu kufuatilia jinsi kila mtoa huduma anavyotafsiri mstari wa pamoja katika 2026 na 2027, kwa sababu maneno yale yale yatakuwa na maana tofauti kwa Google na Microsoft kwa muda. Kampuni zitakazochukulia hili kama chaguo la kimkakati na si ukurasa wa mipangilio ndizo ambazo maudhui yao yatafanya kazi kwa masharti yao wenyewe.
Fikiria kwa hisabati. Tengeneza kwa akili. Ongoza kwa mkakati. Jenga kwa uwajibikaji. Panua kimataifa. Tengeneza thamani halisi ya biashara kupitia akili bandia.
#ArtificialIntelligence #AIStrategy #RobotsTxt #ContentPolicy #ITImpress
