By Keshavan Thiagaraja
Durante três anos, dizer a uma empresa de IA para não treinar com o seu site significava conhecer o nome do seu rastreador. GPTBot para a OpenAI, ClaudeBot para a Anthropic, Google-Extended para a Google, uma meta tag para a Microsoft. Cada fornecedor tinha o seu próprio interruptor, a sua própria sintaxe e a sua própria documentação, e qualquer operador de site que quisesse ficar de fora do treino de IA tinha de os encontrar e manter a todos. Na sexta-feira, as quatro maiores empresas de IA concordaram em ler uma única linha em vez disso.
OpenAI, Google, Microsoft e Anthropic anunciaram que vão honrar um sinal partilhado no robots.txt, o pequeno ficheiro de texto que desde 1994 governa como as máquinas tratam os sites. Um editor poderá escrever uma regra, dirigida a todos os fornecedores de IA participantes de uma só vez, declarando se o seu conteúdo pode ser usado para treinar modelos generativos. A OpenAI diz que vai implementar o sinal nos próximos meses. A Google planeia suporte em 2027. A Microsoft publicou o cronograma mais detalhado, com novos controlos a partir de fevereiro.
A mecânica é deliberadamente aborrecida, e é esse o ponto. A proposta não acrescenta nenhuma diretiva nova ao robots.txt. Um site escreve um grupo de regras normal sob um token de política, __usage_ai-training, usando as mesmas linhas Allow e Disallow de sempre. Um grupo universal nunca pode corresponder ao token, e um ficheiro sem o token não exprime preferência alguma, o que é verdade para todos os robots.txt publicados hoje. A configuração existente de ninguém muda de significado de um dia para o outro.
A ideia nasce no grupo de trabalho AI Preferences da Internet Engineering Task Force, e o rascunho específico foi submetido pelo engenheiro da Anthropic Kevin Kelley. É um Internet Draft individual, não uma norma adotada, e expira em maio de 2027 se o grupo não o levar adiante. A Anthropic diz que implementar o suporte em todos os seus serviços vai levar tempo. É um pacto voluntário entre concorrentes, não uma regulação, e nada nele prevê penalidade para além da reputação.
As letras pequenas são onde o acordo deixa de parecer simples. Cada empresa vai ler a mesma linha e fazer algo diferente com ela. A Google planeia tratar uma exclusão partilhada como um bloqueio Google-Extended, que retira o conteúdo do treino futuro do Gemini e do grounding dentro das aplicações Gemini, mas deixa a Pesquisa Google intocada. A Microsoft divide a decisão em duas: uma preferência para treino e outra para grounding, ou seja, se as suas páginas podem alimentar as respostas que o Copilot e o AI Mode do Bing geram. A Microsoft está também a aposentar as tags NoArchive e NoCache em que muitos sites confiam hoje, dando aos operadores até março de 2027 para reafirmarem as suas escolhas. Os sites que perderem esse prazo passarão por defeito a permitir grounding.
Esse último detalhe merece a atenção de um conselho de administração. Sair do treino não é o mesmo que sair das respostas. Uma empresa pode manter o seu conteúdo fora dos pesos de um modelo e ainda assim deixar os produtos de IA citá-lo, ou o inverso, e cada fornecedor traça essa linha num sítio diferente. A Microsoft avisa sem rodeios: restringir o grounding vai limitar a visibilidade de uma marca nas respostas geradas por IA, embora não nos resultados de pesquisa normais. A decisão deixou de ser manutenção técnica da equipa web. É uma questão de estratégia de distribuição sobre onde as suas palavras trabalham mais por si.
Há também um limite honesto para o que mudou na sexta-feira. O sinal é voluntário para todos, incluindo as empresas que o anunciaram. Não diz nada sobre pagamento, licenciamento ou atribuição, e nada faz pelo conteúdo já absorvido nos modelos de hoje. Um editor que quer compensação ainda precisa de um contrato; um que quer eliminação ainda precisa de um advogado. O que a linha partilhada oferece é maquinaria de consentimento, barata o suficiente para qualquer site usar e uniforme o suficiente para a indústria não poder alegar que era demasiado complicado respeitá-la.
A mudança mais profunda merece ser nomeada. Os dados de treino estão a passar de algo que a indústria tomava para algo que tem de pedir, e o pedido está a ser padronizado da forma como a web padroniza as coisas: um token, um vocabulário, um grupo de trabalho, um prazo. Quando o consentimento tem um formato de ficheiro, a negociação tem um ponto de partida. Espere que as conversas de licenciamento, os rascunhos dos reguladores e os acordos empresariais de dados façam referência a este sinal como os debates de privacidade fazem referência aos banners de cookies: como o momento em que um princípio vago se tornou um controlo operacional.
Para as equipas de liderança, a ação é pequena mas real. Decida deliberadamente se o seu conteúdo treina modelos, informa respostas, ambos ou nenhum, e escreva essa decisão uma vez, num só lugar, em vez de deixar um valor por defeito responder por si. Atribua a alguém a tarefa de acompanhar como cada fornecedor interpreta a linha partilhada ao longo de 2026 e 2027, porque as mesmas palavras vão significar coisas diferentes na Google e na Microsoft durante algum tempo. As empresas que tratarem isto como uma escolha estratégica e não como uma página de definições serão aquelas cujo conteúdo trabalha nos seus próprios termos.
Pense matematicamente. Engenhe inteligentemente. Lidere estrategicamente. Construa responsavelmente. Escale globalmente. Crie valor empresarial real através da inteligência artificial.
#ArtificialIntelligence #AIStrategy #RobotsTxt #ContentPolicy #ITImpress
