By Keshavan Thiagaraja
Durante tres años, decirle a una empresa de IA que no entrene con tu sitio web significaba conocer el nombre de su rastreador. GPTBot para OpenAI, ClaudeBot para Anthropic, Google-Extended para Google, una meta etiqueta para Microsoft. Cada proveedor tenía su propio interruptor, su propia sintaxis y su propia documentación, y cualquier operador de sitio web que quisiera quedar fuera del entrenamiento de IA tenía que encontrarlos y mantenerlos todos. El viernes, las cuatro mayores empresas de IA acordaron leer una sola línea en su lugar.
OpenAI, Google, Microsoft y Anthropic anunciaron que respetarán una señal compartida en robots.txt, el pequeño archivo de texto que desde 1994 gobierna cómo las máquinas tratan los sitios web. Un editor podrá escribir una regla, dirigida a todos los proveedores de IA participantes a la vez, indicando si su contenido puede usarse para entrenar modelos generativos. OpenAI dice que implementará la señal en los próximos meses. Google planea dar soporte en 2027. Microsoft ha publicado el calendario más detallado, con nuevos controles vigentes desde febrero.
La mecánica es deliberadamente aburrida, y ese es el punto. La propuesta no añade ninguna directiva nueva a robots.txt. Un sitio escribe un grupo de reglas ordinario bajo un token de política, __usage_ai-training, usando las mismas líneas Allow y Disallow de siempre. Un grupo comodín nunca puede coincidir con el token, y un archivo sin el token no expresa preferencia alguna, lo cual es cierto para todos los robots.txt publicados hoy. La configuración existente de nadie cambia de significado de la noche a la mañana.
La idea nace en el grupo de trabajo AI Preferences del Internet Engineering Task Force, y el borrador específico fue presentado por el ingeniero de Anthropic Kevin Kelley. Es un Internet Draft individual, no un estándar adoptado, y expira en mayo de 2027 salvo que el grupo lo lleve más lejos. Anthropic dice que implementar el soporte en todos sus servicios llevará tiempo. Es un pacto voluntario entre competidores, no una regulación, y nada en él conlleva una sanción más allá de la reputación.
La letra pequeña es donde el acuerdo deja de parecer sencillo. Cada empresa leerá la misma línea y hará algo distinto con ella. Google planea tratar una exclusión compartida como un bloqueo de Google-Extended, que retira el contenido del entrenamiento futuro de Gemini y del grounding dentro de Gemini Apps, pero deja Google Search intacto. Microsoft divide la decisión en dos: una preferencia para entrenamiento y otra para grounding, es decir, si tus páginas pueden alimentar las respuestas que generan Copilot y el AI Mode de Bing. Microsoft además retira las etiquetas NoArchive y NoCache en las que muchos sitios confían hoy, dando a los operadores hasta marzo de 2027 para replantear sus opciones. Los sitios que pierdan ese plazo pasarán por defecto a permitir grounding.
Ese último detalle merece la atención de un consejo. Excluirse del entrenamiento no es lo mismo que excluirse de las respuestas. Una empresa puede mantener su contenido fuera de los pesos de un modelo y aun así dejar que los productos de IA lo citen, o lo contrario, y cada proveedor traza esa línea en un lugar distinto. Microsoft lo advierte sin rodeos: restringir el grounding limitará la visibilidad de una marca en las respuestas generadas por IA, aunque no en los resultados de búsqueda ordinarios. La decisión ya no es mantenimiento técnico del equipo web. Es una cuestión de estrategia de distribución sobre dónde trabajan más duro tus palabras.
También hay un límite honesto a lo que cambió el viernes. La señal es voluntaria para todos, incluidas las empresas que la anunciaron. No dice nada sobre pago, licencias o atribución, y no hace nada por el contenido ya absorbido en los modelos actuales. Un editor que quiere compensación aún necesita un contrato; uno que quiere borrado aún necesita un abogado. Lo que ofrece la línea compartida es maquinaria de consentimiento, tan barata que cualquier sitio puede usarla y tan uniforme que el sector no puede alegar que era demasiado complicado respetarla.
El cambio profundo merece ser nombrado. Los datos de entrenamiento pasan de ser algo que el sector tomaba a algo que debe pedir, y la petición se está estandarizando como la web estandariza las cosas: un token, un vocabulario, un grupo de trabajo, un plazo. Una vez que el consentimiento tiene formato de archivo, la negociación tiene un punto de partida. Espera que las conversaciones de licencias, los borradores de reguladores y los acuerdos empresariales de datos referencien esta señal igual que los debates de privacidad referencian los banners de cookies: como el momento en que un principio vago se convirtió en un control operativo.
Para los equipos directivos, la acción es pequeña pero real. Decide deliberadamente si tu contenido entrena modelos, informa respuestas, ambas cosas o ninguna, y escribe esa decisión una vez, en un solo lugar, en lugar de dejar que un valor por defecto responda por ti. Asigna a alguien el seguimiento de cómo interpreta cada proveedor la línea compartida durante 2026 y 2027, porque las mismas palabras significarán cosas distintas en Google y Microsoft por un tiempo. Las empresas que traten esto como una elección estratégica y no como una página de ajustes serán aquellas cuyo contenido trabaje en sus propios términos.
Piense matemáticamente. Ingeniere inteligentemente. Lidere estratégicamente. Construya responsablemente. Escale globalmente. Cree valor empresarial real a través de la inteligencia artificial.
#ArtificialIntelligence #AIStrategy #RobotsTxt #ContentPolicy #ITImpress
