By Keshavan Thiagaraja
지난 3년 동안, AI 회사에 내 웹사이트로 학습하지 말라고 말하는 것은 그 회사 크롤러의 이름을 아는 것을 의미했다. OpenAI는 GPTBot, Anthropic은 ClaudeBot, Google은 Google-Extended, Microsoft는 메타 태그. 각 공급자마다 자체 스위치, 자체 문법, 자체 문서가 있었고, AI 학습에서 빠지고 싶은 웹사이트 운영자는 그것들을 모두 찾아 유지해야 했다. 금요일, 가장 큰 네 개의 AI 회사가 대신 단 한 줄을 읽기로 합의했다.
OpenAI, Google, Microsoft, Anthropic은 각각 1994년부터 기계가 웹사이트를 다루는 방식을 규정해 온 작은 텍스트 파일 robots.txt의 공유 신호를 존중하겠다고 발표했다. 게시자는 참여하는 모든 AI 공급자에게 한 번에 닿는 하나의 규칙을 써서, 자신의 콘텐츠를 생성 모델 학습에 사용해도 되는지 밝힐 수 있다. OpenAI는 앞으로 몇 달 안에 이 신호를 구현하겠다고 말한다. Google은 2027년 지원을 계획하고 있다. Microsoft는 가장 상세한 일정을 공개했으며, 새로운 통제는 2월부터 적용된다.
작동 방식은 의도적으로 지루하며, 그것이 바로 요점이다. 이 제안은 robots.txt에 새로운 지시어를 전혀 추가하지 않는다. 사이트는 __usage_ai-training이라는 정책 토큰 아래, 늘 쓰던 Allow와 Disallow 줄로 평범한 규칙 그룹을 쓴다. 와일드카드 그룹은 그 토큰과 절대 일치할 수 없고, 토큰이 없는 파일은 아무 선호도 표현하지 않는다. 오늘 웹에 게시된 모든 robots.txt 파일이 그러하다. 누구의 기존 설정도 하룻밤 사이에 의미가 바뀌지 않는다.
이 아이디어는 Internet Engineering Task Force의 AI Preferences 워킹 그룹에서 나왔고, 구체적인 초안은 Anthropic 엔지니어 Kevin Kelley가 제출했다. 이것은 개인 Internet Draft이지 채택된 표준이 아니며, 워킹 그룹이 더 발전시키지 않으면 2027년 5월에 만료된다. Anthropic은 모든 서비스에 걸쳐 지원을 구현하는 데 시간이 걸릴 것이라고 말한다. 이것은 경쟁사 간의 자발적 협약이지 규제가 아니며, 평판 외의 벌칙은 없다.
세부 조항을 보면 이 합의는 단순해 보이지 않는다. 각 회사는 같은 줄을 읽고 서로 다른 일을 한다. Google은 공유 옵트아웃을 Google-Extended 차단으로 간주할 계획으로, 콘텐츠를 향후 Gemini 학습과 Gemini 앱 내 그라운딩에서 제외하지만 Google 검색은 건드리지 않는다. Microsoft는 결정을 둘로 나눈다. 학습을 위한 선호 설정과 그라운딩을 위한 선호 설정으로, 후자는 Copilot과 Bing의 AI Mode가 생성하는 답변에 당신의 페이지가 정보를 제공할 수 있는지를 정한다. Microsoft는 오늘날 많은 사이트가 의존하는 NoArchive와 NoCache 태그도 폐지하며, 운영자에게 2027년 3월까지 선택을 다시 명시하도록 했다. 이 기한을 놓친 사이트는 기본적으로 그라운딩을 허용하게 된다.
이 마지막 세부 사항은 이사회의 주목을 받을 만하다. 학습에서 빠지는 것이 답변에서 빠지는 것은 아니다. 기업은 콘텐츠를 모델의 가중치 밖에 두면서도 AI 제품이 인용하도록 할 수 있고, 그 반대도 가능하며, 각 공급자는 그 선을 다른 곳에 긋는다. Microsoft는 분명히 경고한다. 그라운딩을 제한하면 AI 생성 답변에서 브랜드 가시성이 제한되지만, 일반 검색 결과에서는 그렇지 않다. 이 결정은 더 이상 웹 팀의 기술적 잡무가 아니다. 당신의 말이 어디에서 가장 열심히 일해야 하는지에 대한 배포 전략의 문제다.
금요일에 바뀐 것에는 정직한 한계도 있다. 이 신호는 발표한 회사들을 포함해 모두에게 자발적이다. 지급, 라이선스, 출처 표시에 대해 아무 말도 하지 않으며, 오늘날 모델에 이미 흡수된 콘텐츠에 대해서는 아무것도 하지 않는다. 보상을 원하는 게시자에게는 여전히 계약이 필요하고, 삭제를 원하는 게시자에게는 여전히 변호사가 필요하다. 공유의 한 줄이 제공하는 것은 동의 메커니즘으로, 어떤 웹사이트든 쓸 수 있을 만큼 저렴하고, 업계가 존중하기에 너무 복잡했다고 말할 수 없을 만큼 균일하다.
더 깊은 변화는 이름 붙일 가치가 있다. 학습 데이터는 업계가 가져가던 것에서 요청해야 하는 것으로 옮겨가고 있고, 그 요청은 웹이 사물을 표준화하는 방식으로 표준화되고 있다. 토큰, 어휘, 워킹 그룹, 기한. 동의에 파일 형식이 생기면 협상에 출발점이 생긴다. 라이선스 협상, 규제 당국의 초안, 기업 데이터 거래가 이 신호를, 마치 프라이버시 논의가 쿠키 배너를 언급하듯이 언급할 것이다. 모호한 원칙이 운영 통제가 된 순간으로서.
리더십 팀에게 이 행동은 작지만 실질적이다. 당신의 콘텐츠가 모델을 학습시킬지, 답변에 정보를 줄지, 둘 다인지, 둘 다 아닌지를 신중하게 결정하고, 그 결정을 한 곳에 한 번만 적어라. 기본값이 대신 답하게 두지 마라. 2026년과 2027년 동안 각 공급자가 공유의 한 줄을 어떻게 해석하는지 추적할 담당자를 지정하라. 같은 말이 당분간 Google과 Microsoft에서 다른 의미를 가질 것이기 때문이다. 이것을 설정 페이지가 아닌 전략적 선택으로 다루는 기업이야말로, 자신의 조건으로 콘텐츠가 일하게 하는 기업이 될 것이다.
수학적으로 생각하라. 지능적으로 설계하라. 전략적으로 이끌어라. 책임감 있게 만들어라. 전 세계로 확장하라. 인공지능을 통해 진정한 비즈니스 가치를 창출하라.
#ArtificialIntelligence #AIStrategy #RobotsTxt #ContentPolicy #ITImpress
