By Keshavan Thiagaraja
Private AI Model Developer & AI Security Consultant Helping SMEs and Enterprises Build Secure AI Solutions Sydney, Australia.
B.Sc. (Computer Science, Mathematics and Statistics),
M.Sc. (Information Technology)
E-Commerce Professional
서론: AI 에이전트가 전문가 업무에 준비되어 있다면, 왜 최고의 모델조차 12%밖에 받지 못했을까?
실제 보수가 따르는 전문가 업무로 만들어진 새로운 벤치마크가 20개의 프런티어 AI 모델을 평가했고, 그중 최고의 모델도 12%를 기록했습니다.
AI 에이전트가 귀사가 전문가에게 비용을 지불하는 일을 해낼 수 있을까요? 그 주장에 대한 정직한 스코어보드는 어떤 모습일까요? 그리고 계약하기 전에 공급업체에게 무엇을 물어봐야 할까요?
시드니에서 중소기업 및 대기업과 일하는 민간 AI 모델 개발자이자 AI 보안 컨설턴트로서, 저는 매주 이런 질문을 받습니다. 그 답은 예산, 인력, 리스크와 직결됩니다.
이 글은 GDPx 벤치마크가 무엇을 측정했는지, 그 숫자가 무엇을 입증하고 무엇을 입증하지 못하는지, 그리고 이번 분기에 AI 에이전트를 평가하는 모든 리더를 위한 실용적인 교훈을 설명합니다.
1. GDPx가 실제로 측정한 것
이번 주 리서치 회사 SemiAnalysis가 GDPx를 발표했습니다. 사람들이 생계를 꾸리는 일이라는 이유로 선정된 11개 분야 206개 작업의 벤치마크입니다. 칩 설계, 사이버 보안, 법률 업무, 퀀트 트레이딩, 생물학, 소프트웨어 엔지니어링 등입니다.
14개 산업 파트너가 작업을 제공했고, 20개의 프런티어 모델이 평가받았습니다. 이 벤치마크가 주목할 만한 이유는 난이도보다 그 원재료 때문입니다. 사람들이 보수를 받고 하는 일이라는 점입니다.
2. 스코어보드: 20개 모델, 하나의 낮은 천장
선두인 Claude Opus 5.5조차 겨우 12%를 기록했습니다. Gemini 4 Carbon은 10.9, GPT-6 Astra는 9.6을 기록했습니다.
그러나 스코어보드는 출발점이지 판결이 아닙니다. 이 숫자들은 한 회사의 작업을 그 회사의 채점 기준으로 측정한 것이며, 내년의 모델이 아니라 오늘의 모델을 설명합니다.
3. 한계: GDPx가 입증하지 못하는 것
GDPx는 완벽하지 않습니다. 한 회사의 작업과 한 회사의 채점 기준을 사용하고, 아직 독립적인 재현이 없으며, 그 회사는 자신이 평가하는 산업에 리서치를 판매합니다.
교훈은 숫자를 느슨하게 받아들이라는 것입니다. 하지만 방향은 옳습니다. 인상적인 잡학이 아니라 돈이 되는 일로 모델을 측정하기 때문입니다.
4. 비용 열: 51달러 대 16달러
선두 모델은 완료된 작업당 평균 약 51달러를 썼습니다. 2위 모델은 1점 차이 이내의 점수에 평균 약 16달러만 썼습니다.
에이전트 전략이 능력과 비용이 함께 움직인다고 가정한다면, 이 표는 그렇지 않다고 말합니다. 결과로 가는 가장 저렴한 경로는 이제 결과 자체만큼 전략적이며, 그 분석은 마케팅 페이지가 아니라 조달 부서에 있어야 합니다.
5. 공개된 숫자에 대조해 에이전트 제안 읽기
이번 분기에 보게 될 데모들은 모두 전문가 업무 준비가 됐다고 주장할 것입니다. 공개된, 이름이 붙은 벤치마크가 방금 상한선을 12%로 정했습니다.
그렇다고 에이전트가 쓸모없어지는 것은 아닙니다. 오늘날 정직한 배포 영역은 인간 검토가 있는 좁고 잘 계측된 작업이지, 무대에서 팔리는 자율 부서가 아니라는 뜻입니다.
모든 리더를 위한 교훈
첫째, 데모의 시대는 끝났습니다. 한 산업이 스코어보드를 놓고 논쟁하기 시작하면, 데모는 더 이상 논쟁을 해결하지 못합니다.
둘째, 비용과 능력은 함께 움직이지 않습니다. 완료된 작업당 비용을 점수와 함께 조달에 포함하세요.
셋째, 모든 에이전트 제안을 공개된 숫자에 대조해 읽으세요. 오늘날 정직한 배포 영역은 좁고, 계측이 잘 되어 있으며, 인간이 검토합니다.
마지막으로, 이번 분기에 모든 AI 공급업체에게 한 가지 질문만 하세요. 내 일과 같은 작업에 대한 독립적이고 작업 기반의 벤치마크 점수와 완료된 작업당 비용을 보여달라고. 대답하지 못한다면, 데모보다 더 가치 있는 것을 배운 것입니다.
결론: 측정이 마케팅을 대체했다
12%라는 상한선은 AI 에이전트에서 물러날 이유가 아닙니다. 열정이 아닌 증거로 구매해야 할 이유입니다.
인공지능은 무대 장치가 아니라 측정 가능한 결과로 자리를 얻을 것입니다. 결국 정직하게 계산된 완료 작업당 비용의 수학이 이 기술이 진정 어디에 속하는지를 결정합니다.
참고 문헌 및 추가 읽을거리
SemiAnalysis, “GDPx: The General Agentic Benchmark” – https://gdpx.semianalysis.com
SemiAnalysis, 리서치 노트 및 산업 분석 – https://semianalysis.com
수학적으로 생각하라. 지능적으로 설계하라. 전략적으로 이끌어라. 책임감 있게 만들어라. 전 세계로 확장하라. 인공지능을 통해 진정한 비즈니스 가치를 창출하라.
#ArtificialIntelligence #AIStrategy #AIGovernance #EnterpriseAI #ITImpress
