By Keshavan Thiagaraja
Private AI Model Developer & AI Security Consultant Helping SMEs and Enterprises Build Secure AI Solutions Sydney, Australia.
B.Sc. (Computer Science, Mathematics and Statistics),
M.Sc. (Information Technology)
E-Commerce Professional
Mở đầu: nếu các tác tử AI đã sẵn sàng cho công việc chuyên gia, vì sao tốt nhất cũng chỉ đạt 12 phần trăm?
Một benchmark mới được xây dựng từ những công việc chuyên gia thực sự, được trả lương, vừa chấm điểm hai mươi mô hình AI tiên phong, và tốt nhất trong số đó đạt 12 phần trăm.
Một tác tử AI có thể làm công việc mà doanh nghiệp của bạn trả tiền cho các chuyên gia không? Một bảng điểm trung thực cho tuyên bố đó sẽ trông như thế nào? Và bạn nên hỏi nhà cung cấp điều gì trước khi ký kết?
Là một nhà phát triển mô hình AI tư nhân và tư vấn an ninh AI làm việc với các doanh nghiệp vừa, nhỏ và lớn tại Sydney, tôi được hỏi những câu này mỗi tuần. Câu trả lời ảnh hưởng đến ngân sách, nhân sự và rủi ro.
Bài viết này giải thích benchmark GDPx đã đo lường điều gì, các con số của nó chứng minh và không chứng minh được điều gì, và những bài học thực tiễn cho bất kỳ nhà lãnh đạo nào đang đánh giá các tác tử AI trong quý này.
1. GDPx thực sự đo lường điều gì
Tuần này, hãng nghiên cứu SemiAnalysis đã công bố GDPx, một benchmark gồm 206 nhiệm vụ trong 11 lĩnh vực được chọn vì mọi người kiếm sống bằng chúng: thiết kế chip, an ninh mạng, công việc pháp lý, giao dịch định lượng, sinh học, kỹ thuật phần mềm và nhiều hơn nữa.
Mười bốn đối tác công nghiệp đã cung cấp các nhiệm vụ, và hai mươi mô hình tiên phong được chấm điểm. Benchmark này đáng chú ý không phải vì độ khó, mà vì nguyên liệu của nó: những công việc mà người ta được trả tiền để làm.
2. Bảng điểm: hai mươi mô hình, một trần thấp
Đội dẫn đầu, Claude Opus 5.5, chỉ đạt 12 phần trăm. Gemini 4 Carbon đạt 10,9. GPT-6 Astra đạt 9,6.
Tuy nhiên, bảng điểm là điểm khởi đầu, không phải phán quyết. Những con số này đo các nhiệm vụ của một hãng theo tiêu chí của chính hãng đó, và chúng mô tả các mô hình của hôm nay, không phải của năm sau.
3. Giới hạn: GDPx không chứng minh được điều gì
GDPx không hoàn hảo. Nó dùng nhiệm vụ của một hãng và tiêu chí của một hãng, chưa có kiểm chứng độc lập, và hãng đó bán nghiên cứu cho chính ngành mà nó chấm điểm.
Bài học là hãy giữ con số này một cách thận trọng. Nhưng hướng đi là đúng, vì nó đo lường các mô hình trên công việc tạo ra tiền, không phải những kiến thức vụn vặt gây ấn tượng.
4. Cột chi phí: 51 đô la so với 16 đô la
Đội dẫn đầu trung bình chi khoảng 51 đô la cho mỗi nhiệm vụ hoàn thành. Đội về nhì trung bình chỉ chi khoảng 16 đô la cho một điểm số thấp hơn chưa đầy một điểm.
Nếu chiến lược tác tử của bạn giả định năng lực và chi phí tăng cùng nhau, bảng này nói rằng không phải vậy. Con đường rẻ nhất đến một kết quả giờ đây cũng mang tính chiến lược như chính kết quả, và phân tích đó thuộc về bộ phận mua hàng, không phải trang marketing.
5. Đọc các bài thuyết trình về tác tử đối chiếu với một con số công khai
Các demo bạn sẽ thấy trong quý này đều sẽ tuyên bố sẵn sàng cho công việc chuyên gia. Một benchmark công khai, có tên cụ thể vừa đặt trần ở mức 12 phần trăm.
Điều đó không khiến các tác tử trở nên vô dụng. Nó có nghĩa là vùng triển khai trung thực hôm nay là các nhiệm vụ hẹp, được đo lường tốt, có con người xem xét, chứ không phải các phòng ban tự động được rao bán trên sân khấu.
Bài học cho các nhà lãnh đạo ở mọi nơi
Thứ nhất, kỷ nguyên demo đã kết thúc. Khi một ngành bắt đầu tranh luận về bảng điểm, các buổi demo đã không còn giải quyết được tranh luận.
Thứ hai, chi phí và năng lực không tăng cùng nhau. Hãy đưa chi phí mỗi nhiệm vụ hoàn thành vào khâu mua hàng, cạnh điểm số.
Thứ ba, đọc mọi bài thuyết trình về tác tử đối chiếu với một con số công khai. Vùng triển khai trung thực hôm nay hẹp, được đo lường tốt và do con người xem xét.
Cuối cùng, hãy hỏi mỗi nhà cung cấp AI một câu hỏi duy nhất trong quý này: cho tôi xem điểm của bạn trên một benchmark độc lập, dựa trên nhiệm vụ, cho công việc giống của tôi, và chi phí của bạn cho mỗi nhiệm vụ hoàn thành. Nếu họ không trả lời được, bạn đã học được điều gì đó đáng giá hơn cả buổi demo.
Kết luận: đo lường đã thay thế tiếp thị
Trần 12 phần trăm không phải lý do để quay lưng với các tác tử AI. Đó là lý do để mua chúng bằng bằng chứng thay vì nhiệt huyết.
Trí tuệ nhân tạo sẽ giành vị trí của mình bằng kết quả đo lường được, không phải bằng màn trình diễn. Cuối cùng, toán học của chi phí mỗi nhiệm vụ hoàn thành, được đếm một cách trung thực, sẽ quyết định công nghệ này thực sự thuộc về đâu.
Tài liệu tham khảo và đọc thêm
SemiAnalysis, “GDPx: The General Agentic Benchmark” – https://gdpx.semianalysis.com
SemiAnalysis, các ghi chú nghiên cứu và phân tích ngành – https://semianalysis.com
Suy nghĩ toán học. Kỹ thuật thông minh. Lãnh đạo chiến lược. Xây dựng có trách nhiệm. Mở rộng toàn cầu. Tạo giá trị kinh doanh thực sự thông qua trí tuệ nhân tạo.
#ArtificialIntelligence #AIStrategy #AIGovernance #EnterpriseAI #ITImpress
