By Keshavan Thiagaraja
Private AI Model Developer & AI Security Consultant Helping SMEs and Enterprises Build Secure AI Solutions Sydney, Australia.
B.Sc. (Computer Science, Mathematics and Statistics),
M.Sc. (Information Technology)
E-Commerce Professional
Giriş: yapay zekâ aracıları uzman işine hazırsa, en iyisi neden yalnızca yüzde 12 aldı?
Gerçek, ücretli uzman işlerinden oluşturulan yeni bir kıyaslama, yirmi sınır yapay zekâ modelini değerlendirdi ve en iyisi yüzde 12 aldı.
Bir yapay zekâ aracı, şirketinizin uzmanlara para ödediği işi yapabilir mi? Bu iddia için dürüst bir skor tablosu nasıl görünür? Ve imzalamadan önce tedarikçiye ne sormalısınız?
Sidney’de KOBİ’ler ve büyük şirketlerle çalışan özel bir yapay zekâ modeli geliştiricisi ve yapay zekâ güvenlik danışmanı olarak bana her hafta bu sorular soruluyor. Yanıtlar bütçeler, kadro ve risk için önemli.
Bu makale, GDPx kıyaslamasının neyi ölçtüğünü, rakamlarının neyi kanıtlayıp neyi kanıtlamadığını ve bu çeyrekte yapay zekâ aracılarını değerlendiren her lider için pratik dersleri açıklıyor.
1. GDPx aslında neyi ölçtü
Bu hafta araştırma şirketi SemiAnalysis, insanların geçimini sağladığı için seçilen 11 alanda 206 görevden oluşan GDPx kıyaslamasını yayınladı: çip tasarımı, siber güvenlik, hukuk işi, nicel ticaret, biyoloji, yazılım mühendisliği ve daha fazlası.
Görevleri on dört sektör ortağı sağladı ve yirmi sınır modeli değerlendirildi. Kıyaslama, zorluğundan çok hammaddesiyle dikkat çekici: insanların para kazandığı işler.
2. Skor tablosu: yirmi model, tek bir alçak tavan
Lider olan Claude Opus 5.5 yalnızca yüzde 12 alabildi. Gemini 4 Carbon 10,9 aldı. GPT-6 Astra 9,6 aldı.
Ancak bir skor tablosu başlangıç noktasıdır, hüküm değil. Bu rakamlar bir şirketin görevlerini aynı şirketin ölçütüyle ölçüyor ve gelecek yılın değil, bugünün modellerini tanımlıyor.
3. Sınırlar: GDPx’in kanıtlamadığı şeyler
GDPx kusursuz değil. Tek bir şirketin görevlerini ve tek bir şirketin değerlendirme ölçütünü kullanıyor, henüz bağımsız doğrulama yok ve şirket, değerlendirdiği sektöre araştırma satıyor.
Ders, rakama temkinli yaklaşmak. Ama yön doğru, çünkü modelleri etkileyici bilgi kırıntılarıyla değil, para kazandıran işle ölçüyor.
4. Maliyet sütunu: 51 dolara karşı 16 dolar
Lider, tamamlanan görev başına ortalama yaklaşık 51 dolar harcadı. İkinci, bir puandan az farkla geride kaldığı bir puan için ortalama yaklaşık 16 dolar harcadı.
Aracı stratejiniz yetenek ve maliyetin birlikte ilerlediğini varsayıyorsa, bu tablo öyle olmadığını söylüyor. Sonuca giden en ucuz yol artık sonucun kendisi kadar stratejik ve bu analiz pazarlama sayfasında değil, satın alma biriminde olmalı.
5. Aracı sunumlarını kamuya açık bir rakamla karşılaştırarak okumak
Bu çeyrekte göreceğiniz demoların hepsi uzman işine hazır olduklarını iddia edecek. Kamuya açık, adı belli bir kıyaslama tavanı yüzde 12’ye koydu.
Bu, aracıları işe yaramaz kılmıyor. Bugünkü dürüst kullanım alanının, insan denetimli, iyi ölçülebilen dar görevler olduğu anlamına geliyor; sahnede satılan otonom departmanlar değil.
Her yerdeki liderler için dersler
Birincisi, demo çağı bitti. Bir sektör skor tabloları hakkında tartışmaya başladığında, demolar tartışmaları çözmeyi bırakmış demektir.
İkincisi, maliyet ve yetenek birlikte ilerlemez. Tamamlanan görev başına maliyeti, puanın yanına, satın almaya koyun.
Üçüncüsü, her aracı sunumunu kamuya açık bir rakamla karşılaştırarak okuyun. Bugünkü dürüst kullanım alanı dardır, iyi ölçülebilir ve insan denetimlidir.
Son olarak, bu çeyrekte her yapay zekâ tedarikçisine tek bir soru sorun: benimki gibi işler için bağımsız, görev tabanlı bir kıyaslamadaki puanınızı ve tamamlanan görev başına maliyetinizi gösterin. Yanıt veremezlerse, demodan daha değerli bir şey öğrenmiş olursunuz.
Sonuç: ölçüm pazarlamanın yerini aldı
Yüzde 12’lik bir tavan, yapay zekâ aracılarından uzaklaşmak için bir neden değil. Onları coşku yerine kanıtla satın almak için bir neden.
Yapay zekâ yerini sahne gösterileriyle değil, ölçülebilir sonuçlarla kazanacak. Sonunda, dürüstçe hesaplanan tamamlanan görev başına maliyetin matematiği, bu teknolojinin gerçekte nereye ait olduğuna karar verir.
Kaynaklar ve ileri okuma
SemiAnalysis, “GDPx: The General Agentic Benchmark” – https://gdpx.semianalysis.com
SemiAnalysis, araştırma notları ve sektör analizleri – https://semianalysis.com
Matematiksel düşünün. Akıllıca mühendislik yapın. Stratejik liderlik edin. Sorumlu inşa edin. Küresel ölçeklendirin. Yapay zeka aracılığıyla gerçek iş değeri yaratın.
#ArtificialIntelligence #AIStrategy #AIGovernance #EnterpriseAI #ITImpress
