By Keshavan Thiagaraja
Private AI Model Developer & AI Security Consultant Helping SMEs and Enterprises Build Secure AI Solutions Sydney, Australia.
B.Sc. (Computer Science, Mathematics and Statistics),
M.Sc. (Information Technology)
E-Commerce Professional
تعارف: اگر AI ایجنٹس ماہرانہ کام کے لیے تیار ہیں تو بہترین نے صرف 12 فیصد کیوں اسکور کیا؟
حقیقی، ادا شدہ ماہرانہ کاموں سے بنائے گئے ایک نئے بینچ مارک نے ابھی بیس فرنٹیئر AI ماڈلز کا جائزہ لیا ہے، اور ان میں سے بہترین نے 12 فیصد اسکور کیا۔
کیا کوئی AI ایجنٹ وہ کام کر سکتا ہے جس کے لیے آپ کی کمپنی ماہرین کو ادا کرتی ہے؟ اس دعوے کا ایماندارانہ اسکور بورڈ کیسا ہوگا؟ اور دستخط کرنے سے پہلے فروش سے کیا پوچھنا چاہیے؟
سڈنی میں چھوٹے، درمیانے اور بڑے اداروں کے ساتھ کام کرنے والے نجی AI ماڈل ڈیویلپر اور AI سیکیورٹی کنسلٹنٹ کے طور پر، مجھ سے ہر ہفتے یہ سوالات پوچھے جاتے ہیں۔ ان کے جوابات بجٹ، عملے اور خطرے سے جُڑے ہیں۔
یہ مضمون بتاتا ہے کہ GDPx بینچ مارک نے کیا ناپا، اس کے اعداد و شمار کیا ثابت کرتے ہیں اور کیا نہیں، اور اس سہ ماہی میں AI ایجنٹوں کا جائزہ لینے والے ہر رہنما کے لیے عملی اسباق کیا ہیں۔
1. GDPx نے اصل میں کیا ناپا
اس ہفتے تحقیقی ادارے SemiAnalysis نے GDPx شائع کیا، جو 11 شعبوں میں 206 کاموں پر مشتمل ایک بینچ مارک ہے۔ یہ شعبے اس لیے چنے گئے کہ لوگ انہیں کر کے روزی کمانتے ہیں: چپ ڈیزائن، سائبر سیکیورٹی، قانونی کام، کوانٹیٹیٹو ٹریڈنگ، حیاتیات، سافٹ ویئر انجینئرنگ اور مزید۔
چودہ صنعتی شراکت داروں نے کام فراہم کیے، اور بیس فرنٹیئر ماڈلز کا جائزہ لیا گیا۔ یہ بینچ مارک اپنی مشکل کی وجہ سے کم، اپنے ماخذ مواد کی وجہ سے زیادہ قابلِ توجہ ہے: وہ کام جن کے لوگوں کو معاوضہ ملتا ہے۔
2. اسکور بورڈ: بیس ماڈل، ایک نیچی حد
سرِفہرست Claude Opus 5.5 محض 12 فیصد حاصل کر سکا۔ Gemini 4 Carbon نے 10.9 اسکور کیا۔ GPT-6 Astra نے 9.6 اسکور کیا۔
تاہم، اسکور بورڈ ایک نقطۂ آغاز ہے، فیصلہ نہیں۔ یہ اعداد ایک ادارے کے کاموں کو اسی ادارے کے جانچ معیار سے ناپتے ہیں، اور یہ اگلے سال کے نہیں، آج کے ماڈلز کی تصویر پیش کرتے ہیں۔
3. حدود: GDPx کیا ثابت نہیں کرتا
GDPx مکمل نہیں۔ اس میں ایک ہی ادارے کے کام اور ایک ہی ادارے کا جانچ معیار استعمال ہوا ہے، ابھی تک کوئی آزاد تصدیق نہیں ہوئی، اور وہ ادارہ تحقیق اسی صنعت کو بیچتا ہے جس کا وہ جائزہ لیتا ہے۔
سبق یہ ہے کہ عدد کو احتیاط سے لیں۔ لیکن سمت درست ہے، کیونکہ یہ ماڈلز کی پیمائش متاثر کن معمولی معلومات پر نہیں بلکہ آمدنی دینے والے کام پر کرتا ہے۔
4. لاگت کا کالم: 51 بمقابلہ 16 ڈالر
سرِفہرست ماڈل نے فی مکمل شدہ کام اوسطاً تقریباً 51 ڈالر خرچ کیے۔ دوسرے نمبر والے نے ایک پوائنٹ سے بھی کم فرق والے اسکور کے لیے اوسطاً تقریباً 16 ڈالر ہی خرچ کیے۔
اگر آپ کی ایجنٹک حکمت عملی یہ فرض کرتی ہے کہ صلاحیت اور لاگت ساتھ ساتھ چلتی ہیں، تو یہ جدول کہتا ہے کہ ایسا نہیں ہے۔ نتیجے تک پہنچنے کا سب سے سستا راستہ اب خود نتیجے جتنا ہی اسٹریٹجک ہے، اور یہ تجزیہ مارکیٹنگ پیج پر نہیں بلکہ خریداری کے شعبے میں ہونا چاہیے۔
5. ایجنٹ پچوں کو ایک عوامی عدد سے پرکھنا
اس سہ ماہی میں جو ڈیمو آپ دیکھیں گے وہ سب ماہرانہ کام کے لیے تیاری کا دعویٰ کریں گے۔ ایک عوامی، نامزد بینچ مارک نے ابھی حد 12 فیصد پر مقرر کر دی ہے۔
اس سے ایجنٹ بیکار نہیں ہو جاتے۔ اس کا مطلب یہ ہے کہ آج کی دیانت دارانہ تعیناتی کا دائرہ تنگ، اچھی طرح ماپی جانے والی، انسانی جائزے والے کام ہیں، نہ کہ اسٹیج پر بکنے والے خودمختار شعبے۔
ہر جگہ کے رہنماؤں کے لیے اسباق
پہلا، ڈیمو کا دور ختم ہو چکا ہے۔ جب کوئی صنعت اسکور بورڈز پر بحث کرنے لگتی ہے تو ڈیمو بحثیں طے کرنا بند کر چکے ہوتے ہیں۔
دوسرا، لاگت اور صلاحیت ساتھ ساتھ نہیں چلتیں۔ فی مکمل شدہ کام کی لاگت کو اسکور کے ساتھ خریداری میں شامل کریں۔
تیسرا، ہر ایجنٹ پچ کو ایک عوامی عدد سے پرکھیں۔ آج کی دیانت دارانہ تعیناتی کا دائرہ تنگ، اچھی طرح ماپا ہوا اور انسانی جائزے سے گزرا ہوا ہے۔
آخر میں، اس سہ ماہی ہر AI فروش سے صرف ایک سوال پوچھیں: میرے جیسے کام کے لیے کسی آزاد، کام پر مبنی بینچ مارک میں اپنا اسکور دکھائیں، اور فی مکمل شدہ کام اپنی لاگت بتائیں۔ اگر وہ جواب نہیں دے سکتے تو آپ نے ڈیمو سے کہیں زیادہ قیمتی کچھ سیکھ لیا ہے۔
خلاصہ: مارکیٹنگ کی جگہ پیمائش نے لے لی ہے
12 فیصد کی حد AI ایجنٹوں سے کنارہ کشی کی وجہ نہیں۔ یہ انہیں جوش کے بجائے شواہد کے ساتھ خریدنے کی وجہ ہے۔
مصنوعی ذہانت اسٹیج کے تماشے سے نہیں، قابلِ پیمائش نتائج سے اپنا مقام بنائے گی۔ آخرکار، فی مکمل شدہ کام کی لاگت کا ریاضی، دیانت داری سے گینی ہوئی، طے کرتی ہے کہ یہ ٹیکنالوجی حقیقت میں کہاں تعلق رکھتی ہے۔
حوالہ جات اور مزید مطالعہ
SemiAnalysis, “GDPx: The General Agentic Benchmark” – https://gdpx.semianalysis.com
SemiAnalysis، تحقیقی نوٹس اور صنعتی تجزیات – https://semianalysis.com
ریاضیاتی سوچیں۔ ذہانت سے انجینئر کریں۔ حکمت عملی سے قیادت کریں۔ ذمہ داری سے بنائیں۔ عالمی سطح پر پھیلیں۔ مصنوعی ذہانت کے ذریعے حقیقی کاروباری قدر پیدا کریں۔
#ArtificialIntelligence #AIStrategy #AIGovernance #EnterpriseAI #ITImpress
