By Keshavan Thiagaraja
Private AI Model Developer & AI Security Consultant Helping SMEs and Enterprises Build Secure AI Solutions Sydney, Australia.
B.Sc. (Computer Science, Mathematics and Statistics),
M.Sc. (Information Technology)
E-Commerce Professional
Einführung: Wenn KI-Agenten bereit für Expertenarbeit sind, warum erreichte der beste nur 12 Prozent?
Ein neuer Benchmark, der aus echten, bezahlten Expertenaufgaben besteht, hat zwanzig Frontier-KI-Modelle bewertet, und das beste erreichte 12 Prozent.
Kann ein KI-Agent die Arbeit leisten, für die Ihr Unternehmen Experten bezahlt? Wie sähe eine ehrliche Anzeigetafel für diese Behauptung aus? Und was sollten Sie einen Anbieter fragen, bevor Sie unterschreiben?
Als privater KI-Modellentwickler und KI-Sicherheitsberater, der in Sydney mit KMU und Großunternehmen arbeitet, werden mir diese Fragen jede Woche gestellt. Die Antworten sind wichtig für Budgets, Personal und Risiko.
Dieser Artikel erklärt, was der GDPx-Benchmark gemessen hat, was seine Zahlen belegen und was nicht, und welche praktischen Lehren Führungskräfte daraus ziehen sollten, die in diesem Quartal KI-Agenten bewerten.
1. Was GDPx tatsächlich gemessen hat
Diese Woche hat das Research-Unternehmen SemiAnalysis GDPx veröffentlicht, einen Benchmark aus 206 Aufgaben in 11 Bereichen, die gewählt wurden, weil Menschen damit ihren Lebensunterhalt verdienen: Chipdesign, Cybersicherheit, juristische Arbeit, quantitativer Handel, Biologie, Software-Engineering und mehr.
Vierzehn Industriepartner lieferten die Aufgaben, und zwanzig Frontier-Modelle wurden bewertet. Der Benchmark ist weniger wegen seiner Schwierigkeit bemerkenswert als wegen seines Ausgangsmaterials: Arbeit, für die Menschen bezahlt werden.
2. Die Anzeigetafel: Zwanzig Modelle, eine niedrige Decke
Der Spitzenreiter, Claude Opus 5.5, schaffte gerade einmal 12 Prozent. Gemini 4 Carbon erreichte 10,9. GPT-6 Astra erreichte 9,6.
Eine Anzeigetafel ist jedoch ein Ausgangspunkt, kein Urteil. Diese Zahlen messen die Aufgaben einer Firma nach dem Raster derselben Firma, und sie beschreiben die Modelle von heute, nicht die des nächsten Jahres.
3. Die Grenzen: Was GDPx nicht belegt
GDPx ist nicht perfekt. Es verwendet die Aufgaben einer einzigen Firma und deren Bewertungsraster, es gibt noch keine unabhängige Überprüfung, und die Firma verkauft Research an die Branche, die sie bewertet.
Die Lehre daraus ist, die Zahl mit Vorsicht zu behandeln. Aber die Richtung stimmt, denn der Benchmark misst Modelle an Arbeit, die Geld einbringt, nicht an Trivia, die beeindruckt.
4. Die Kostenspalte: 51 gegen 16 Dollar
Der Spitzenreiter gab im Schnitt etwa 51 Dollar pro erledigter Aufgabe aus. Der Zweitplatzierte gab im Schnitt etwa 16 Dollar für eine Punktzahl aus, die weniger als einen Punkt dahinter lag.
Wenn Ihre Agentenstrategie annimmt, dass Fähigkeit und Kosten gemeinsam steigen, sagt diese Tabelle das Gegenteil. Der günstigste Weg zu einem Ergebnis ist heute so strategisch wie das Ergebnis selbst, und diese Analyse gehört in den Einkauf, nicht auf eine Marketingseite.
5. Agenten-Präsentationen an einer öffentlichen Zahl messen
Die Demos, die Sie dieses Quartal sehen werden, behaupten alle, bereit für Expertenarbeit zu sein. Ein öffentlicher, namentlich genannter Benchmark hat die Decke gerade bei 12 Prozent festgelegt.
Das macht Agenten nicht nutzlos. Es bedeutet, dass die ehrliche Einsatzzone heute enge, gut instrumentierte Aufgaben mit menschlicher Prüfung sind, nicht die autonomen Abteilungen, die auf der Bühne verkauft werden.
Lehren für Führungskräfte überall
Erstens ist die Ära der Demos vorbei. Wenn eine Branche über Anzeigetafeln streitet, entscheiden Demos keine Argumente mehr.
Zweitens steigen Kosten und Fähigkeit nicht gemeinsam. Ziehen Sie die Kosten pro erledigter Aufgabe im Einkauf heran, neben der Punktzahl.
Drittens messen Sie jede Agenten-Präsentation an einer öffentlichen Zahl. Die ehrliche Einsatzzone heute ist eng, gut instrumentiert und von Menschen geprüft.
Viertens stellen Sie jedem KI-Anbieter dieses Quartal eine einzige Frage: Zeigen Sie mir Ihre Punktzahl in einem unabhängigen, aufgabenbasierten Benchmark für Arbeit wie meine, und Ihre Kosten pro erledigter Aufgabe. Können sie nicht antworten, haben Sie etwas gelernt, das mehr wert ist als die Demo.
Fazit: Messung hat das Marketing abgelöst
Eine Decke von 12 Prozent ist kein Grund, sich von KI-Agenten abzuwenden. Sie ist ein Grund, sie mit Belegen statt mit Begeisterung zu kaufen.
Künstliche Intelligenz wird sich ihren Platz durch messbare Ergebnisse verdienen, nicht durch Inszenierung. Am Ende entscheidet die ehrlich gezählte Mathematik der Kosten pro erledigter Aufgabe, wo diese Technologie wirklich hingehört.
Quellen und weiterführende Literatur
SemiAnalysis, “GDPx: The General Agentic Benchmark” – https://gdpx.semianalysis.com
SemiAnalysis, Research-Notizen und Branchenanalysen – https://semianalysis.com
Denken Sie mathematisch. Konstruieren Sie intelligent. Führen Sie strategisch. Bauen Sie verantwortungsvoll. Skalieren Sie global. Schaffen Sie echten geschäftlichen Wert durch künstliche Intelligenz.
#ArtificialIntelligence #AIStrategy #AIGovernance #EnterpriseAI #ITImpress
