Montagfrüh, kein Kaffee im Blut, und mein Feed spuckt schon die dritte Bestenliste der Woche aus. Modell X schlägt Modell Y um 1,3 Prozentpunkte bei irgendeinem Reasoning-Benchmark, dessen Namen sich außerhalb von ein paar ML-Twitter-Accounts niemand merken kann. Ich scrolle weiter. Meine These: Die öffentliche Benchmark-Debatte hat mit der Frage, ob ein KI-System deinen Job in deinem Unternehmen erledigt, so gut wie nichts mehr zu tun. Nach diesem Artikel weißt du, warum ich für einen Kunden lieber ein Vier-Milliarden-Parameter-Modell einsetze als das neueste Flaggschiff, und warum OpenAI und xAI bei mir aus Prinzip nicht ins Haus kommen, komplett unabhängig davon, was ihre Scores behaupten. Fangen wir mit der Zahl an, die diese ganze Bestenlisten-Show entlarvt.
Kurz erklärt, bevor wir weitermachen
Benchmaxxing ist der Begriff, der sich Ende 2025 in der ML-Community durchgesetzt hat, für das gezielte Optimieren auf öffentliche Testergebnisse statt auf echte Fähigkeit. Der Name ist an „Looksmaxxing“ angelehnt, und er trifft den Kern erschreckend gut. Goodharts Law, ursprünglich aus der Ökonomie, sagt schlicht: Sobald ein Messwert zum Ziel wird, hört er auf, ein guter Messwert zu sein. Genau das erleben wir gerade live bei praktisch jedem großen Sprachmodell-Release.
Warum ist die Benchmark-Bestenliste kaputt?
Ich beobachte das regelmäßig in den sozialen Medien: „KI-Influencer“ posten ein Balkendiagramm im Feed und erklären, dass „Model X24.55b12“ jetzt der letzte „heiße Scheiß“ ist, weil es angeblich am besten abschneidet. Liebe Leute: Dieses Diagramm sagt fast nichts aus.
Der Klassiker unter den Benchmarks, MMLU, testet seit 2021 Wissen über 57 akademische Fächer. Mitte 2024 kratzten die Spitzenmodelle an der 87-Prozent-Marke, 2025 lag das Spitzenfeld über 89 Prozent, mit weniger als zwei Prozentpunkten Abstand zwischen fünf oder mehr Modellen. Klingt nach einem knallharten Wettrennen. Ist es nicht. Es ist ein Test, der so gesättigt ist, dass die Unterschiede statistisches Rauschen sind.
Und dann kommt der Teil, der mich wirklich auf die Palme bringt. Im April 2025 hat Meta sein Llama 4 Maverick auf LMArena mit einer Elo-Wertung von 1.417 platziert, Platz zwei hinter Gemini. Nur: Meta hat der Arena eine spezielle, nicht öffentliche Modellvariante untergeschoben, optimiert genau auf das, was menschliche Bewerter in Blindvergleichen mögen. Ausführliche, emoji-lastige Antworten. Die öffentliche Version des Modells fiel danach auf Platz 32 bis 35 zurück. LMArena musste einräumen, dass Metas Auslegung der eigenen Regeln nicht dem entsprach, was man von Anbietern erwartet. Das Nachspiel kam im Jänner 2026, als Yann LeCun der Financial Times bestätigte, dass die Ergebnisse „ein bisschen frisiert“ waren. Mark Zuckerberg soll daraufhin das Vertrauen in das gesamte GenAI-Team verloren und die Verantwortlichen ausgetauscht haben.
Das ist kein Einzelfall. OpenAI hat FrontierMath, einen mathematischen Benchmark mit über 60 Mathematikerinnen und Mathematikern, heimlich mitfinanziert und sich dafür exklusiven Zugriff auf einen Großteil der Aufgaben und Lösungen gesichert. Öffentlich wurde diese Finanzierung erst bekannt, als das eigene Modell o3 damit einen neuen Rekord aufstellte, mehrere beteiligte Mathematikerinnen und Mathematiker gaben danach an, von der exklusiven Zugriffsregelung vorher nichts gewusst zu haben. Wer die Prüfung mitschreibt und gleichzeitig die Musterlösung kennt, gewinnt natürlich. Selbst Andrej Karpathy, Mitbegründer von OpenAI und ehemaliger KI-Chef bei Tesla, wurde nach eigener Aussage „ein bisschen misstrauisch“, als ein Gemini-Modell auf der LMArena-Bestenliste weit vor der Konkurrenz landete, ein Verdacht, den die später veröffentlichte Studie „The Leaderboard Illusion“ im Detail bestätigte. Bei StarCoder-7b zeigte sich der Effekt auch direkt messbar: Auf durchgesickerten Testdaten lag der Score fast fünffach über dem auf sauberen Daten.
Selbst die Gegenbewegung zeigt, wie kaputt das System ist. Neuere Benchmarks wie LiveBench generieren ihre Aufgaben monatlich neu, aus aktuellen Mathewettbewerben, frischen Arxiv-Papers und Nachrichten der letzten Wochen, damit Contamination gar nicht erst möglich ist. Das Ergebnis: Die Top-Modelle liegen dort deutlich unter 70 Prozent, während dieselben Modelle bei MMLU über 89 Prozent stehen. Das ist keine kleine Abweichung. Das ist der Beweis, dass ein großer Teil der alten Bestenlisten längst mehr Erinnerungsvermögen misst als Denkvermögen.
Die EU-Kommission hat das Problem längst systematisch aufgearbeitet. Ein Forschungsteam des Joint Research Centre hat rund 110 Studien zu Schwächen der KI-Benchmarking-Praxis ausgewertet und daraus neun grundlegende Problemfelder abgeleitet, von Contamination bis zu strukturellen Fehlanreizen im gesamten Ökosystem. Wenn du tiefer einsteigen willst: Die Meta-Review zu neun grundlegenden Schwächen von KI-Benchmarks der EU-Kommission liest sich wie eine Gebrauchsanweisung für gesunde Skepsis. Und Stanford HAI warnt für 2026 offen vor einem „Actual Utility“-Problem: Hohe Coding-Scores kaschieren zum Beispiel eine bis zu vierfach höhere Bug-Rate im generierten Code, weil Benchmarks messen, ob Code kompiliert, nicht ob er in der Praxis hält.
Was bringt dir ein Prozentpunkt Reasoning-Vorsprung wirklich?
Hier wird es für dich als Unternehmerin oder Unternehmer konkret. Aktuelle Auswertungen von Enterprise-Einsätzen agentischer KI-Systeme zeigen eine Lücke von 37 Prozent zwischen Labor-Benchmark-Werten und der tatsächlichen Leistung im produktiven Einsatz, bei bis zu 50-facher Kostenvarianz für vergleichbare Genauigkeit. Übersetzt heißt das: Das Modell, das auf dem Papier gewinnt, kann in deinem Buchhaltungsworkflow trotzdem der teurere und unzuverlässigere Griff sein.
Ich sag dir, was mich stattdessen interessiert, wenn ich für eine Kundin oder einen Kunden ein Modell auswähle. Erledigt es die konkrete Aufgabe zuverlässig. Ist der Preis pro Aufgabe vertretbar. Bleiben die Daten dort, wo sie hingehören. Der Score auf irgendeiner Bestenliste taucht in dieser Liste gar nicht auf, weil er für die Entscheidung schlicht irrelevant ist.
Das ist auch der Grund, warum ich in VINCI, meinem eigenen KI-Assistenten, bewusst nicht überall das größte verfügbare Modell einsetze. Für die speicherintensiven, wiederkehrenden Aufgaben läuft lokal ein kleines Modell mit vier Milliarden Parametern. Kein Frontier-Modell, keine Bestenlisten-Krone, aber genau richtig dimensioniert für genau eine Aufgabe: Kontext strukturieren, ohne dass die Daten irgendwo in eine amerikanische Cloud wandern. Für alles, was echtes Sprachverständnis und Abwägen braucht, wechselt VINCI zu einem größeren Cloud-Modell. Diese Aufteilung ist kein Kompromiss. Sie ist die eigentliche Ingenieursleistung.
Ich hab das letztes Jahr in meinem ausführlichen LLM-Vergleich schon einmal durchdekliniert: Es gibt nicht das eine beste Modell, es gibt das für die Aufgabe passende. Wer sein ganzes Setup auf das jeweils frischeste Bestenlisten-Update ausrichtet, betreibt Technologie-Fetischismus, keine Unternehmensstrategie. Der Installateurbetrieb aus Hallein, mit dem ich letzten Monat die Rechnungsablage automatisiert habe, braucht kein Modell, das Humanity’s Last Exam zu 40 Prozent löst. Er braucht ein Tool, das Belege zuverlässig einliest, günstig läuft und Mandanten- beziehungsweise Kundendaten nicht durch die halbe Welt schickt. Das ist eh der Punkt, den in dieser ganzen Benchmark-Aufregung fast niemand mehr anspricht.
Ein konkretes Beispiel aus der VINCI-Architektur zeigt das gut. Bevor eine Anfrage überhaupt bei einem Sprachmodell landet, entscheidet ein Intent-Router anhand von 16 definierten Kategorien, welches der Werkzeuge und welches Modell tatsächlich gebraucht wird, statt bei jeder trivialen Kalenderabfrage das größte verfügbare Modell zu bemühen. Das Ergebnis ist eine drei- bis fünffache Latenz-Reduktion bei Standardanfragen, ganz ohne dass irgendein Benchmark-Score sich verändert hätte. Aus Nutzersicht ist das der einzige Unterschied, der zählt: Die Antwort kommt schneller, kostet weniger und bleibt lokal. Genau darum geht es mir, wenn ich sage, dass der Job zählt und nicht die Bestenliste.
Warum kommt mir OpenAI nicht mehr ins Haus?
Diese Woche, während ich diesen Text schreibe, ist Sam Altman gerade dabei, der US-Regierung fünf Prozent von OpenAI anzubieten, offiziell um die Vorteile von KI breiter zu verteilen, inoffiziell auch, um politischem Druck vor einem möglichen Börsengang die Spitze zu nehmen. Ich bin mir da nicht hundertprozentig sicher, aber mein Eindruck ist: Das ist vor allem ein PR-Schachzug mit gutem Timing. Gleichzeitig hat OpenAI seine neueste Modellreihe GPT-5.6 zunächst nur für einen kleinen Kreis „vertrauenswürdiger Partner“ freigegeben, deren Teilnahme laut eigenem Launch-Post mit der US-Regierung abgestimmt wurde. Der Rest der Welt darf gestaffelt nachziehen, wenn Washington zufrieden ist.
Ich will das kurz einordnen, ohne in Verschwörungsdenken abzudriften: Eine Minderheitsbeteiligung bedeutet nicht automatisch, dass Washington Zugriff auf deine ChatGPT-Konversationen hat. Aber das Signal ist eindeutig, und ich hab es schon einmal aufgeschrieben, in meinem Artikel zu #QuitGPT: Frontier-KI wird zunehmend wie strategische Infrastruktur behandelt, nicht wie ein gewöhnliches Softwareprodukt. Es ist wie eine Einladung mit Türsteher, bei der der Türsteher zufällig ein Ministerium ist. Das Bild hinkt vielleicht ein bisschen, aber es trifft den Kern: Zutritt nur für ausgewählte Gäste, der Rest wartet im Vorraum. Und das ist kein isolierter OpenAI-Vorfall: Auch Anthropics eigene Modelle Claude Fable 5 und Mythos 5 wurden Anfang Juli kurzzeitig von US-Exportkontrollen erfasst, bevor die Sperre wieder aufgehoben wurde. Genau das macht die Sache für mich zum strukturellen Problem und nicht zur reinen OpenAI-Schelte: Wer als Unternehmen in Salzburg oder sonst wo in Europa seine Geschäftsprozesse auf ein US-Frontier-Modell aufbaut, baut auf einem Fundament, dessen Zugänglichkeit von politischen Abstimmungsprozessen abhängt, die er selbst nicht kontrolliert.
Diese Sorge ist mittlerweile auch jenseits meiner eigenen Kundengespräche angekommen. Eine Gruppe europäischer Investorinnen und KI-Vordenker hat kürzlich unter dem Titel „Europe 2031″ ein Warnpapier veröffentlicht, das genau vor dieser Abhängigkeit warnt, kurz nachdem die US-Regierung im Juni erstmals ein Anthropic-Modell für Nicht-US-Bürger blockiert hatte und Europa damit über Nacht vom Zugang abgeschnitten war. Die führenden Modelle kommen fast ausnahmslos aus den USA, gefolgt von chinesischer Konkurrenz. Europäische Alternativen wie Mistral gelten laut Fachleuten als solide, aber nicht als Anschluss an die absolute Weltspitze. Wer glaubt, das sei nur ein Nischenthema für Politikpapiere, hat die Entwicklung der letzten Wochen nicht verfolgt.
Dazu kommt, was ich meinen Kundinnen und Kunden schon länger sage: Ich kann niemandem empfehlen, DSGVO-konform zu arbeiten, wenn das Werkzeug selbst diese Garantie nicht bieten kann. Die Datenverarbeitung von ChatGPT läuft über US-Server, die kommerzielle Ausrichtung von OpenAI hat sich vom ursprünglichen Non-Profit-Versprechen längst gelöst, und die Intransparenz, wohin Nutzerdaten in Regierungsverträgen fließen, ist für mich kein Randthema, sondern ein Ausschlusskriterium. Ich sag das nicht aus Prinzipienreiterei ohne Substanz, sondern weil ich als KI-Berater die Verantwortung habe, ehrlich zu erklären, wo Daten landen und wer am anderen Ende mitliest, im Zweifelsfall auch eine Behörde.
Und warum ist xAI für mich erst recht keine Option?
Wenn OpenAI für mich schon ein Ausschlusskriterium ist, dann ist xAI keine Diskussion, die ich überhaupt noch führe. Ich hab mich mit Elon Musks Grok in den letzten Jahren ausführlich beschäftigt, zuletzt in meinem Artikel über Musks Selbstdemontage in Zeitlupe, und die Faktenlage ist seither nicht besser geworden. Sie ist schlimmer geworden.
Grok wurde 2026 in mehreren Ländern, darunter Malaysia und Indonesien, komplett gesperrt. Die EU-Kommission hat gegen X ein Verfahren nach dem Digital Services Act eingeleitet, die irische Datenschutzbehörde ermittelt zusätzlich. Auslöser waren gravierende Sicherheitsversäumnisse bei der Bildgenerierung, die zur massenhaften Verbreitung nicht einvernehmlicher und kinderschutzrelevanter Inhalte geführt haben. Das ist keine Randnotiz einer Beta-Version. Das ist ein systemisches Versagen bei genau jenen Schutzmechanismen, die jedes andere große Labor längst implementiert hat, während xAI laut Medienberichten seine Engineering-Ressourcen bewusst in die gegenteilige Richtung gesteckt hat.
Und dann ist da noch der ehemalige xAI-Ingenieur Devin Kim, der laut eigener Klage im September 2025 entlassen wurde, nachdem er wiederholt auf Sicherheitsrisiken bei Grok hingewiesen hatte, darunter die Gefahr diskriminierender Ausgaben. Kurz darauf verglich sich Grok in einem öffentlich dokumentierten Vorfall selbst mit Hitler. Man kann sich die Ironie nicht ausdenken, ich würde das eigentlich nüchterner formulieren, aber genau so absurd war der Vorfall, als er publik wurde.
Kommerziell zahlt sich diese Strategie im Übrigen auch nicht aus, was mich als Beobachter fast schon versöhnlich stimmen könnte, wenn der Schaden nicht so groß wäre. Groks Web-Traffic ist zwischen Jänner und Mai 2026 um 22 Prozent eingebrochen, der stärkste Rückgang aller großen KI-Plattformen in diesem Zeitraum, während Claude im selben Fenster um 369 Prozent gewachsen ist. Selbst nach der Fusion mit SpaceX, die xAI auf dem Papier mit rund 250 Milliarden US-Dollar bewertet hat, bleibt das deutlich unter der OpenAI-Bewertung von über 850 Milliarden US-Dollar. Selbst wer Ethik komplett ausblendet und nur auf Zahlen schaut, sieht: Sicherheitsversagen ist auch schlechtes Geschäft.
Musk verkauft Grok als das ungezähmte, „wahrheitsliebende“ Gegenmodell zur angeblich woken Konkurrenz. Was tatsächlich passiert, ist ein Modell mit einem klar dokumentierbaren, gezielt eingebauten Bias, das seinen eigenen Schöpfer und dessen politische Positionen systematisch positiver bewertet, als es unabhängige Quellen rechtfertigen. Das ist kein Zufallsprodukt von Trainingsdaten. Das ist Design.
Ich hab dafür eine klare Regel für mich und meine Kunden: #NoMusk. Kein Grok in meinen Empfehlungen, unabhängig davon, welchen Score xAI als nächstes verkündet. Nicht weil ich Musk als Person nicht mag, das ist mir schlicht wurscht. Sondern weil ich niemandem ein Werkzeug in die Hand geben will, dessen Sicherheitsarchitektur nachweislich versagt und dessen Bias System hat statt Zufall zu sein.
Was heißt das jetzt konkret für deine KI-Strategie?
Ich sag dir, wie ich das mit Kundinnen und Kunden angehe, bevor überhaupt ein Modellname fällt. Zuerst die Aufgabe präzise fassen: Was genau soll automatisiert oder unterstützt werden, und wie oft passiert das. Dann die Datenklasse klären: Wandern hier Namen, Adressen oder Geschäftsgeheimnisse durch die Leitung, oder ist es unkritischer Fließtext. Erst danach schauen wir uns an, welches Modell, welche Größe und welcher Hosting-Ort zu diesen beiden Antworten passt. In dieser Reihenfolge kommt kein einziges Mal eine Bestenliste vor, und trotzdem landen wir am Ende fast immer bei einer Lösung, die zuverlässiger und günstiger ist als das, was ein reiner Benchmark-Vergleich nahegelegt hätte. Wer die Reihenfolge umdreht und beim Modellnamen anfängt, kauft sich Prestige. Wer bei der Aufgabe anfängt, kauft sich ein Werkzeug, das hält.
Häufig gestellte Fragen zu KI-Benchmarks und Modellwahl
Was bei mir als nächstes am Prüfstand steht
Ich werd weiterhin jede neue Modellgeneration testen, weil das mein Job ist. Aber ich werd keine Kaufempfehlung aussprechen, die sich primär auf eine Bestenliste stützt. Wenn du wissen willst, welches Werkzeug deinen konkreten Job erledigt, ohne dass deine Daten irgendwo landen, wo sie nicht hingehören, dann ist das eine Frage, die man in einem Gespräch klärt, nicht auf einem Balkendiagramm. Ich bin bereit für das Gespräch. Die Bestenliste kann warten.
Ein letzter, bewusst unfreundlicher Absatz an die Bestenlisten-Fraktion
Wenn du gerade in einem Marketing-Meeting sitzt und überlegst, ob ihr den nächsten Modell-Release mit einem Balkendiagramm bewerben sollt: lass es. Ein Prozentpunkt auf einer gesäuberten, gekauften oder frisierten Bestenliste ist kein Beweis für Intelligenz. Er ist der Beweis, dass irgendwo ein Marketingteam mehr Budget hatte als Gewissen. Und an alle, die mir jetzt schreiben wollen, ich würde Anthropic nur deshalb schonen, weil ich Claude täglich einsetze: Lest den Absatz über Fable 5 und Mythos 5 noch einmal. Kritik hört bei mir nicht an der Marke auf, die ich selbst verwende. Bei euch schon? Dann viel Spaß mit eurem nächsten Prozentpunkt, ich schau mir in der Zwischenzeit an, ob eure Software überhaupt eine Rechnung fehlerfrei einliest.
