AIM Enterprise: Agentischer Unternehmens-Benchmark

Unternehmen nutzen LLMs täglich für ihre regulären Aufgaben. Um die kosteneffizientesten LLMs zu finden, haben wir AIM Enterprise entwickelt, einen agentischen Unternehmens-Benchmark, bei dem wir 69 reale Unternehmensaufgaben aus Strategie, Marketing, HR, Vertrieb und Betrieb verwendet haben.

Benchmark-Ergebnisse

• Claude Opus 5 (66.4) und GPT 5.6 Sol (62.4) lagen mehr als 7 Punkte vor dem dritten Platz und belegten bei allen 4.000 Neubewertungen mit zufällig neu ausgewählten Aufgaben die beiden Spitzenplätze.
• Opus 5 gewann 43 der 69 Aufgaben und Sol gewann 13. Kein anderes Modell gewann mehr als vier.
• Opus 5 hatte außerdem den höchsten Durchschnitt bei den 17 schwersten Aufgaben, 66.2 gegenüber 62.3 für Sol.
• Die nächsten sechs Modelle erzielten zwischen 51.4 und 55.2. Das liegt enger beieinander, als 69 Aufgaben trennen können, daher ändert sich ihre Reihenfolge mit der Aufgabenauswahl.

Kosten und Punktzahl

• GPT 5.6 Luna erzielte 55.2 bei $0,040 pro Aufgabe. Das liegt 7 Punkte unter dem besten Modell im Diagramm, bei einem Siebzehntel seiner Kosten.
• Über die 11 bepreisten Modelle hinweg korrelieren Kosten pro Aufgabe und Punktzahl mit 0.71.
• Über alle 16 Setups hinweg beträgt die Korrelation zwischen Zeit pro Aufgabe und Punktzahl 0.55. Die vier schnellsten waren vier der fünf niedrigsten Bewertungen, und Inkling Small erledigte eine Aufgabe in 49 Sekunden und wurde Zweitletzter.
• Kimi K3 zu $0,652 und Qwen 3.8 Max zu $0,628 kosten etwa so viel wie GPT 5.6 Sol zu $0,670 und erzielen 8 bzw. 11 Punkte weniger.

Uneinigkeit der Bewerter

Zwei Bewerter-Modelle bewerteten jede Datei und waren oft unterschiedlicher Meinung. Bei etwa einem Drittel der Einzelbewertungen lagen die beiden mehr als ein Viertel der Skala auseinander, und niemand hat diese Zeilen überprüft.

Sie waren sich bei den Extremen einig, nicht aber in der Mitte. Beide setzten Opus 5 und GPT 5.6 Sol über alle anderen, aber 11 der 16 Setups landen je nach zugrunde gelegtem Bewertungsmodell auf einer anderen Position.

Die beiden waren sich auch uneinig, welcher Spitzenreiter zuerst kommt; jede platzierte das Modell ihres Unternehmens an die Spitze. Die veröffentlichte Reihenfolge kombiniert beide Ranglisten.

AIM Marketing-Benchmark

Dieselbe Methode wird auf Marketing-Arbeit angewendet: Angebote finden, die ein Wettbewerber veröffentlicht und AIMultiple nicht, eine bestmögliche Account-Liste erstellen und ein personalisiertes Vertriebsdeck produzieren. Jede Aufgabe wird mit 0 bis 100 bewertet, und die Gesamtpunktzahl ist der Mittelwert der drei. Ein Website-Reputation-Audit läuft parallel dazu und wird auf eigenen Achsen ausgewiesen, da es keine feste Maximalpunktzahl hat.

Vollständige Ergebnisse: der agentische Marketing-Benchmark.

AIM IT-Benchmark

Zwölf Modelle führten jeweils zweimal eine Benchmark-Design-Aufgabe aus, indem sie einen Benchmark erfanden, ihn aufbauten und vier Modelle damit durchliefen. Keiner der 24 Versuche erfüllte jedes Kriterium, und sechs der Prüfpunkte des Bewertungsrasters wurden von keinem einzigen erfüllt. Claude Opus 5 führte bei Text-zu-SQL mit 78.2 und Kimi K3 bei Tool-Calling mit 74.3.

Vollständige Ergebnisse: können LLMs einen Benchmark entwerfen.

AIM VC-Benchmark

Dreizehn gelistete Modelle wurden aufgefordert, die Kunden eines Unternehmens mit datierten Belegen über drei Zielunternehmen hinweg zu benennen. Claude Opus 5 erreichte 89.1 von 100 und Claude Fable 5 85.0; diese beiden waren die einzigen, die bei allen drei Zielen wie bewertet über 76 blieben. Die meisten anderen schnitten bei dem Ziel am schlechtesten ab, dessen Kunden in Podcast-Werbung statt auf indexierten Seiten erscheinen.

Vollständige Ergebnisse: der Kundenlisten-Benchmark.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Methodik

Die 69 Aufgaben wurden vom Gründer von AIMultiple basierend auf realen Unternehmensentscheidungen verfasst und den APQC Process Classification Framework-IDs zugeordnet.¹

Sie decken Strategie (16 Aufgaben), Marketing (15), Personalwesen (7), Vertrieb (6), Betrieb (5), IT und Finanzen (je 4) sowie sieben kleinere Bereiche ab. Jede Aufgabe benennt die gewünschte Datei: eine results.csv mit einer festen Spaltenliste, in der Regel 10 Zeilen und 8 Spalten, mit einer expliziten Regel für jedes Integer-Feld.

Wie die Modelle ausgeführt wurden

Dreizehn Modelle liefen in 16 Setups, wobei ein Setup ein Modell unter einem Agentenprogramm ist. Elf liefen mit opencode 1.15.13 über OpenRouter. Die übrigen liefen mit den von ihren Anbietern bereitgestellten Agentenprogrammen Claude Code und Codex, abgerechnet über Abonnements.

Jedes Setup erhielt denselben eingefrorenen Prompt, Live-Webzugriff über eine Scraping-API und ein Zwei-Stunden-Limit. Prompts wurden nie modellspezifisch angepasst, und die Bewertungsraster erreichten nie die Maschine, die Aufgaben ausführte.

Niemand wählte eine Reasoning-Stufe. Jedes Setup lief mit dem Standardwert seines Agentenprogramms, und die Standardwerte sind nicht einheitlich:

Claude Code 2.1.220 liefert für beide ausgeführten Modelle die Stufe „hoch“, und Codex verzeichnete bei jedem Lauf „hoch“. opencode wählt nichts und überlässt die Stufe dem Anbieter, sodass diese acht beim jeweiligen Modellstandard bleiben.

Ein höherer Reasoning-Standard ging nicht mit einer höheren Punktzahl einher. Die beiden Modelle, deren Standard über „hoch“ liegt, Kimi K3 bei „max“ und Qwen 3.8 Max bei „xhoch“, belegten 4th und 8th von 13. Die drei Modelle, die sowohl unter einer Anbieter-CLI als auch unter opencode liefen, liegen innerhalb von 0.83 Punkten zu sich selbst.

Jede Kostenangabe hier wird aus den Tokens neu berechnet, die ein Lauf tatsächlich bewegt hat, zu den Listenpreisen von OpenRouter, abgerufen am 19. August 2026, wobei gecachte Eingaben zum Cache-Tarif abgerechnet werden.

Die eigene Abrechnung der Agentenprogramme wäre nicht vergleichbar. opencode rechnet nach einer eigenen gebündelten Preisliste ab, und die Läufe von Claude Code und Codex werden gegen Abonnements abgerechnet, die keine Gebühr pro Lauf erfassen. Die beiden Claude-Code-Setups führten keine Nutzungsaufzeichnung und können überhaupt nicht bepreist werden.

Das ergab 1.104 Dateien, eine pro Setup und Aufgabe. Sechs opencode-Setups verpassten im ersten Durchgang 25 Läufe, weil die Dateisuche des Agenten Pfade durchlief, die seine eigene Sandbox anschließend nicht öffnen wollte, was den Lauf blockierte. Eine erneute Ausführung dieser 25 in einem isolierten Verzeichnis stellte alle wieder her, daher wird die Zustellung sowohl als Erstdurchlauf- als auch als Endrate ausgewiesen. Jede Aufgabe lief einmal und wurde einmal bewertet. Ein Modell, das keine Datei erzeugte, wurde erneut ausgeführt, aber keine Datei wurde jemals doppelt bewertet; daher stammte kein Ergebnis aus der Auswahl des besseren von zwei Versuchen.

Eine siebzigste Aufgabe, ein Playbook zur Anfragebearbeitung, wird hier in allen Zahlen weggelassen. Ihre Eingabedatei fehlte zur Laufzeit, und nur ein Setup erzeugte jemals eine Datei dafür. Zählt man jeden Neustart, benötigten 83 der 759 Läufe mit Nutzungsaufzeichnungen mehr als einen Versuch.

Wie die Prüfungen und Bewerter funktionieren

Deterministische Prüfungen laufen zuerst, und kein Bewerter sieht eine Datei, die sie nicht besteht: Spaltensatz und Zeilenanzahl, RFC 4180-Parsing,²

Integer-Formatierung, keine leeren Zellen, keine doppelten Zeilen und die Sortierreihenfolge, wo die Aufgabe eine verlangt.

Eine Datei, die Prüfung nicht besteht, erhält null Punkte, statt verworfen zu werden. DeepSeek V4 Flash scheiterte bei 6 seiner 69 Dateien, Inkling Small bei 2, MiniMax M3 und GPT 5.6 Terra bei jeweils einer. Entfernt man jede Aufgabe, bei der irgendein Setup scheiterte, bleiben die beiden Spitzenreiter unverändert.

Die 1.094 Dateien, die bestanden, gingen an zwei Bewerter: GPT 5.6 Sol über die Codex-CLI und Claude Opus 5 über die Claude-Code-CLI, beide mit hohem Reasoning-Aufwand und Live-Webzugriff.

Jede Spalte der Datei geht an einen eigenen Subagenten, der die Antworten dieser Spalte von jedem Modell sieht und sonst nichts, unter anonymen Zeilen-IDs, die für jeden Bewerter separat gemischt werden. Der Bewerter ordnet diese Antworten im Vergleich zueinander ein und kann keine zwei als gleich einstufen. Die beiden Ranglisten werden dann kombiniert, indem die Position jeder Antwort bei jedem Bewerter addiert wird. Das ergab 90.530 Scores.

Bei sichtbaren Modellnamen stufte Sol GPT-Antworten um 8.4 Perzentile höher ein als Opus, und Opus stufte Anthropic-Antworten um 4.9 Perzentile höher ein als Sol. Anonymisierung beseitigt den Effekt nicht. Die Läufe hinter dieser Bestenliste wurden anonymisiert, und jeder Bewerter setzte dennoch das Setup seines eigenen Unternehmens an die erste Stelle.

Wie die Bewertung funktioniert

Die Punktzahl eines Modells ist die Summe seiner Spaltendurchschnitte, neu skaliert, sodass die höchstmögliche Gesamtsumme 100 beträgt. Diese Obergrenze hängt davon ab, wie viele Modelle die Prüfungen bestanden haben, weshalb diese Werte nur innerhalb dieses Benchmarks vergleichbar sind und sonst nirgendwo.

Um zu testen, wie stark die Rangfolge von der Aufgabenauswahl abhängt, haben wir die Bestenliste 4.000 Mal neu bewertet, jedes Mal mit einer zufälligen Neuauswahl der 69 Aufgaben. Das misst nur die Aufgabenempfindlichkeit. Es misst nicht, wie stark eine erneute Ausführung derselben Aufgabe eine Punktzahl verändern würde, da keine Aufgabe zweimal bewertet wurde.

Das schwerste Viertel sind die 17 Aufgaben mit der niedrigsten Durchschnittspunktzahl über alle 16 Setups hinweg. Diese Regel wurde festgelegt, bevor die Position eines Modells bei diesen Aufgaben berechnet wurde.

Zwölf der 13 Modelle erscheinen auch in den obigen Benchmarks. Ihre Ergebnisse lassen sich nicht übertragen, da jeder Benchmark seine eigene Skala festlegt.

Jede Punktzahl hier ist eine Position relativ zu den Modellen, gegen die sie angetreten ist; daher würde das Entfernen eines Setups alle übrigen neu bewerten, statt einen Balken zu entfernen. Qwen 3.8 Max läuft nur in diesem Benchmark und bleibt aus diesem Grund im Diagramm.

FAQs

Zitieren Sie diesen Benchmark

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{kalelioglu2026,
  author = {Kalelioğlu, Berk},
  title  = {{AIM Enterprise: Agentischer Unternehmens-Benchmark}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/agentic-enterprise}},
  note   = {AIMultiple. Abgerufen am 24. August 2026}
}

Referenzlinks

1.

Process Frameworks | APQC

2.

RFC 4180: Common Format and MIME Type for Comma-Separated Values (CSV) Files | RFC Editor

Berk Kalelioğlu

KI-Forscher

Folgen auf

Berk ist KI-Forscher im Benchmark-Team von AIMultiple und konzentriert sich auf agentische KI, maschinelles Lernen sowie große und kleine Sprachmodelle (LLMs und SLMs).

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten