Dienstleistungen
Kontaktieren

LLM Benchmarks

Ein transparenter Intelligenz-Index, der öffentliche Benchmarks mit AIMultiples eigenen agentischen, RAG- und Enterprise-Reasoning-Bewertungen kombiniert. Zur Methodik.

TOP-MODELL
Claude Opus 5
Index 86
Bestes Preis-Leistungs-Verhältnis
DeepSeek V4 Flash 0731
$0.11 / 1M
Am schnellsten
Trinity Large Thinking
0.12s TTFT
Abdeckung
151 Modelle
12 Benchmarks · 697 Bewertungsläufe
AIMultiple Intelligenz-Index

Bestenliste

Die am höchsten bewerteten Modelle über alle Benchmarks hinweg.

Filter & Sort
#
Modell
Index
Agentic RAG
ARC-AGI-1
ARC-AGI-2
ArxivMath
CritPt
FinanceReasoning
FrontierMath
LegalBench
MMMU-Pro
Terminal-Bench 2.1
Terminal-Bench Hard
Text-to-SQL
1
Claude Opus 5
Claude Opus 5
Anthropic
86
-989091299073878589--
2
GPT-5.6 Sol
GPT-5.6 Sol
OpenAI
81
879893-329083878389-74
3
Claude Fable 5
Claude Fable 5
Anthropic
79
989989792990888981856390
4
GPT-5.6 Terra
GPT-5.6 Terra
OpenAI
67
919784-308771858187-71
5
Claude Opus 4.8
Claude Opus 4.8
Anthropic
66
100937271-89568479855877
6
Claude Fable 5.1
Claude Fable 5.1
Anthropic
66
-9890-31-8889-91--
7
Gemini 3.7 Flash
Gemini 3.7 Flash
Google
62
-9685-14-37878686--
8
GPT-5.5 Pro
GPT-5.5 Pro
OpenAI
62
-9785-31-78-----
9
Kimi K3
Kimi K3
Moonshot AI
61
939560-238839868285-77
10
GPT-5.6 Sol Pro
GPT-5.6 Sol Pro
OpenAI
60
96----9181----79
Seite 1 von 16

Kosten$10.00
Latenz3.83s
Kontext1M
TTFT3.83s
ARC-AGI-1
98
ARC-AGI-2
90
ArxivMath
91
CritPt
29
FinanceReasoning
90
FrontierMath
73
LegalBench
87
MMMU-Pro
85
Terminal-Bench 2.1
89

Kosten$8.00
Latenz4.43s
Kontext1M
TTFT4.43s
Agentic RAG
87
ARC-AGI-1
98
ARC-AGI-2
93
CritPt
32
FinanceReasoning
90
FrontierMath
83
LegalBench
87
MMMU-Pro
83
Terminal-Bench 2.1
89
Text-to-SQL
74

Kosten$20.00
Latenz5.28s
Kontext1M
TTFT5.28s
Agentic RAG
98
ARC-AGI-1
99
ARC-AGI-2
89
ArxivMath
79
CritPt
29
FinanceReasoning
90
FrontierMath
88
LegalBench
89
MMMU-Pro
81
Terminal-Bench 2.1
85
Terminal-Bench Hard
63
Text-to-SQL
90

Kosten$4.50
Latenz1.92s
Kontext1M
TTFT1.92s
Agentic RAG
91
ARC-AGI-1
97
ARC-AGI-2
84
CritPt
30
FinanceReasoning
87
FrontierMath
71
LegalBench
85
MMMU-Pro
81
Terminal-Bench 2.1
87
Text-to-SQL
71

Kosten$10.00
Latenz4.53s
Kontext1M
TTFT4.53s
Agentic RAG
100
ARC-AGI-1
93
ARC-AGI-2
72
ArxivMath
71
FinanceReasoning
89
FrontierMath
56
LegalBench
84
MMMU-Pro
79
Terminal-Bench 2.1
85
Terminal-Bench Hard
58
Text-to-SQL
77

Kosten$20.00
Latenz5.44s
Kontext1M
TTFT5.44s
ARC-AGI-1
98
ARC-AGI-2
90
CritPt
31
FrontierMath
88
LegalBench
89
Terminal-Bench 2.1
91

Kosten$1.50
Latenz6.05s
Kontext1M
TTFT6.05s
ARC-AGI-1
96
ARC-AGI-2
85
CritPt
14
FrontierMath
37
LegalBench
87
MMMU-Pro
86
Terminal-Bench 2.1
86

Kosten$33.75
Latenz3.65s
Kontext1M
TTFT3.65s
ARC-AGI-1
97
ARC-AGI-2
85
CritPt
31
FrontierMath
78

Kosten$5.44
Latenz0.93s
Kontext1M
TTFT0.93s
Agentic RAG
93
ARC-AGI-1
95
ARC-AGI-2
60
CritPt
23
FinanceReasoning
88
FrontierMath
39
LegalBench
86
MMMU-Pro
82
Terminal-Bench 2.1
85
Text-to-SQL
77

Kosten$2.00
Latenz10.25s
Kontext1M
TTFT10.25s
Agentic RAG
96
FinanceReasoning
91
FrontierMath
81
Text-to-SQL
79
Seite 1 von 16
Entwicklung im Zeitverlauf
Intelligenz-Index nach Modell-Veröffentlichungsdatum
Kosten vs. Leistung
Gemischte Kosten im Verhältnis zum Intelligenz-Index
Modell × Benchmark
Top-Modelle bei ausgewählten Benchmarks
Methodik

Wie der Index aufgebaut ist

Jeder Benchmark wird zu einer Position auf einer Skala von 0-100, und der Index ist der gewichtete Durchschnitt dieser Positionen. Ein Benchmark, für den ein Modell nicht getestet wurde, zählt als Feldmittelwert, damit die Punktzahlen vergleichbar bleiben. Index = Terminal-Bench-Science (14%) + FrontierMath (12%) + Frontier-Bench (12%) + ArxivMath (10%) + MMMU-Pro (9%) + ARC-AGI-2 (8%) + CritPt (6%) + FinanceReasoning (5%) + Text-to-SQL (5%) + BioMysteryBench (5%) + ARC-AGI-1 (5%) + Terminal-Bench 2.1 (3%) + Agentic RAG (3%) + Terminal-Bench Hard (2%) + LegalBench (1%).

AIMultiple
Agentic RAGMulti-Datenbank-Routing und SQL-Abfragegenerierung über 5 Datenbanken hinweg (BIRD-SQL, 500 Fragen).
Öffentlich
ARC-AGI-1Abstraktes Schlussfolgern mit wenigen Beispielen uber Gittertransformationen; der erste ARC-Prize-Benchmark.
Öffentlich
ARC-AGI-2Neuartige visuelle Denkaufgaben, die Generalisierung statt Auswendiglernen prüfen.
Öffentlich
ArxivMathAktuelle arXiv-Mathematikprobleme, kurz nach Veroffentlichung ausgefuhrt, um Kontamination zu begrenzen.
Öffentlich
BioMysteryBenchAnthropics Benchmark dazu, ob KI-Agenten echte bioinformatische Ratsel aus Rohdaten losen konnen.
Öffentlich
CritPtPhysikprobleme auf Forschungsniveau, die mehrstufige Herleitungen erfordern.
AIMultiple
FinanceReasoningKomplexes mehrstufiges Finanzdenken anhand von 238 schwierigen FinanceReasoning-Fragen.
Öffentlich
Frontier-BenchAgentische Softwareaufgaben auf aktuellen Repositories, bewertet nach Losungsquote.
Öffentlich
FrontierMathUnveröffentlichte, von Experten verfasste mathematische Forschungsprobleme (Stufen 1–4).
Öffentlich
LegalBenchCrowdsourcing-basiertes juristisches Denken in 162 von Rechtspraktikern erstellten Aufgaben.
Öffentlich
MMMU-ProMultimodales Verstandnis auf Hochschulniveau uber Facher hinweg, gehartet gegen reine Textabkurzungen.
Öffentlich
Terminal-Bench 2.1Agentische Terminalaufgaben aus Softwareentwicklung, Daten und Systemadministration.
Öffentlich
Terminal-Bench HardDie schwere Teilmenge von Terminal-Bench: mehrstufige Softwareaufgaben in einem echten Terminal.
Öffentlich
Terminal-Bench-ScienceTerminalaufgaben aus realen wissenschaftlichen Rechen-Workflows.
AIMultiple
Text-to-SQLGenauigkeit der SQL-Abfragegenerierung aus natürlicher Sprache über mehr als 35 LLMs hinweg.
Aktuelle Updates

Aktuelle Updates

Neueste Änderungen am Intelligenz-Index, an der Modellabdeckung und an der AIMultiple-Benchmark-Methodik.

Google

Gemini 3.8 Flash

Neues Modell zum AIMultiple Intelligenz-Index hinzugefügt.

Anthropic

Claude Fable 5.1

Neues Modell zum AIMultiple Intelligenz-Index hinzugefügt.

Tencent

Hy4 preview

Neues Modell zum AIMultiple Intelligenz-Index hinzugefügt.

Z AI

GLM 5.3 Flash

Neues Modell zum AIMultiple Intelligenz-Index hinzugefügt.

Zeitleiste der KI-ModellveröffentlichungenLetzte 12 Modelle in 20 Tagen

Wichtige KI-Modellveröffentlichungen führender Anbieter der letzten 20 Tage.

Anbieter
OpenAI
OpenAI
04 Sep 2026
GPT-6 Astra +1 weitereGPT-6 AstraGPT-6 Astra Pro
Alibaba Cloud
Alibaba Cloud
26 Aug 2026
Qwen3.8 Flash
03 Sep 2026
Qwen3.8 Max (0902)
Google
Google
02 Sep 2026
Gemini 3.8 Flash
Meta
Meta
21 Aug 2026
Muse Spark 1.2 Contributor
02 Sep 2026
Muse Spark 1.3 +1 weitereMuse Spark 1.3Muse Spark 1.3 Contributor
Anthropic
Anthropic
01 Sep 2026
Claude Fable 5.1
Tencent
Tencent
28 Aug 2026
Hy4 preview
Z AI
Z AI
18 Aug 2026
GLM 5.3
26 Aug 2026
GLM 5.3 Flash

LLM Anwendungsfälle, Analysen & Benchmarks erkunden

Benchmark von 40+ LLMs im Finanzwesen: Claude Fable 5 & GPT-5.6 Sol

LLM
Benchmark
14. Aug

Wir haben 40+ LLMs im Finanzwesen anhand von 238 schwierigen Fragen aus dem FinanceReasoning-Benchmark evaluiert, um herauszufinden, welche Modelle bei komplexen Finanzlogik-Aufgaben wie Bilanzanalyse, Prognosen und Kennzahlenberechnungen hervorragend sind. Wir haben LLMs auf 238 schwierigen Fragen aus dem FinanceReasoning-Benchmark (Tang et al.) evaluiert.1 Diese Untergruppe zielt auf die anspruchsvollsten Finanzlogik-Aufgaben ab und bewertet komplexe, mehrstufige…

Mehr lesen
LLM
Benchmark
12. Aug

LLM Latenz-Benchmark nach Anwendungsfällen

Wir haben 11 führende große Sprachmodelle mit insgesamt 1.320 Anfragen gebenchmarkt, dabei zwischen Reasoning- und Nicht-Reasoning-Modellen unterschieden und die First-Token-Latenz, die Per-Token-Latenz und die Gesamtantwortzeit gemessen. Details dazu, wie wir die Latenz gemessen haben, finden Sie hier. Wir berichten Reasoning- und Nicht-Reasoning-Modelle getrennt. Reasoning-Modelle verbringen mehrere Sekunden mit Nachdenken vor der ersten sichtbaren Antwort; daher…

LLM
Benchmark
11. Aug

Agentic IT: Can LLMs Design a Benchmark

We gave 12 large language models the job a benchmark team does: invent a benchmark, build it, run four models through it, and report the results. Each did it twice. None of the 24 attempts passed every criterion, and six of the rubric’s checks were passed by none of them. The two topics are text-to-SQL,…

LLM
Benchmark
4. Aug

Vergleichen Sie multimodale KI-Modelle im visuellen Schlussfolgern

Wir haben 15 führende multimodale KI-Modelle im visuellen Schlussfolgern mit 200 visuellen Fragen getestet. Die Evaluierung bestand aus zwei Bereichen: 100 Fragen zum Diagrammverständnis, die Interpretation von Datenvisualisierungen testen, und 100 Fragen zur visuellen Logik, die Mustererkennung und räumliches Denken bewerten. Jede Frage wurde 5‑mal ausgeführt, um konsistente und zuverlässige Ergebnisse zu gewährleisten. Sehen…

LLM
Benchmark
2. Aug

KI-Gateways für OpenAI: OpenRouter Alternativen

Wir haben OpenRouter, SambaNova, TogetherAI, Groq und KI/ML API anhand von drei Indikatoren (First-Token-Latenz, Gesamtlatenz und Anzahl der Ausgabe-Tokens) mit 300 Tests verglichen, wobei kurze Prompts (ca. 18 Tokens) und lange Prompts (ca. 203 Tokens) für die Gesamtlatenz verwendet wurden. Wenn Sie planen, eines dieser KI-Gateways zu verwenden, können Sie: In diesem Benchmark haben wir…

LLM
Benchmark
5. Jun

LLM in der Cybersicherheit

Wir haben 7 große Sprachmodelle in 9 Cyberbereichen mit SecBench evaluiert, einem groß angelegten und mehrformatigen Benchmark für Sicherheitstasks. Wir haben jedes Modell an 44.823 Multiple-Choice-Fragen (MCQs) und 3.087 Kurzantwort-Fragen (SAQs) getestet, die Bereiche wie Datensicherheit, Identitäts- und Zugriffsverwaltung, Netzwerksicherheit, Schwachstellenmanagement und Cloud-Sicherheit abdecken. Diese großen Sprachmodelle wurden nicht ausschließlich auf Cybersicherheitsdaten trainiert, können aber…

LLM
Benchmark
15. Apr

LLM Quantisierung: BF16 vs FP8 vs INT4

Wir haben Qwen3-32B auf 4 Genauigkeitsstufen (BF16, FP8, GPTQ-Int8, GPTQ-Int4) auf einer einzelnen NVIDIA H100 80GB GPU getestet. Jede Konfiguration wurde auf 2 Benchmarks (~12,2K Fragen) bewertet, die Wissen und Code-Generierung abdecken, sowie auf 2.000+ Inferenzläufen zur Messung des Durchsatzes. Int4 ist 2,7-mal schneller als BF16, verliert jedoch weniger als 2 Punkte auf MMLU-Pro, während…