LLM Benchmarks

Ein transparenter Intelligenz-Index, der öffentliche Benchmarks mit AIMultiples eigenen agentischen, RAG- und Enterprise-Reasoning-Bewertungen kombiniert.

Zuletzt aktualisiert Jun 2026

Methodik

TOP-MODELL

Claude Fable 5

Index 92

Bestes Preis-Leistungs-Verhältnis

MiniMax M3

$0.42 / 1M

Am schnellsten

GPT OSS 120B

0.19s TTFT

Abdeckung

64 Modelle

8 Benchmarks · 336 Bewertungsläufe

AIMultiple Intelligenz-Index

Bestenliste

Die am höchsten bewerteten Modelle über alle Benchmarks hinweg.

#	Modell	Index	LegalBench	FinanceReasoning	Text-to-SQL	Agentic RAG	ARC-AGI-2	Agentic LLM Benchmark	FrontierMath	Swe-Bench
1	Claude Fable 5 Anthropic	92	89	90	90	98	-	69	-	-
2	Kimi K3 Moonshot AI	88	86	88	77	93	-	73	-	-
3	GPT-5.6 Sol OpenAI	87	87	90	74	87	93	62	-	-
4	Grok 4.5 X	86	86	88	79	83	-	73	-	-
5	GPT-5.5 OpenAI	83	87	-	-	-	85	59	-	-
6	GPT-5.6 Terra OpenAI	80	85	87	71	91	84	61	-	-
7	GPT-5.6 Sol Pro OpenAI	80	-	91	79	96	-	54	-	-
8	Claude Opus 4.6 Anthropic	78	-	88	68	80	69	72	-	-
9	Gemini 3 Pro Preview Google	77	87	86	60	89	31	-	-	-
10	Gemini 3.1 Pro Preview Google	77	87	87	65	89	77	46	27	-
Seite 1 von 7

Kosten$20.00

Latenz3.98s

Kontext1M

TTFT3.98s

LegalBench

FinanceReasoning

Text-to-SQL

Agentic RAG

Agentic LLM Benchmark

Kosten$6.00

Latenz252.11s

Kontext1M

TTFT252.11s

LegalBench

FinanceReasoning

Text-to-SQL

Agentic RAG

Agentic LLM Benchmark

Kosten$11.25

Latenz2.47s

Kontext1M

TTFT2.47s

LegalBench

FinanceReasoning

Text-to-SQL

Agentic RAG

ARC-AGI-2

Agentic LLM Benchmark

Kosten$3.00

Latenz10.26s

Kontext500k

TTFT10.26s

LegalBench

FinanceReasoning

Text-to-SQL

Agentic RAG

Agentic LLM Benchmark

Kosten$11.25

Latenz1.03s

Kontext272k

TTFT1.03s

LegalBench

ARC-AGI-2

Agentic LLM Benchmark

Kosten$5.63

Latenz1.92s

Kontext1M

TTFT1.92s

LegalBench

FinanceReasoning

Text-to-SQL

Agentic RAG

ARC-AGI-2

Agentic LLM Benchmark

Kosten$11.25

Latenz11.46s

Kontext1M

TTFT11.46s

FinanceReasoning

Text-to-SQL

Agentic RAG

Agentic LLM Benchmark

Kosten$10.00

Latenz1.75s

Kontext1M

TTFT1.75s

FinanceReasoning

Text-to-SQL

Agentic RAG

ARC-AGI-2

Agentic LLM Benchmark

Kosten$4.50

Latenz-

Kontext1M

TTFT

LegalBench

FinanceReasoning

Text-to-SQL

Agentic RAG

ARC-AGI-2

Kosten$4.50

Latenz33.83s

Kontext1M

TTFT33.83s

LegalBench

FinanceReasoning

Text-to-SQL

Agentic RAG

ARC-AGI-2

Agentic LLM Benchmark

FrontierMath

Seite 1 von 7

Diagramme

Folgt den Modellen mit der besten Performance

Entwicklung im Zeitverlauf

Intelligenz-Index nach Modell-Veröffentlichungsdatum

Kosten vs. Leistung

Gemischte Kosten im Verhältnis zum Intelligenz-Index

Modell × Benchmark

Top-Modelle bei ausgewählten Benchmarks

Methodik

Wie der Index aufgebaut ist

Der Intelligenz-Index normalisiert jeden Benchmark auf eine Skala von 0-100 und mittelt die relative Position eines Modells über die Benchmarks, für die es bewertet wurde. Jeder unten aufgeführte Benchmark fließt in diese Punktzahl ein.

AIMultiple

FinanceReasoningWe evaluated LLMs on 238 hard questions from the FinanceReasoning benchmark (Hendrycks et al.). This subset targets the most challenging financial reasoning tasks, assessing complex multi-step quantitative reasoning with financial concepts and formulas. Our evaluation employed a custom prompt design and scoring criteria of accuracy and token consumption.

AIMultiple

Text-to-SQLWe used our text-to-SQL benchmark methodology on 24 large language models (LLMs) to assess their performance in SQL command generation:

AIMultiple

Agentic RAGWe conducted a benchmark to assess its performance on routing between multiple databases and generating queries.

AIMultiple

AI MemoryWe benchmarked 11 leading text embedding models, including those from OpenAI, Gemini, Cohere, Snowflake, AWS, Mistral, and Voyage AI, using ~500,000 Amazon reviews. We evaluated each model’s ability to retrieve and rank the correct answer first:

AIMultiple

AI HallucinationWe benchmarked 29 different LLMs with 60 questions to measure their hallucination rates

Öffentlich

Humanity's Last ExamAGI

FrontierMathIntelligence

Agentic LLM BenchmarkAgentic LLM Benchmark

Aktuelle Updates

Neueste Änderungen am Intelligenz-Index, an der Modellabdeckung und an der AIMultiple-Benchmark-Methodik.

16. Juli 2026

Moonshot AI

Kimi K3

Neues Modell zum AIMultiple Intelligenz-Index hinzugefügt.

9. Juli 2026

OpenAI

GPT-5.6 Sol

Neues Modell zum AIMultiple Intelligenz-Index hinzugefügt.

9. Juli 2026

OpenAI

GPT-5.6 Terra

Neues Modell zum AIMultiple Intelligenz-Index hinzugefügt.

9. Juli 2026

OpenAI

GPT-5.6 Sol Pro

Neues Modell zum AIMultiple Intelligenz-Index hinzugefügt.

LLM Anwendungsfälle, Analysen & Benchmarks erkunden

Zielgruppensimulation: Können LLMs menschliches Verhalten vorhersagen?

LLM

Benchmark

22. Jun

Im Marketing ist die Frage, wie genau LLMs menschliches Verhalten vorhersagen, entscheidend, um ihre Wirksamkeit bei der Antizipation von Zielgruppenbedürfnissen zu beurteilen und die Risiken von Fehlausrichtungen, ineffektiver Kommunikation oder unbeabsichtigter Beeinflussung zu erkennen. Die Zielgruppensimulation mit LLMs ermöglicht die Modellierung virtueller Zielgruppen und hilft Organisationen dabei, Reaktionen auf Inhalte oder Produkte vorherzusehen, ohne auf…

KI-Gateways für OpenAI: OpenRouter Alternativen

Wir haben OpenRouter, SambaNova, TogetherAI, Groq und die KI/ML API anhand von drei Indikatoren verglichen (Latenz bis zum ersten Token, Gesamtlatenz und Anzahl der Ausgabe-Tokens), mit 300 Tests unter Verwendung von kurzen Prompts (ca. 18 Tokens) und langen Prompts (ca. 203 Tokens) für die Gesamtlatenz. Wenn Sie planen, eines dieser KI-Gateways zu nutzen, können Sie:…

LLM

Benchmark

5. Jun

LLM in der Cybersicherheit

Wir haben 7 große Sprachmodelle in 9 Cyberbereichen mit SecBench evaluiert, einem groß angelegten und mehrformatigen Benchmark für Sicherheitstasks. Wir haben jedes Modell an 44.823 Multiple-Choice-Fragen (MCQs) und 3.087 Kurzantwort-Fragen (SAQs) getestet, die Bereiche wie Datensicherheit, Identitäts- und Zugriffsverwaltung, Netzwerksicherheit, Schwachstellenmanagement und Cloud-Sicherheit abdecken. Diese großen Sprachmodelle wurden nicht ausschließlich auf Cybersicherheitsdaten trainiert, können aber…

LLM

Einblick

26. Mai

ChatGPT für den Kundenservice: Top 10 Anwendungsfälle

ChatGPT hat sich im Kundenservice von einer Neuheit zu einer Infrastruktur entwickelt. Unternehmen nutzen es, um Reaktionszeiten zu verkürzen, Volumen zu bewältigen, das ihre Teams nicht absorbieren können, und die Kosten für Routineinteraktionen zu senken. Die Ergebnisse variieren jedoch stark, je nachdem, wie es implementiert wird. OpenAI hat GPT-5.2 veröffentlicht, ein deutlich leistungsfähigeres Modell, das…

LLM

Benchmark

15. Apr

LLM Quantisierung: BF16 vs FP8 vs INT4

Wir haben Qwen3-32B auf 4 Genauigkeitsstufen (BF16, FP8, GPTQ-Int8, GPTQ-Int4) auf einer einzelnen NVIDIA H100 80GB GPU getestet. Jede Konfiguration wurde auf 2 Benchmarks (~12,2K Fragen) bewertet, die Wissen und Code-Generierung abdecken, sowie auf 2.000+ Inferenzläufen zur Messung des Durchsatzes. Int4 ist 2,7-mal schneller als BF16, verliert jedoch weniger als 2 Punkte auf MMLU-Pro, während…

1 2 3

LLM Benchmarks

Bestenliste

Claude Fable 5Anthropic92Index

Kimi K3Moonshot AI88Index

GPT-5.6 SolOpenAI87Index

Grok 4.5X86Index

GPT-5.5OpenAI83Index

GPT-5.6 TerraOpenAI80Index

GPT-5.6 Sol ProOpenAI80Index

Claude Opus 4.6Anthropic78Index

Gemini 3 Pro PreviewGoogle77Index

Gemini 3.1 Pro PreviewGoogle77Index

Diagramme

Wie der Index aufgebaut ist

Aktuelle Updates

Kimi K3

GPT-5.6 Sol

GPT-5.6 Terra

GPT-5.6 Sol Pro

LLM Anwendungsfälle, Analysen & Benchmarks erkunden

Zielgruppensimulation: Können LLMs menschliches Verhalten vorhersagen?

KI-Gateways für OpenAI: OpenRouter Alternativen

LLM in der Cybersicherheit

ChatGPT für den Kundenservice: Top 10 Anwendungsfälle

LLM Quantisierung: BF16 vs FP8 vs INT4