LLM Benchmarks
Ein transparenter Intelligenz-Index, der öffentliche Benchmarks mit AIMultiples eigenen agentischen, RAG- und Enterprise-Reasoning-Bewertungen kombiniert.
Bestenliste
Die am höchsten bewerteten Modelle über alle Benchmarks hinweg.
# | Modell | Index | LegalBench | FinanceReasoning | Text-to-SQL | Agentic RAG | ARC-AGI-2 | Agentic LLM Benchmark | FrontierMath | Swe-Bench |
|---|---|---|---|---|---|---|---|---|---|---|
| 1 |  Claude Fable 5 Anthropic | 92 | 89 | 90 | 90 | 98 | - | 69 | - | - |
| 2 |  Kimi K3 Moonshot AI | 88 | 86 | 88 | 77 | 93 | - | 73 | - | - |
| 3 |  GPT-5.6 Sol OpenAI | 87 | 87 | 90 | 74 | 87 | 93 | 62 | - | - |
| 4 |  Grok 4.5 X | 86 | 86 | 88 | 79 | 83 | - | 73 | - | - |
| 5 | GPT-5.5 OpenAI | 83 | 87 | - | - | - | 85 | 59 | - | - |
| 6 | GPT-5.6 Terra OpenAI | 80 | 85 | 87 | 71 | 91 | 84 | 61 | - | - |
| 7 | GPT-5.6 Sol Pro OpenAI | 80 | - | 91 | 79 | 96 | - | 54 | - | - |
| 8 | Claude Opus 4.6 Anthropic | 78 | - | 88 | 68 | 80 | 69 | 72 | - | - |
| 9 |  Gemini 3 Pro Preview Google | 77 | 87 | 86 | 60 | 89 | 31 | - | - | - |
| 10 | Gemini 3.1 Pro Preview Google | 77 | 87 | 87 | 65 | 89 | 77 | 46 | 27 | - |
Seite 1 von 7 | ||||||||||
Diagramme
Folgt den Modellen mit der besten Performance
Wie der Index aufgebaut ist
Der Intelligenz-Index normalisiert jeden Benchmark auf eine Skala von 0-100 und mittelt die relative Position eines Modells über die Benchmarks, für die es bewertet wurde. Jeder unten aufgeführte Benchmark fließt in diese Punktzahl ein.
Aktuelle Updates
Neueste Änderungen am Intelligenz-Index, an der Modellabdeckung und an der AIMultiple-Benchmark-Methodik.
Kimi K3
Neues Modell zum AIMultiple Intelligenz-Index hinzugefügt.
GPT-5.6 Sol
Neues Modell zum AIMultiple Intelligenz-Index hinzugefügt.
GPT-5.6 Terra
Neues Modell zum AIMultiple Intelligenz-Index hinzugefügt.
GPT-5.6 Sol Pro
Neues Modell zum AIMultiple Intelligenz-Index hinzugefügt.
LLM Anwendungsfälle, Analysen & Benchmarks erkunden
LLM Preisgestaltung: Top 15+ Anbieter im Vergleich
API-Preise ändern sich mit jeder Modellgeneration. Das folgende Diagramm zeigt jedes Modell zum Zeitpunkt seiner Markteinführung, zeigt seinen Listenpreis pro Million Token, verwendet ein gemischtes Verhältnis von 3:1 Input zu Output und gruppiert die Modelle in acht Größenklassen. Die Preise sind Standard-API-Tarife ohne Cache- oder Batch-Rabatte, und die y-Achse ist logarithmisch. Es gibt zwei Möglichkeiten,…
Text-to-SQL: Vergleich der Genauigkeit von LLMs
Ich verlasse mich seit 18 Jahren auf SQL für die Datenanalyse, begonnen in meiner Zeit als Berater. Die Übersetzung von natürlichsprachlichen Fragen in SQL macht Daten zugänglicher und ermöglicht es jedem, auch Personen ohne technische Kenntnisse, direkt mit Datenbanken zu arbeiten. Wir haben unsere Benchmark-Methodik für Text-to-SQL auf über 35 große Sprachmodelle (LLMs) angewendet, um…
LLM-Feintuning-Leitfaden für Unternehmen
Folgen Sie den Links für die spezifischen Lösungen zu Ihren LLM-Ausgabeherausforderungen. Wenn Ihr LLM: Die weite Verbreitung von Large Language Models (LLMs) hat unsere Fähigkeit verbessert, menschliche Sprache zu verarbeiten. Ihr generisches Training führt jedoch oft zu suboptimaler Leistung bei spezifischen Aufgaben. Um diese Einschränkung zu überwinden, werden Feintuning-Methoden eingesetzt, um LLMs an die einzigartigen…
LLM Observability-Tools: Weights & Biases, Langsmith
LLM-Anwendungen haben sich von Single-Turn-Chats zu mehrstufigen Agenten entwickelt, die Tools verwenden, Datenbanken abfragen und sich mit anderen Modellen koordinieren, was ihr Verhalten schwerer interpretierbar macht. LLM-Observability bietet kontinuierliche Einblicke in diese komplexen Workflows und hilft Unternehmen, die Qualität zu überwachen, Ausfälle zu erkennen, Probleme zu beheben sowie Leistung und Kosten zu managen. W&B Weave…
LLM VRAM-Rechner für Selbsthosting
Einen LLM selbst zu hosten bedeutet, die Inferenz auf Hardware auszuführen, die der Betreiber kontrolliert, anstatt über eine API eines Drittanbieters, was die Kosten, die Datenkontrolle und das Datenschutzprofil verändert. Ob ein Modell überhaupt läuft, hängt vom Speicher ab. Der Rechner schätzt den benötigten VRAM oder vereinheitlichten Speicher, um ein Modell lokal auszuführen, basierend auf…
Benchmark von 40+ LLMs im Finanzwesen: Claude Fable 5 & GPT-5.6 Sol
Wir haben 40+ LLMs im Finanzwesen anhand von 238 schwierigen Fragen aus dem FinanceReasoning-Benchmark evaluiert, um herauszufinden, welche Modelle bei komplexen Finanzlogik-Aufgaben wie Bilanzanalyse, Prognosen und Kennzahlenberechnungen hervorragend sind. Wir haben LLMs auf 238 schwierigen Fragen aus dem FinanceReasoning-Benchmark (Tang et al.) evaluiert.1 Diese Untergruppe zielt auf die anspruchsvollsten Finanzlogik-Aufgaben ab und bewertet komplexe, mehrstufige…
LLM-Automatisierung: Top 7 Tools & 8 Fallstudien
LLM-Automatisierung bezeichnet den Wandel hin zu intelligenten Automatisierungstools, die LLMs nutzen, einschließlich KI-Agenten, feinabgestimmten LLMs und RAG-Modellen, um Aufgaben zu automatisieren und zu koordinieren. Erkunden Sie, was LLM-Automatisierung ist, ihre wichtigsten praktischen Anwendungen und die wesentlichen Tools: LLM in der Automatisierung sind ein systematischer Ansatz, der Natural Language Processing (NLP) mit bestehenden Prozessautomatisierungsmethoden kombiniert. Es…
LLM-Latenz-Benchmark nach Anwendungsfällen
Wir haben 11 führende große Sprachmodelle mit insgesamt 1.320 Anfragen einem Benchmark unterzogen, wobei wir zwischen Reasoning- und Nicht-Reasoning-Modellen unterschieden und die Time to First Token, die Latenz pro Token sowie die gesamte Antwortzeit gemessen haben. Details zur Messung der Latenz finden Sie hier. Wir berichten über Reasoning- und Nicht-Reasoning-Modelle getrennt. Reasoning-Modelle verbringen mehrere Sekunden…
HALC-Bench: LLM Halluzination bei Langkontext-Retrieval-Benchmark
HALC-Bench (LLM Halluzination bei Langkontext-Retrieval-Benchmark) misst die Beständigkeit eines großen Sprachmodells gegenüber der Erfindung von Belegen für eine Metrik, die im Zieldokument nicht existiert, indem 3 Heuhaufen am Anfang, in der Mitte und am Ende des Kontextfensters des Modells platziert werden, mit 204 Fragen. claude-fable-5 beantwortete alle 204 Fallen an jeder Heuhaufenposition korrekt. Unter den…
Intelligenzdichte von 71 LLMs: Intelligentere und dichtere Modelle
Wir haben 71 LLMs verfolgt, die zwischen Februar 2023 und Mai 2026 veröffentlicht wurden, und 10 öffentliche Benchmarks gesammelt, um die Intelligenzdichte zu messen. Wir haben den Fähigkeitswert durch die vom Modell verbrauchten Ressourcen (aktive Parameter, Trainingsrechenleistung und Inferenzpreis) dividiert. Um die Intelligenzdichte zu berechnen, haben wir die folgenden Schritte ausgeführt: Siehe Methodik für den…