AIM LLM Index

AIM-Agentic-RAGMulti-Datenbank-Routing und SQL-Abfragegenerierung über 5 Datenbanken hinweg (BIRD-SQL, 500 Fragen).

AIM-AI-BiasPer model per question per repetition bias evaluation results across 64 questions in both multiple choice and open ended formats, 27 models in the multiple choice condition and 26 in the open ended condition

AIM-FinanceReasoningKomplexes mehrstufiges Finanzdenken anhand von 238 schwierigen FinanceReasoning-Fragen.

AIM-Text-to-SQLGenauigkeit der SQL-Abfragegenerierung aus natürlicher Sprache über mehr als 35 LLMs hinweg.

CritPtPhysikprobleme auf Forschungsniveau, die mehrstufige Herleitungen erfordern.

FrontierMathUnveröffentlichte, von Experten verfasste mathematische Forschungsprobleme (Stufen 1–4).

MMMU-ProMultimodales Verstandnis auf Hochschulniveau uber Facher hinweg, gehartet gegen reine Textabkurzungen.

SciCodeWissenschaftliches Programmieren auf Forschungsniveau in Physik, Mathematik, Biologie und Chemie (338 Teilprobleme)

Terminal-Bench 4.0Die aktuelle Terminal-Bench-Generation: agentische Terminalaufgaben, bewertet nach Losungsquote.

Aktuelle Updates

Neueste Änderungen am AIM LLM Index, an der Modellabdeckung und an der AIMultiple-Benchmark-Methodik.

13. Okt. 2026

Google

Gemini 4 Argon

Neues Modell zum AIM LLM Index hinzugefügt.

12. Okt. 2026

Muse Wonder

Neues Modell zum AIM LLM Index hinzugefügt.

7. Okt. 2026

Anthropic

Claude Haiku 5.5

Neues Modell zum AIM LLM Index hinzugefügt.

29. Sept. 2026

OpenAI

GPT-6.1 Sol

Neues Modell zum AIM LLM Index hinzugefügt.

LLM-VeröffentlichungszeitleisteDas Tempo der KI-Innovation

LLM Anwendungsfälle, Analysen & Benchmarks erkunden

Multimodale KI-Modelle beim visuellen Denken vergleichen

Benchmark

15. Okt

Wir haben 40 führende multimodale KI-Modelle im visuellen Denken anhand von 200 visuellen Fragen einem Benchmark unterzogen. Die Evaluierung bestand aus zwei Tracks: 100 Fragen zum Diagrammverständnis, die Interpretation von Datenvisualisierungen testeten, und 100 Fragen zur visuellen Logik, die Mustererkennung und räumliches Denken bewerteten. Siehe unsere Benchmark-Methodik, um unsere Testverfahren zu erfahren. Jedes Modell…

Große multimodale Modelle (LMMs) vs. LLMs

Bewerten Sie LLMs und LMMs, indem Sie deren Benchmark-Ergebnisse und reale Latenz vergleichen, indem Sie in der folgenden Tabelle auf den Namen des Modells klicken. Sie können außerdem deren Ein- und Ausgabepreise abwägen, um Gesamteffizienz und -wert zu beurteilen. *Audio ist nativ nur bei den Modellen E2B, E4B und 12B. Verfügbar in fünf Größen: E2B,…

10+ Beispiele für große Sprachmodelle

Wir haben Open-Source-Benchmarks zusammengestellt, um führende proprietäre und quelloffene große Sprachmodelle zu vergleichen. Wählen Sie Ihren Anwendungsfall, um das richtige Modell zu finden. Sie können große Sprachmodelle bewerten, indem Sie ihre Benchmark-Leistung und reale Latenz prüfen (verfügbar durch Klicken auf den Namen des jeweiligen Modells in der Tabelle) und ihre Preisgestaltung überprüfen, um die allgemeine…

Funktionsvergleich

Top LLMOps-Tools & Vergleich mit MLOps

LLMOps-Plattformen übernehmen die operative Seite des Betriebs großer Sprachmodelle: Bereitstellung, Überwachung, Evaluierung und Kostenmanagement. Wir haben führende LLMOps-Tools, ihre Kernfunktionen, Preismodelle und ihre Unterschiede untersucht, um die beste Lösung für verschiedene Anwendungsfälle zu identifizieren. Eine Aufschlüsselung der einzelnen Metriken finden Sie unten: LLMOps-Plattformen unterstützen den Lebenszyklus von LLMs durch: LLMOps-Plattformen unterscheiden sich in ihrem Ansatz:…

Benchmark

AIM-Text-to-SQL Benchmark: SQL-Genauigkeit bei über 70 LLMs

SQL-Genauigkeit ist der Prozentsatz der bewerteten Abfragen, die das Referenzergebnis zurückgeben. Falsche Routen und als fehlerhaft markierte Referenzen werden ausgeschlossen. Eine Referenzabfrage ist das SQL, das als erwartete Antwort bereitgestellt wird. Jedes Modell erreicht eine andere Menge an SQL-Fragen, da die Bewertung von seinen Datenbankentscheidungen abhängt. Unterschiede in diesen Teilmengen und im Ausführungsaufbau schränken Vergleiche…

Benchmark

Benchmark von 90+ LLMs im Finanzwesen: Claude Opus 5.5 & Gemini 4 Argon

Der Testsatz ist die schwierige Teilmenge des FinanceReasoning-Benchmarks (Tang et al.) mit 238 Fragen. Die Genauigkeit ist der Prozentsatz der korrekt beantworteten Fragen. Numerische Antworten erhalten eine relative Toleranz von 0,2 %. Output-Tokens sind die Tokens, die über die 238 Antworten hinweg generiert wurden. Eingabetokens werden bei der Kostenberechnung separat gezählt. Die Kosten sind die berechneten…

Open-World-Bewertung

LLM-Orchestrierung: 22 Frameworks und Gateways

Die Optimierung der LLM-Orchestrierung ist entscheidend, um die Leistung zu verbessern und gleichzeitig den Ressourcenverbrauch unter Kontrolle zu halten. Um zu bewerten, wie verschiedene Orchestrierungsansätze in der Praxis abschneiden, haben wir Folgendes benchmarkt: Entdecken Sie ausgewählte LLM-Orchestrierungs-Tools, darunter Entwickler-Frameworks und Enterprise-Gateways: LLM-Orchestrierung umfasst die Verwaltung und Integration mehrerer Large Language Models (LLMs), um komplexe Aufgaben…

Vergleichen Sie GPT-5 Models: Schlussfolgern, Geschwindigkeit & Kosten

Wir untersuchen die Unterschiede zwischen OpenAIs GPT-5-Familie (z. B. GPT-5, GPT-5-mini und GPT-5-nano), indem wir die Benchmark-Leistung und die Kosten für die Durchführung der Benchmarks erfassen. Wir haben in unserer Analyse die GPT-5-Familie verwendet. Wir verwendeten sechs Benchmarks aus verschiedenen Bereichen, darunter Schlussfolgern, Programmieren, Befolgen von Anweisungen und Mathematik. Unsere Analyse ergab: Die drei Models…

13. Okt

LLM-Marktanteil: Nutzung & Akzeptanz im Vergleich

Wir analysierten den LLM-Marktanteil, indem wir nutzungsbasierte Daten und Web-Besuchsschätzungen kombiniert haben, um zu zeigen, wie sich die Nachfrage nach Large Language Models auf KI-Labore und KI-Anwendungen verteilt. Lesen Sie die Methodik, um zu sehen, wie wir diese Ergebnisse gemessen und berechnet haben. Die Vereinigten Staaten dominierten die Web-Besuche in allen vier Monaten und machten…

13. Okt

Die Zukunft der Large Language Models

Sehen Sie die Zukunft der Large Language Models, indem Sie Ansätze wie Selbsttraining, Faktenprüfung und spärliche Expertise vergleichen, die LLM-Einschränkungen beheben könnten. LLMs greifen während Gesprächen auf externe Quellen zu, anstatt sich auf Trainingsdaten zu verlassen. Das Model fragt externe Datenbanken ab, ruft aktuelle Informationen ab und liefert Quellenangaben. Einschränkung: Macht weiterhin Fehler. Quellenangaben garantieren…