LLM Benchmarks

ARC-AGI-1Abstraktes Schlussfolgern mit wenigen Beispielen uber Gittertransformationen; der erste ARC-Prize-Benchmark.

ARC-AGI-2Neuartige visuelle Denkaufgaben, die Generalisierung statt Auswendiglernen prüfen.

ArxivMathAktuelle arXiv-Mathematikprobleme, kurz nach Veroffentlichung ausgefuhrt, um Kontamination zu begrenzen.

BioMysteryBenchAnthropics Benchmark dazu, ob KI-Agenten echte bioinformatische Ratsel aus Rohdaten losen konnen.

CritPtPhysikprobleme auf Forschungsniveau, die mehrstufige Herleitungen erfordern.

AIMultiple

FinanceReasoningKomplexes mehrstufiges Finanzdenken anhand von 238 schwierigen FinanceReasoning-Fragen.

Frontier-BenchAgentische Softwareaufgaben auf aktuellen Repositories, bewertet nach Losungsquote.

FrontierMathUnveröffentlichte, von Experten verfasste mathematische Forschungsprobleme (Stufen 1–4).

LegalBenchCrowdsourcing-basiertes juristisches Denken in 162 von Rechtspraktikern erstellten Aufgaben.

MMMU-ProMultimodales Verstandnis auf Hochschulniveau uber Facher hinweg, gehartet gegen reine Textabkurzungen.

Terminal-Bench 2.1Agentische Terminalaufgaben aus Softwareentwicklung, Daten und Systemadministration.

Terminal-Bench HardDie schwere Teilmenge von Terminal-Bench: mehrstufige Softwareaufgaben in einem echten Terminal.

Terminal-Bench-ScienceTerminalaufgaben aus realen wissenschaftlichen Rechen-Workflows.

AIMultiple

Text-to-SQLGenauigkeit der SQL-Abfragegenerierung aus natürlicher Sprache über mehr als 35 LLMs hinweg.

Aktuelle Updates

Neueste Änderungen am Intelligenz-Index, an der Modellabdeckung und an der AIMultiple-Benchmark-Methodik.

2. Sept. 2026

Google

Gemini 3.8 Flash

Neues Modell zum AIMultiple Intelligenz-Index hinzugefügt.

1. Sept. 2026

Anthropic

Claude Fable 5.1

Neues Modell zum AIMultiple Intelligenz-Index hinzugefügt.

28. Aug. 2026

Tencent

Hy4 preview

Neues Modell zum AIMultiple Intelligenz-Index hinzugefügt.

26. Aug. 2026

Z AI

GLM 5.3 Flash

Neues Modell zum AIMultiple Intelligenz-Index hinzugefügt.

Zeitleiste der KI-ModellveröffentlichungenLetzte 12 Modelle in 19 Tagen

Wichtige KI-Modellveröffentlichungen führender Anbieter der letzten 19 Tage.

OpenAI

04 Sep 2026

GPT-6 Astra +1 weitereGPT-6 AstraGPT-6 Astra Pro

Alibaba Cloud

26 Aug 2026

Qwen3.8 Flash

03 Sep 2026

Qwen3.8 Max (0902)

Google

02 Sep 2026

Gemini 3.8 Flash

LLM Anwendungsfälle, Analysen & Benchmarks erkunden

Vergleichen Sie 9 große Sprachmodelle im Gesundheitswesen

Funktionsvergleich

4. Sep

Wir haben 9 LLMs mithilfe des MedQA-Datasets verglichen, einem Benchmark für klinische Prüfungen auf Graduierten-Niveau, der aus USMLE-Fragen abgeleitet ist. Jedes Model beantwortete dieselben klinischen Multiple-Choice-Szenarien mit einem standardisierten Prompt und ermöglichte so einen direkten Vergleich der Genauigkeit. Wir haben außerdem die Latenz pro Frage erfasst, indem wir die Gesamtlaufzeit durch die Anzahl der abgeschlossenen…

Große multimodale Modelle (LMMs) vs LLMs

Wir haben die Leistung großer multimodaler Modelle (LMMs) bei Aufgaben des finanziellen Denkens anhand eines sorgfältig ausgewählten Datensatzes bewertet. Durch die Analyse einer Teilmenge hochwertiger Finanzbeispiele bewerten wir die Fähigkeiten der Modelle, multimodale Daten im Finanzbereich zu verarbeiten und mit ihnen zu denken. Der Abschnitt zur Methodik bietet detaillierte Einblicke in den verwendeten Datensatz und…

2. Sep

LLM-Skalierungsgesetze: Analyse von KI-Forschern

LLM sagen auf der Grundlage von aus Textdaten gelernten Mustern das nächste Token voraus. Der Begriff LLM-Skalierungsgesetze bezieht sich auf empirische Regelmäßigkeiten, die Modellleistung mit der Menge an Rechenleistung, Trainingsdaten und Modellparametern verknüpfen, die während des Trainings verwendet werden. Um zu verstehen, wie diese Beziehungen das moderne Modelldesign in der Praxis beeinflussen, haben wir…

2. Sep

LLM Observability-Tools: Weights & Biases, Langsmith

LLM-Anwendungen haben sich von Single-Turn-Chats zu mehrstufigen Agenten entwickelt, die Tools verwenden, Datenbanken abfragen und mit anderen Modellen koordinieren, wodurch ihr Verhalten schwieriger zu interpretieren ist. LLM-Observability bietet kontinuierliche Transparenz über diese komplexen Workflows und hilft Unternehmen, die Qualität zu überwachen, Fehler zu erkennen, Probleme zu beheben sowie Leistung und Kosten zu verwalten. W&B Weave…

Funktionsvergleich

2. Sep

Cloud LLM vs. lokale LLMs: Beispiele & Vorteile

Cloud-LLMs, die auf fortschrittlichen Modellen wie GPT-5.5 und Claude Opus 4.7 basieren, bieten Skalierbarkeit und Zugänglichkeit. Umgekehrt gewährleisten lokale LLMs, die auf Open-Source-Modellen wie Llama 4, DeepSeek V4 und Qwen3.6-Plus basieren, stärkeren Datenschutz und Anpassbarkeit. Erkunden Sie, was Cloud-LLMs sind, Stärken und Schwächen, die häufigsten Fallstudien mit Beispielen aus der Praxis und wie sie sich…

Benchmark

Zielgruppensimulation: Können LLMs menschliches Verhalten vorhersagen?

Im Marketing ist die Bewertung, wie genau LLMs menschliches Verhalten vorhersagen, entscheidend für die Beurteilung ihrer Wirksamkeit bei der Antizipation von Zielgruppenbedürfnissen und der Erkennung der Risiken von Fehlausrichtung, ineffektiver Kommunikation oder unbeabsichtigter Beeinflussung. Die Zielgruppensimulation mit LLMs ermöglicht die Modellierung virtueller Zielgruppen und hilft Organisationen, Reaktionen auf Inhalte oder Produkte vorherzusehen, ohne auf teure…

LLM-Feintuning-Leitfaden für Unternehmen

Folgen Sie den Links für die spezifischen Lösungen zu Ihren LLM-Ausgabeherausforderungen. Wenn Ihr LLM: Die weite Verbreitung von Large Language Models (LLMs) hat unsere Fähigkeit verbessert, menschliche Sprache zu verarbeiten. Ihr generisches Training führt jedoch oft zu suboptimaler Leistung bei spezifischen Aufgaben. Um diese Einschränkung zu überwinden, werden Feintuning-Methoden eingesetzt, um LLMs an die einzigartigen…

LLM Marktanteil: Vergleich von Nutzung & Akzeptanz

Wir analysierten den LLM-Marktanteil, indem wir nutzungsbasierte Daten und Schätzungen zu Web-Besuchen kombinierten, um zu zeigen, wie die Nachfrage nach large language models über KI-Labore und KI-Anwendungen verteilt ist: Lesen Sie die Methodik, um zu erfahren, wie wir diese Ergebnisse gemessen und berechnet haben. Die Vereinigten Staaten dominierten die Web-Besuche über alle vier Monate hinweg…

10+ Large Language Model Beispiele

Wir haben Open-Source-Benchmarks zusammengestellt, um führende proprietäre und Open-Source Large Language Models zu vergleichen. Wählen Sie Ihren Anwendungsfall, um das richtige Modell zu finden. Sie können Large Language Models bewerten, indem Sie ihre Benchmark-Leistung und die tatsächliche Latenz (verfügbar durch Klicken auf den Namen jedes Modells in der Tabelle) prüfen und ihre Preise überprüfen, um…

31. Aug

LLM VRAM-Rechner für Self-Hosting

Self-Hosting eines LLMs bedeutet, Inferenz auf Hardware auszuführen, die der Betreiber kontrolliert, statt über eine API eines Drittanbieters, was Kosten, Datenkontrolle und Datenschutzprofil verändert. Ob ein Modell überhaupt läuft, hängt vom Speicher ab. Der Rechner schätzt den VRAM oder Unified Memory, den ein Modell lokal benötigt, basierend auf dem Modell, seiner Präzision, der Kontextlänge und…