Intelligenzdichte von 71 LLMs für intelligentere & dichtere Modelle
Wir haben 71 LLMs verfolgt, die zwischen Februar 2023 und Mai 2026 veröffentlicht wurden, und 10 öffentliche Benchmarks gesammelt, um die Intelligenzdichte zu messen. Wir haben den Fähigkeitswert durch die vom Modell verbrauchte Ressource geteilt (aktive Parameter, Trainingsrechenleistung und Inferenzpreis).
LLM-Intelligenzdichte im Überblick
Um die Intelligenzdichte zu berechnen, haben wir die folgenden Schritte ausgeführt:
- Ressourceneffizienz: Wir haben die Fähigkeit jedes Modells durch zwei Ressourcenmetriken geteilt:
- Aktive Parameter: Ein Proxy für Speicher- und Bereitstellungskosten (bei Open-Weight-Modellen).
- Inferenzpreis: Markt-Kosteneffizienz auf Basis gemischter API-Preise pro Million Tokens.
- Hinweis zur Trainingsrechenleistung (FLOP): Wir haben zunächst eine dritte Achse, Trainingsrechenleistung (FLOP), einbezogen, sie aber entfernt, weil ihre negative Steigung bei gesättigten Standard-Benchmarks den Gesamtwert 2023–2024 in einen kontraintuitiven Einbruch zog.
- Benchmark-Gruppierung: Um zu verhindern, dass eine Sättigung der Scores Effizienzgewinne verdeckt, haben wir die Fähigkeiten über zwei unterschiedliche Benchmark-Ären hinweg bewertet:
- Standard-Benchmarks (2023–2024): MMLU (5-Shot), GSM8K (8-Shot CoT), HellaSwag (10-Shot), ARC Challenge (25-Shot), HumanEval (0-Shot pass@1).
- Fortgeschrittene Benchmarks (2024–2026): MMLU-Pro, GPQA Diamond, AIME 2025, LiveCodeBench, SWE-bench Verified.
- Verkettete Indexierung: Wir berechneten das Wachstum im Jahresvergleich innerhalb passender Benchmark-Gruppen und verknüpften sie multiplikativ ab einer Basis von 100 im Jahr 2023, um den kumulativen Trend darzustellen.
Siehe Methodik für den Bewertungsansatz und die Aufschlüsselungen nach Ressource.
LLM-Intelligenzdichte-Ergebnisse
Bis Mitte 2026 lieferte das KI-Ökosystem fast 15× mehr Intelligenz pro Ressourceneinheit (Parameter und Dollar) als die Basis von 2023. Zwei Dinge sind beim Lesen des Trends zu beachten:
- Der Sprung 2024–2025 (+362 %) überzeichnet den tatsächlichen Gewinn: Die fortgeschrittenen Benchmarks waren 2024 neu und nur eine Handvoll Modelle hatte dort Scores, daher liegt die Basis von 2024 künstlich niedrig. Der größte Teil des „Anstiegs“ ist die Vervollständigung des Panels, nicht ein einjähriger Effizienzsprung.
- Der Gewinn 2025–2026 (+105 %) ist die eigentliche Geschichte: Er wird über viel mehr Modelle gemessen und wird von kleinen Open-Weight-Veröffentlichungen wie Qwen 3.6-35B-A3B und DeepSeek V4 Flash getragen, die es mit der Fähigkeit von Frontier-Closed-Modellen zu einem Bruchteil von Größe und Kosten aufnehmen.
LLM-Fähigkeit
Das Dichtediagramm zeigt Effizienz. Um es in Kontext zu setzen, haben wir auch die rohe Fähigkeit im selben Zeitraum gemessen: Wie viel intelligenter sind diese Modelle tatsächlich geworden, bevor eine Ressourcenanpassung vorgenommen wurde?
Fähigkeit indexiert auf 100 im Jahr 2023, gemittelt über alle in jedem Jahr veröffentlichten Modelle.
Achsen und Tooltip funktionieren wie im Dichtediagramm, wobei die Y-Achse die rohe Benchmark-Leistung statt der Dichte verfolgt.
Ein Fähigkeitswert von 100 im Jahr 2023 stieg bis 2026 auf 468, eine Verbesserung um etwa das 4.7-Fache. Jahr für Jahr:
- 2024 (+88 %): Schnelle Fortschritte bei Standard-Benchmarks, bevor diese gesättigt waren.
- 2025 (+105 %): Gleiche schnelle Fortschritte, gemessen an den schwierigeren fortgeschrittenen Benchmarks, die Standard-Benchmarks ersetzt haben.
- 2026 (+22 %): Die Verlangsamung ist ein frühes Zeichen dafür, dass auch fortgeschrittene Benchmarks zu sättigen beginnen.
Die beiden Diagramme nebeneinander betrachtet:
- Die Fähigkeit wuchs um 4.7×, während die Intelligenzdichte um 8.9× wuchs.
- Modelle wurden gleichzeitig intelligenter und effizienter. Sie benötigen zum Betrieb nicht proportional mehr Parameter, Trainingsrechenleistung oder Geld.
Beachte: Der Fähigkeitswert von 4.7× ist eine glaubwürdige Größenordnung. Der Dichtewert von 8.9× ist fragiler (die fortgeschrittene Gruppe von 2024 hat weniger Datenpunkte, was die Wachstumsrate dieses Jahres verstärkt), daher ist er eher als richtungsweisendes Signal denn als präziser Multiplikator zu verstehen.
Welche LLM hat die höchste Intelligenzdichte?
Die Intelligenzdichte hängt davon ab, welche Ressource wir messen und in welcher Benchmark-Gruppe wir bewerten. Der Spitzenreiter ändert sich bei jeder Kombination.
Dichte pro aktivem Parameter (Open-Weight)
Diese Ansicht misst, wie effizient ein Modell Fähigkeit in seine Gewichte packt. Aktive Parameter sind wichtig, weil Mixture-of-Experts-Modelle (MoE) jedes Token durch einen Bruchteil der Gesamtgewichte leiten. DeepSeek V3 hat 671B Gesamtparameter, aber 37B aktive pro Token, und die Zahl 37B spiegelt die effektiven Bereitstellungskosten wider.
Standard-Benchmarks-Spitzenreiter
- LLaMA 3.1 8B (Juli 2024): 100.0
- LLaMA 3 8B (Apr. 2024): 85.0
- LLaMA 4 Maverick (Apr. 2025): 55.9
- Mixtral 8x7B (Dez. 2023): 47.4
- Mistral 7B (Sep. 2023): 46.3
Fortgeschrittene Benchmarks-Spitzenreiter
- Qwen 3.6-35B-A3B (Apr. 2026): 100.0 (3B aktive Parameter; der Wert beruht auf einem einzigen Benchmark, SWE-bench Verified mit 73.4 %, daher entsprechend lesen)
- GPT-OSS 20B (Aug. 2025): 85.2 (3.6B aktive Parameter)
- GPT-OSS 120B (Aug. 2025): 64.4 (5.1B aktive Parameter)
- Qwen 3.5 9B (März 2026): 35.2 (9B dichte Parameter)
- DeepSeek V4 Flash (Apr. 2026): 26.0
Das Ranking der Standard-Benchmarks hat sich seit Ende 2024 nicht mehr verändert, weil die Benchmarks gesättigt sind und nicht, weil der Fortschritt aufgehört hat. GPT-4 erzielte Anfang 2023 90.2 auf Standard-Benchmarks, aber 17.3 auf fortgeschrittenen Benchmarks.
Dichte pro Trainings-FLOP (Open-Weight)
Diese Ansicht belohnt Datenkuratierung, Architekturentscheidungen und Trainingsrezepte statt reiner Ausgaben.
Hinweis: Die Dichte pro FLOP bei Standard-Benchmarks scheint mit der Zeit zu sinken. Das ist ein Sättigungsartefakt und keine nachlassende Trainingseffizienz. Die älteren Benchmarks messen die jüngsten Fortschritte nicht mehr, sodass die Fähigkeitswerte komprimiert werden, während die Trainingsrechenleistung weiter wächst.
Standard-Benchmarks-Spitzenreiter
- Mistral 7B (Sep. 2023): 100.0 (immer noch der Anker des Panels, mehr als zwei Jahre später)
- LLaMA 3 8B (Apr. 2024): 40.8
- LLaMA 1 (Feb. 2023): 37.0
- DeepSeek V2 (Mai 2024): 32.6
- Mixtral 8x7B (Dez. 2023): 27.1
Fortgeschrittene Benchmarks-Spitzenreiter
- Qwen 3.5 9B (März 2026): 100.0
- Qwen 3.6-35B-A3B (Apr. 2026): 28.4
- DeepSeek V4 Flash (Apr. 2026): 6.4
Das Ergebnis von Qwen 3.5 (9B) ist bemerkenswert: ein dichtes 9B-Modell, trainiert mit etwa 1.5 × 10²³ FLOP, erreicht 81.2 auf fortgeschrittenen Benchmarks. Seine Trainingsrechenleistung ist etwa eine Größenordnung niedriger als die von DeepSeek V4 Pro, aber die Fähigkeitslücke ist kleiner.
Dichte pro Dollar Inferenz
Die Dichte pro Dollar ist die Achse, auf der Open-Weight- und geschlossene Frontier-Modelle direkt verglichen werden können, weil die API-Preise öffentlich überprüfbar sind. Für die Hauptkennzahl verwenden wir endgültige Preise, damit Senkungen nach dem Start berücksichtigt werden.
Standard-Benchmarks-Spitzenreiter
- Mistral Small 3 24B (Jan. 2025): 100.0 bei $0,10 / $0,30 pro Million Tokens über Mistrals Erstanbieter-API
- Gemini 1.5 Flash (Mai 2024): 99.3 (bestbewertetes Closed-Weight-Modell nach der Preissenkung im August 2024)
- DeepSeek V2 (Mai 2024): 66.0 bei $0,27 / $1,10 pro Million Tokens
- DeepSeek V3 (Dez. 2024): 30.9
- DeepSeek R1 (Jan. 2025): 17.8
Fortgeschrittene Benchmarks-Spitzenreiter
- GPT-OSS 120B (Aug. 2025): 100.0 (Preisreferenz ist der anbieterübergreifende Median von OpenRouter, da OpenAI das Modell nicht über eine Erstanbieter-API bereitgestellt hat)
- GPT-OSS 20B (Aug. 2025): 80.0
- DeepSeek V4 Flash (Apr. 2026): 44.0 bei $0,06 / $0,42 pro Million Tokens über DeepSeeks Erstanbieter-API
- DeepSeek V3.2 (Dez. 2025): 22.5
- Mistral Small 3 24B (Jan. 2025): 20.9
- DeepSeek V4 Pro (Apr. 2026): 16.0 bei $0,54 gemischt, mit 97.8 fortgeschrittener Benchmark-Fähigkeit. Damit liegt V4 Pro innerhalb von 2.2 Fähigkeitspunkten zu Claude Opus 4.7 bei etwa 1/18th des gemischten Preises ($0,54 gegenüber $10,00).
Die Lücke zur geschlossenen Frontier hat sich nicht verringert
Geschlossene Reasoning-Modelle von Anthropic, OpenAI und Google liegen im gesamten Panelzeitraum bei einer Dichte pro Dollar auf fortgeschrittenen Benchmarks zwischen 0 und 6. GPT-4 erzielte im März 2023 0.0. Claude Opus 4.7 erzielte im April 2026 0.9.
Geschlossene Labore haben die absoluten Preise gesenkt:
- Claude Opus fiel von $30 auf $10 pro Million Tokens zwischen Opus 4 und Opus 4.5.
- OpenAIs o3 fiel vom Startpreis $10/$40 auf $2/$8 endgültig.
- Gemini 1.5 Flash fiel um etwa 78 %.
Doch der relative Abstand zu den Open-Weight-Dichteführern blieb im gesamten Zeitraum bei etwa 30 bis 50×. DeepSeek lag 2024 (V2) bei etwa $0,18 pro Million und 2026 (V4 Flash) ebenfalls bei etwa $0,18 pro Million. Der Open-Weight-Preisboden hat sich nicht bewegt, und der geschlossene Flaggschiff-Boden hat sich nicht genug bewegt, um die Lücke zu schließen. Der Preiswettbewerb findet auf der Stufe der vorherigen Generation statt, wo ältere geschlossene Modelle als günstige Alternativen am Leben gehalten werden, nicht an der Frontier.
Die neue Richtung: Agentische Benchmarks
Die fortgeschrittenen Benchmarks zur Messung der KI-Leistung beginnen, ihre Wirksamkeit zu verlieren, ähnlich wie die älteren Testsuiten, die sie ersetzt haben. Labore haben begonnen, agentische Benchmarks (SWE-Bench Pro, SWE-bench Verified, Terminal-Bench, OSWorld-Verified, Finance Agent) anstelle der älteren Reasoning-Tests zu berichten. Wir haben mit dem Aufbau eines Panels begonnen, um diesen Wandel zu verfolgen.
Zum Beispiel berichtet das neueste Frontier-Modell, Claude Opus 4.8, seine Ergebnisse fast ausschließlich zu diesen agentischen LLM-Benchmarks, ohne Werte zu den Reasoning-Benchmarks, die unser Hauptpanel verfolgt.
Lösungsrate von SWE-Bench Pro nach Veröffentlichungsdatum, bewertet mit dem standardisierten Harness SEAL von Scale. Unter den abgebildeten Modellen:
- Die besten Closed-Weight-Modelle: Claude Fable 5 (80.3 %),Claude Opus 4.5 (45.9 %), Claude Sonnet 4.5 (43.6 %) und Gemini 3 Pro Preview (43.3 %).
- Die besten Open-Weight-Modelle: GLM 5.2 (62.1 %), Qwen3-Coder-480B-A35B (38.7 %), Kimi K2 Instruct (27.7 %) und Qwen3-235B-A22B (21.4 %).
Entdecken Sie agentische Benchmarks, indem Sie sich agentische Coding-Benchmarks, agentische Suche und agentisches Monitoring ansehen.
Herausforderungen beim Vergleich agentischer Leistung
Die Bewertung und der Vergleich agentischer Benchmark-Ergebnisse ist mit mehreren zentralen Schwierigkeiten verbunden:
- Fokus auf Fähigkeitsmetriken: Wir können Fähigkeitswerte anzeigen, weil die Ressourcendaten, die zur Messung der Dichte erforderlich sind (Parameterzahlen, Trainingsrechenleistung und verifizierte Preise pro Modell), von geschlossenen Laboren unvollständig oder nicht offengelegt bleiben.
- Empfindlichkeit auf Systemebene: Benchmark-Scores messen das gesamte System, nicht nur das KI-Modell. Da die Scores stark vom „Scaffolding“ (dem umgebenden Software-Framework) abhängen, kann dasselbe Modell je nach verwendetem Agent-Harness sehr unterschiedliche Ergebnisse liefern.
- Standardisierungsprotokoll: Um einen fairen Vergleich zu gewährleisten, stellt dieser Bericht ausschließlich SWE-Bench-Pro-Daten aus einer einzigen standardisierten Umgebung (SEAL-Bestenliste von Scale) dar. Andere von Laboren gemeldete Scores verwenden unterschiedliche Testgerüste und sind nicht direkt vergleichbar.
- Ausschluss von Claude Opus 4.8: Obwohl Opus 4.8 selbst einen Rekordwert von 69.2 % bei SWE-Bench Pro meldet, wurde es mit dem internen Harness von Anthropic getestet und noch nicht von SEAL von Scale bewertet. Um strenge Datenkonsistenz zu wahren, geben wir den Wert hier an, statt ihn zu plotten.
SWE-Bench Pro vom standardisierten Harness SEAL von Scale. Die anderen Spalten sind laborberichtet mit unterschiedlichen Testgerüste und über Zeilen hinweg nicht direkt vergleichbar. Bindestriche bedeuten, dass kein verifizierter Wert gefunden wurde.
Diese drei liefen auf dem mini-swe-agent-Harness und sind daher aus dem Streudiagramm ausgeschlossen, um die Vergleichbarkeit zu wahren.
Methodik zur Intelligenzdichte
Panelabdeckung
- Modelle: 71 LLMs, veröffentlicht zwischen Februar 2023 und April 2026. 37 Modelle haben Standard-Benchmark-Scores und 54 haben fortgeschrittene Benchmark-Scores. Modelle ohne vollständige Benchmark-Gruppe werden von den Dichteberechnungen dieser Gruppe ausgeschlossen.
- Benchmarks: 10 öffentliche Benchmarks, alle von Laboren gemeldet und auf eine Primärquelle zurückführbar. Wir haben keinen Benchmark erneut ausgeführt.
- Ressourcen: Für jedes Modell haben wir seinen Fähigkeitswert unabhängig durch drei Ressourcen geteilt:
- Aktive Parameter: Ein Proxy für Speicher- und Bereitstellungskosten. Beschränkt auf Open-Weight-Modelle, da Closed-Weight-Labore (OpenAI, Anthropic, Google) ihre Parameterzahlen nicht offenlegen.
- Trainingsrechenleistung (FLOP): Ein Proxy für die Trainingseffizienz. Ebenfalls auf Open-Weight-Modelle beschränkt. Die FLOP-Angaben sind überwiegend Schätzungen von Epoch KI und sollten als richtungsweisend verstanden werden.
- Inferenzpreis: Der Preis, den ein Käufer tatsächlich an der API zahlt. Die Fähigkeit wird durch den gemischten Preis pro Million Tokens bei einem Input-zu-Output-Verhältnis von 3:1 geteilt. Sowohl offene als auch geschlossene Modelle nehmen teil, weil die API-Preise öffentlich überprüfbar sind.
Warum zwei Benchmark-Gruppen?
Modelle, die 2024 veröffentlicht wurden, sättigten die Standard-Benchmarks, die KI-Labore seit 2020 genutzt hatten. Sobald Frontier-Modelle bei einem Benchmark 90 % oder mehr erreichen, unterscheidet der Test starke Modelle nicht mehr von stärkeren. Die Labore reagierten mit der Einführung schwierigerer Benchmarks.
Wir betrachten diesen Wechsel aus zwei Gründen als klaren Bruch:
- Erstens würde das Mischen einfacher und schwieriger Benchmarks in einem einzigen Fähigkeitswert dazu führen, dass ein gesättigter Wert in einem einfachen Benchmark einen niedrigen Wert in einem schwierigen verdeckt. Ein Modell mit 85 auf MMLU-Pro ist stärker als eines mit 85 auf MMLU. Die Gleichsetzung der beiden komprimiert den Wertebereich und belohnt ältere Benchmarks.
- Zweitens haben die beiden Suiten unterschiedliche Score-Verteilungen: Standard-Benchmarks ballen sich oben (die meisten Frontier-Modelle über 85), während fortgeschrittene Benchmarks breiter streuen (Top-Modelle um 90, Mittelklasse um 50, schwächere Modelle unter 30). Ein Z-Scoring über beide gleichzeitig würde die Varianzschätzung verzerren.
Wir berechnen die Fähigkeit für jede Gruppe unabhängig:
- Standard-Benchmarks (2023–2024): MMLU (5-Shot), GSM8K (8-Shot Chain-of-Thought), HellaSwag (10-Shot), ARC Challenge (25-Shot), HumanEval (0-Shot pass@1).
- Fortgeschrittene Benchmarks (2024–2026): MMLU-Pro, GPQA Diamond, AIME 2025, LiveCodeBench, SWE-bench Verified.
Ein Wert von 90 auf Standard-Benchmarks ist nicht gleichbedeutend mit 90 auf fortgeschrittenen Benchmarks. Für jedes ab Ende 2024 veröffentlichte Modell sind fortgeschrittene Benchmarks die aussagekräftige Referenz.
Fähigkeitsformel
Für jeden Benchmark b und jedes Modell m:
Wir verwenden die Standardabweichung der Grundgesamtheit (Division durch N, nicht N−1). Dies entspricht der ursprünglichen pandas-Berechnung mit ddof=0 und stellt sicher, dass das Hinzufügen eines einzelnen neuen Modells die Varianzschätzung nicht rückwirkend verschiebt.
Anschließend mitteln wir die verfügbaren Z-Scores pro Modell innerhalb jeder Benchmark-Gruppe und skalieren sie per Min-Max auf einen panelrelativen Wert von 0–100 um.
Dichteformel
Für jede Dichteansicht:
Der Nenner ändert sich pro Ansicht: aktive Parameter in Milliarden, Trainings-FLOP geteilt durch 10²⁴ oder gemischter Preis pro Million Tokens.
Methodik des verketteten Index
Die beiden Indexdiagramme am Anfang des Artikels (Intelligenzdichte und Fähigkeit) zeigen ein einliniges kumulatives Wachstum, indexiert auf 100 im Jahr 2023, angelehnt an das Format der kumulativen Rendite des S&P 500. Wir verketten die jährlichen Wachstumsraten über den Benchmark-Übergang hinweg, statt absolute Werte darzustellen.
Schritt 1. Berechne den jährlichen Mittelwert der Metrik für jede Benchmark-Gruppe:
Für den Intelligenzdichte-Index ist die Metrik der zeilenweise Durchschnitt der drei Dichte-Scores pro Modell (Combined Density A oder B). Für den Fähigkeitsindex ist die Metrik der panelrelative Fähigkeitswert (Capability_A oder Capability_B).
Schritt 2. Für jeden Jahresübergang wird das Wachstum innerhalb einer einzelnen Benchmark-Gruppe berechnet. Beide Jahre müssen aus derselben Gruppe stammen:
Schritt 3. Verkette multiplikativ ab einer Basis von 100 im Jahr 2023:
Gruppenauswahl pro Übergang:
- 2023 – 2024: Standard-Benchmarks (Fortgeschrittene hat 1 Modell im Jahr 2023, zu wenig für einen stabilen Mittelwert)
- 2024 – 2025: Fortgeschrittene Benchmarks (Standard Ende 2024 gesättigt; Fortgeschrittene hat 16 Modelle 2024 und 27 2025)
- 2025 – 2026: Fortgeschrittene Benchmarks (Standard für 2026 nicht berichtet)
Der verkettete Index setzt voraus, dass die zugrunde liegenden Populationen innerhalb einer Gruppe über die Jahre vergleichbar sind. Unser Panel ist heterogen (jedes Jahr andere Modelle, mit unterschiedlicher Benchmark-Abdeckung), daher sind die verketteten Werte am besten als richtungsweisende Zusammenfassung zu verstehen, nicht als präziser Multiplikator.
Kernevaluierungsprinzipien für die Messung der Intelligenzdichte
- Industriestandard-Benchmarks: Wir führen keinen eigenen Benchmark ein.
- Primärquellen-Nachweis: Jeder Benchmark-Score ist auf das Veröffentlichungspapier, die Model Card oder die offizielle Ankündigung des Modells zurückführbar. Wenn die Primärquelle einen Benchmark nicht berichtet hat, bleibt die Zelle leer statt ihn zu imputieren.
- Abdeckungsflags (N): Für jedes Modell geben wir die Anzahl der Benchmarks an, die zu seinem Fähigkeitswert in jeder Gruppe beitragen. Modelle mit N=1 erhalten einen verrauschteren Wert als Modelle mit N=5. Der Fall N=1 betrifft Qwen 3.6 35B A3B (SWE-bench Verified) und einige geschlossene Flaggschiff-Veröffentlichungen von 2026.
Preisquellen für Closed-Weight-Modelle
Die Preisgestaltung ist der kohortenempfindlichste Teil des Index. Wir verwenden folgende Hierarchie:
- Startankündigung des Labors (bevorzugt): Preis, der im Startbeitrag des Labors, in der API-Dokumentation oder in zeitnaher Presseberichterstattung genannt wird.
- Anbieterübergreifender Median von Artificial Analysis (Fallback für Weights-Modelle): Verwendet für drei Llama-3.1-Zeilen (8B, 70B, 405B) und die GPT-OSS-Zeilen, da keine Erstanbieter-API existiert.
- Gewichte ohne Abdeckung: Für 22 von 69 Zeilen ist kein Preis pro Dollar erfasst. Sie erscheinen in Fähigkeits- und Pro-Parameter-Diagrammen, fehlen aber in Pro-Dollar-Diagrammen.
Wir verfolgen zwei Preispfade: Startpreis (Erstanbieterpreis am Tag der Veröffentlichung) und endgültiger Preis (aktueller Erstanbieterpreis oder der letzte vor der Abkündigung). Sechs Modelle im Panel wurden nach dem Start neu bepreist:
- Gemini 1.5 Pro: $3,50/$10,50 auf $1,25/$5,00 (Oktober 2024)
- GPT-4o: $5,00/$15,00 auf $2,50/$10,00 (Oktober 2024)
- Gemini 1.5 Flash: $0,35/$1,05 auf $0,075/$0,30 (August 2024)
- Claude 3.5 Haiku: $1,00/$5,00 auf $0,80/$4,00 (Dezember 2024)
- o3: $10,00/$40,00 auf $2,00/$8,00 (Juni 2025)
Die Hauptkennzahl Dichte pro Dollar verwendet die endgültigen Preise. Bei 37 von 43 bepreisten Zeilen sind Start- und Endpreis identisch.
Aktualisierungsrhythmus
Wir aktualisieren den Index monatlich. Bei jeder Aktualisierung fügen wir neue Modellzeilen für jede Frontier- oder bemerkenswerte Veröffentlichung des Vormonats hinzu, aktualisieren die Preise, wenn Labore ihre Tarife angepasst haben, ergänzen neu gemeldete Benchmarks für bestehende Zeilen und berechnen die Z-Scores über das gesamte Panel neu. Neue Modelleinträge verschieben den Mittelwert und die Standardabweichung jedes Benchmarks, sodass sich bestehende 0–100-Werte mit dem Panel bewegen. Historische Momentaufnahmen bleiben erhalten.
Grenzen der Bewertung der Intelligenzdichte
- Laborberichteter Optimismus: Benchmark-Scores stammen von den Laboren selbst. Unabhängige Wiederholungen fallen in der Regel 5 bis 13 Punkte niedriger aus. Trendlinien sind richtungsweisend informativ, aber nicht punktgenau.
- Reasoning- und Nicht-Reasoning-Modi nicht getrennt: Modelle aus den Jahren 2025 und 2026 unterstützen Schalter für erweitertes Denken, die Mathe- und Coding-Scores um 5 bis 15 Punkte verschieben können. Wo erkennbar, verwenden wir die Werte im Standardmodus.
- Trainings-FLOP-Angaben sind überwiegend Schätzungen: Eine Handvoll Zeilen hat laborbestätigte FLOP. Der Rest wird aus offengelegten Parametern und Trainings-Tokens extrapoliert, meist über Epoch KI.
- Parameterzahlen geschlossener Modelle unbekannt: Dichte pro Parameter und pro FLOP bleiben bei geschlossenen Frontier-Zeilen leer. Geschlossene Modelle nehmen an der Dichte pro Dollar teil.
- Panelrelative Scores: Dichte-Scores werden innerhalb des Panels min-max-reskaliert. Ein neues Modell mit einem höheren Rohverhältnis verschiebt die 0–100-Werte aller bestehenden Modelle. Um Versionen des Panels zu vergleichen, verwenden Sie die zugrunde liegenden Rohverhältnisse statt der umskalierten Werte.
Was ist Intelligenzdichte?
Intelligenzdichte stellt eine neue Metrik dar, um zu bewerten, wie viel Wissen und Reasoning-Fähigkeit ein Modell in eine einzelne Speicher- oder Recheneinheit packen kann. Sie misst die Modellarchitektur, indem sie bewertet, wie effektiv es jeden Parameter zur Wertschöpfung nutzt.
In diesem Framework stellt die x-Achse oft die Anzahl der Modellparameter dar, während die y-Achse die Leistung bei anspruchsvollen Aufgaben verfolgt. Hohe Dichte tritt auf, wenn Modelle überlegene Fähigkeiten zeigen, ohne die massiven Rechenkosten größerer Modelle zu benötigen. Dieser Prozess belegt, dass Intelligenz nicht allein von der Datenmenge oder dem Trainingsumfang abhängt, sondern davon, wie Software und Algorithmen diese Informationen organisieren.
Früher hatte sich die KI-Community darauf verlassen, die Modellparameter zu skalieren, um höhere Leistung zu erreichen, was zu massiven, ressourcenintensiven Systemen führte. Mit dieser Fokusverschiebung wird algorithmische Optimierung vor das reine Volumen gestellt, um aus kleineren Modellen mehr Intelligenz zu gewinnen.
Warum ist es wichtig, die Intelligenzdichte zu messen?
Effiziente Systeme müssen Inferenzzeit und Speichernutzung optimieren. Die Identifikation des Punkts, an dem mehr Tokens oder zusätzliche Rechenleistung keine signifikanten Gewinne mehr bringen, hilft der Branche, die Obergrenzen aktueller großer Sprachmodelle zu verstehen. Die Hauptgründe für die Messung der Intelligenzdichte lassen sich wie folgt zusammenfassen:
- Die KI-Community unterschätzt den langfristigen Aufwand für die Wartung übergroßer Modelle in Rechenzentren.
- Wertschöpfung in praktischen Anwendungen hängt vom Verhältnis von Ausgabequalität zu der für ihre Erzeugung benötigten Leistung ab.
- Moores Gesetz für Hardware kann das Wachstum von Sprachmodellen nicht ohne entsprechende Fortschritte bei deren Optimierung aufrechterhalten.
- Reinforcement Learning und verbesserte Datenverteilung ermöglichen es Tools der nächsten Generation, Benchmarks zu erreichen, die einst nur Menschen vorbehalten waren. Erfahren Sie mehr über Reinforcement Learning und andere Arten von LLM fine-tuning techniken.
Größere Modelle sind zwar weiterhin wichtig, um neue Grenzen zu erkunden, doch die Dichte eines Systems bestimmt seinen tatsächlichen Nutzen in der realen Welt. Dieser Kontext hilft, Intelligenz als konzentriertes Ergebnis des Trainings statt als Nebenprodukt schierer Größe zu betrachten.
Weiterführende Lektüre
Die Intelligenzdichte ist eine Möglichkeit, LLMs zu vergleichen. Weitere Dimensionen werden in separaten Analysen behandelt:
- Latenz-Benchmarks: Für Time-to-First-Token und Tokens pro Sekunde siehe unser LLM-Latenz-Benchmark.
- Pro-Aufgaben-Benchmarks: Für Finance-Reasoning siehe unser Finance-LLM-Benchmark. Für Coding siehe unser KI-Coding-Benchmark.
Zitieren Sie diesen Benchmark
Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.
@misc{simsek2026,
author = {Şimşek, Hazal},
title = {{Intelligenzdichte von 71 LLMs für intelligentere & dichtere Modelle}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/intelligence-density}},
note = {AIMultiple. Abgerufen am 7. Juli 2026}
}Ergebnisse und Zeitstempel von 91 Datenpunkten. Laden Sie die in diesem Artikel verwendeten Daten als ZIP-Datei herunter, die 3 CSV-Dateien und eine README enthält.
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.