LLM Benchmarks

Wie der Index aufgebaut ist

Jeder Benchmark wird als Platzierung gelesen, nicht als Rohwert. Innerhalb eines Benchmarks liegt das beste Ergebnis bei 100, das schlechteste bei 0, und jedes andere Modell fällt irgendwo dazwischen. Der Index ist der gewichtete Durchschnitt dieser Platzierungen über die Benchmarks, die ein Modell tatsächlich absolviert hat: ein Benchmark, den es nie absolviert hat, zählt nicht als Null, er fehlt einfach. Benchmarks zählen nicht gleich viel, und das Gewicht jedes einzelnen ist bei ihm angegeben. Ein Modell braucht Ergebnisse in mindestens zwei Index-Benchmarks, bevor es eingestuft wird; ein einzelnes Ergebnis setzt ein Modell auf die Linie eines Benchmarks, ohne ihm eine eigene Einstufung zu geben. Platzierungen werden statt roher Genauigkeit verwendet, weil sich Benchmarks in Schwierigkeit und Skala stark unterscheiden und Werte aus verschiedenen Benchmarks keinen gemeinsamen Durchschnitt bilden können. Gewichte: AIM-FinanceReasoning (10%) + AIM-Text-to-SQL (10%) + AIM-Agentic-RAG (10%) + SciCode (10%) + FrontierMath (10%) + Terminal-Bench 2.1 (10%) + CritPt (10%) + IFBench (10%) + MMMU-Pro (10%) + ARC-AGI-3 (10%).