AIM LMM Index

So funktioniert der Index

Der AIM LMM Index kombiniert den Visual-Reasoning-Benchmark von AIMultiple mit vier öffentlichen Ranglisten, die Modelle auf Bildern, Diagrammen und medizinischen Aufnahmen testen.

Bewertung

Der Index ist der einfache Durchschnitt der veröffentlichten Werte eines Modells, so wie jede Rangliste sie angibt, ohne Umskalierung. Der Durchschnitt umfasst nur die Benchmarks, für die das Modell einen Wert hat. Die Benchmarks sind unterschiedlich schwer: die meisten CAIS-Vision-Werte liegen unter 70, die meisten MMMU-Pro-Werte liegen über 70. Am direktesten lassen sich daher Modelle mit denselben Benchmarks vergleichen.

Welche Modelle eingestuft werden

Ein Modell wird eingestuft, wenn es auf mindestens 3 der fünf Benchmarks einen Wert hat. Aufgeführt werden nur die Modelle aus dem Visual-Reasoning-Benchmark von AIMultiple.

Öffentliche Werte

Führt eine Rangliste ein Modell mit mehreren Reasoning-Stufen, verwenden wir die höchste (max, dann xhigh, dann high). Läufe mit Werkzeugen wie Python werden nicht verwendet. CAIS geht mit dem Mittelwert seines Vision Capabilities Index ein.