AIM LMM Index

Come funziona l'indice

L'AIM LMM Index combina il benchmark di ragionamento visivo di AIMultiple con quattro classifiche pubbliche che mettono alla prova i modelli su immagini, grafici e immagini mediche.

Punteggio

L'indice è la media semplice dei punteggi pubblicati di un modello, presi come li riporta ciascuna classifica, senza riscalarli. La media comprende solo i benchmark in cui il modello ha un punteggio. I benchmark hanno difficoltà diverse: la maggior parte dei punteggi CAIS Vision resta sotto 70, la maggior parte di quelli di MMMU-Pro supera 70, quindi il confronto più diretto è tra modelli con gli stessi benchmark.

Quali modelli sono classificati

Un modello è classificato quando ha un punteggio su almeno 3 dei cinque benchmark. Sono elencati solo i modelli del benchmark di ragionamento visivo di AIMultiple.

Punteggi pubblici

Quando una classifica elenca un modello con più livelli di ragionamento, usiamo il più alto (max, poi xhigh, poi high). Le esecuzioni che usano strumenti, come Python, sono escluse. CAIS contribuisce con la media del suo Vision Capabilities Index.