AIM LMM Index

Comment fonctionne l'index

L'AIM LMM Index combine le benchmark de raisonnement visuel d'AIMultiple avec quatre classements publics qui testent les modèles sur des images, des graphiques et de l'imagerie médicale.

Notation

L'index est la moyenne simple des scores publiés d'un modèle, repris tels que chaque classement les donne, sans remise à l'échelle. La moyenne ne porte que sur les benchmarks où le modèle a un score. Les benchmarks n'ont pas la même difficulté : la plupart des scores CAIS Vision restent sous 70 alors que la plupart de ceux de MMMU-Pro dépassent 70. La comparaison la plus directe se fait donc entre modèles notés sur les mêmes benchmarks.

Quels modèles sont classés

Un modèle est classé lorsqu'il a un score sur au moins 3 des cinq benchmarks. Seuls les modèles du benchmark de raisonnement visuel d'AIMultiple sont listés.

Scores publics

Lorsqu'un classement liste un modèle à plusieurs niveaux de raisonnement, nous retenons le plus élevé (max, puis xhigh, puis high). Les exécutions qui utilisent des outils, comme Python, sont écartées. CAIS apporte la moyenne de son Vision Capabilities Index.