AIM LMM Index

Como o índice funciona

O AIM LMM Index combina o benchmark de raciocínio visual da AIMultiple com quatro rankings públicos que testam modelos em imagens, gráficos e exames médicos.

Pontuação

O índice é a média simples das pontuações publicadas de um modelo, usadas como cada ranking as informa, sem reescalar. A média inclui apenas os benchmarks em que o modelo tem pontuação. Os benchmarks têm dificuldades diferentes: a maioria das pontuações do CAIS Vision fica abaixo de 70 e a maioria das do MMMU-Pro passa de 70, por isso a comparação mais direta é entre modelos com os mesmos benchmarks.

Quais modelos são classificados

Um modelo é classificado quando tem pontuação em pelo menos 3 dos cinco benchmarks. Só são listados os modelos do benchmark de raciocínio visual da AIMultiple.

Pontuações públicas

Quando um ranking lista um modelo com vários níveis de raciocínio, usamos o mais alto (max, depois xhigh, depois high). Execuções que usam ferramentas, como Python, ficam de fora. O CAIS contribui com a média do seu Vision Capabilities Index.