Benchmarks de LLM

Como o índice é construído

Cada benchmark é lido como uma posição, não como uma pontuação bruta. Dentro de um benchmark o melhor resultado fica em 100, o pior em 0, e todos os outros modelos caem em algum ponto intermediário. O índice é a média ponderada dessas posições sobre os benchmarks que um modelo realmente executou: um benchmark que ele nunca executou não conta como zero, simplesmente não está lá. Os benchmarks não contam por igual, e o peso de cada um é indicado ao lado dele. Um modelo precisa de resultados em pelo menos dois benchmarks do índice para ser classificado, de modo que um único resultado coloca o modelo na linha daquele benchmark sem lhe dar uma posição própria. Usam-se posições em vez de precisão bruta porque os benchmarks diferem fortemente em dificuldade e escala, e pontuações de benchmarks diferentes não podem partilhar uma média. Pesos: AIM-FinanceReasoning (10%) + AIM-Text-to-SQL (10%) + AIM-Agentic-RAG (10%) + SciCode (10%) + FrontierMath (10%) + Terminal-Bench 2.1 (10%) + CritPt (10%) + IFBench (10%) + MMMU-Pro (10%) + ARC-AGI-3 (10%).