Benchmarks de LLM

Cómo se construye el índice

Cada benchmark se lee como una posición, no como una puntuación bruta. Dentro de un benchmark el mejor resultado se sitúa en 100, el peor en 0, y el resto de los modelos cae en algún punto intermedio. El índice es la media ponderada de esas posiciones sobre los benchmarks que un modelo ha ejecutado realmente: un benchmark que nunca ejecutó no cuenta como cero, simplemente no está. Los benchmarks no cuentan por igual, y el peso que lleva cada uno se indica junto a él. Un modelo necesita resultados en al menos dos benchmarks del índice para ser clasificado, de modo que un único resultado sitúa al modelo en la línea de ese benchmark sin darle una posición propia. Se usan posiciones en lugar de precisión bruta porque los benchmarks difieren mucho en dificultad y escala, y las puntuaciones de benchmarks distintos no pueden compartir una media. Pesos: AIM-FinanceReasoning (10%) + AIM-Text-to-SQL (10%) + AIM-Agentic-RAG (10%) + SciCode (10%) + FrontierMath (10%) + Terminal-Bench 2.1 (10%) + CritPt (10%) + IFBench (10%) + MMMU-Pro (10%) + ARC-AGI-3 (10%).