Benchmarks de LLM

Cómo se construye el índice

El índice es la media de las puntuaciones de un modelo en los benchmarks listados abajo, sobre los que realmente ha ejecutado: un benchmark que nunca ejecutó no cuenta como cero, simplemente no está. Todos los benchmarks del índice cuentan por igual. Un benchmark que ya da un porcentaje de 0 a 100 se usa tal cual; uno en otra escala se reescala primero a 0-100. Un modelo necesita resultados en al menos dos benchmarks del índice para ser clasificado, de modo que un único resultado no le da una posición propia. Como las puntuaciones se usan tal cual, un benchmark que todo el campo encuentra difícil baja todas las puntuaciones en él, y un modelo medido en benchmarks más difíciles lo arrastra a su media.