LLM Karşılaştırmaları

Endeks Nasıl Oluşturulur

Her benchmark ham skor olarak değil, konum olarak okunur. Bir benchmark'ın içinde en iyi sonuç 100'e, en kötüsü 0'a oturur; diğer bütün modeller ikisinin arasında bir yere düşer. İndeks, modelin gerçekten koştuğu benchmark'lardaki bu konumların ağırlıklı ortalamasıdır: hiç koşmadığı bir benchmark sıfır sayılmaz, yalnızca yoktur. Benchmark'lar eşit ağırlıkta değildir ve her birinin taşıdığı ağırlık yanında belirtilir. Bir modelin sıralanabilmesi için en az iki indeks benchmark'ında sonucu olması gerekir; tek bir sonuç modeli o benchmark'ın çizgisine yerleştirir ama kendi başına bir sıralama vermez. Ham doğruluk yerine konum kullanılır, çünkü benchmark'lar zorluk ve ölçek bakımından keskin biçimde ayrışır ve farklı benchmark'ların skorları aynı ortalamayı paylaşamaz. Ağırlıklar: GDPval (29%) + EnterpriseOps-Gym-AA (15%) + DeepSWE 1.1 (15%) + FinanceReasoning (10%) + FrontierCode (8%) + RuneBench (6%) + ARC-AGI-2 (5%) + LiveCodeBench (4%) + ITBench-AA (3%) + Terminal-Bench 4.0 (2%) + Opus Magnum Bench (1%) + HealthBench Professional (1%) + Tau2-Bench Telecom (1%).