AIM LLM Index'teki en yeni model GPT-6.1 Terra.
AIM LLM Index
v1.105 kamuya açık karşılaştırmayı AIMultiple'ın 4 agentic, RAG ve kurumsal muhakeme değerlendirmesiyle birleştiren tek ve şeffaf bir endeks. Daha fazla ayrıntı için AIM LLM Index Methodology bölümüne bakın.
Liderlik Tablosu
Tüm benchmark'larda en yüksek puan alan modeller.
# | Model | Endeks | AIM-Agentic-RAG | AIM-AI-Bias | AIM-FinanceReasoning | AIM-Text-to-SQL | CritPt | FrontierMath | MMMU-Pro | SciCode | Terminal-Bench 4.0 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 5.5 Anthropic | 78 | 90 | 94 | 92 | 88 | 32 | 95 | 88 | 67 | 60 |
| 2 | GPT-6 Astra OpenAI | 74 | 84 | 98 | 87 | 66 | 32 | 98 | 87 | 56 | 60 |
| 3 | GPT-6.1 Sol OpenAI | 74 | 81 | 98 | 90 | 65 | 32 | 100 | 86 | 56 | 56 |
| 4 | Claude Sonnet 5.5 Anthropic | 74 | 85 | 93 | 89 | 74 | 31 | 80 | 86 | 61 | 64 |
| 5 | Claude Fable 5.1 Anthropic | 74 | 84 | 98 | 90 | 67 | 31 | 88 | 86 | 63 | 55 |
| 6 | Gemini 4 Argon Google | 73 | 94 | 98 | 91 | 79 | 27 | 78 | - | 62 | 57 |
| 7 | GPT-6.1 Terra OpenAI | 71 | 84 | 95 | 87 | 57 | 28 | 93 | 85 | 55 | 56 |
| 8 | Muse Wonder Meta | 70 | 86 | 95 | 92 | 56 | 28 | 71 | 85 | 60 | 52 |
| 9 | GPT-6 Sol OpenAI | 70 | 82 | 96 | 89 | 54 | 31 | 90 | 83 | 58 | 44 |
| 10 | Kimi K3.1 Pro Moonshot AI | 69 | 85 | 91 | 90 | 52 | 25 | - | 84 | 61 | 67 |
AIM LLM Index Methodology
Bir modelin endeks puanı, aşağıdaki benchmark'lardaki sonuçlarının ortalamasıdır. Zaten 0-100 ölçeğinde olan puanlar olduğu gibi kullanılır; diğerleri 0-100'e yeniden ölçeklenir. Modelin eksik olduğu bir benchmark sıfır sayılmaz, hesaba katılmaz ve her benchmark eşit ağırlık taşır. Bir modelin sıralamaya girmesi için en az 2 AIMultiple benchmark'ında puanı olması gerekir. MMMU-Pro sonuçları 2 ayrı kaynaktan gelir.
Kullandığımız kıyaslamalar
Bu endeksin dayandığı AIMultiple benchmark'larından 73.9 bin veri noktasının ham sonuçları. Bunları 4 CSV dosyası ve bir README içeren ZIP dosyası olarak indirin.
Arkasındaki ayrıntılı veriyi ister misiniz? Premium'a katılın
Değişiklik günlüğü
62 güncelleme- v1.10
2 model AIM LLM Index'e girdi: DeepSeek V4.1 Flash 1017, Muse Spark Open.
- v1.10
113 model veri setine eklendi: Claude 3 Haiku, Claude Opus 4.7 (max), Command A, DeepSeek R1 (Jan), DeepSeek R1 0528 Qwen3 8B ve 108 tane daha.
- v1.10
Qwen3.6 35B A3B veri setine eklendi.
- v1.10
3 model AIM LLM Index'e girdi: GPT-6.1 Terra, Kimi K3.1 Pro, MiniMax M3.1 Flash.
- v1.10
3 model veri setine eklendi: GPT-6.1 Terra, Kimi K3.1 Pro, MiniMax M3.1 Flash.
- v1.10
2 model veri setine eklendi: DeepSeek V4.1 Flash 1017, Muse Spark Open.
- v1.10
Muse Wonder AIM LLM Index'e girdi.
- v1.10
Muse Wonder veri setine eklendi.
- v1.10
Gemini 4 Argon AIM LLM Index'e girdi.
- v1.10
Gemini 4 Argon veri setine eklendi.
LLM Kullanım Durumları, Analizler ve Ölçümler Keşfedin
- LLMKıyaslama6 Eki
Siber Güvenlikte Büyük Dil Model'leri
7 büyük dil model'ini 9 siber güvenlik alanında, güvenlik görevleri için geniş ölçekli ve çok formatlı bir kıyaslama olan SecBench'i kullanarak değerlendirdik. Her model'i, veri güvenliği, kimlik ve erişim yönetimi, ağ güvenliği, zafiyet yönetimi ve bulut güvenliğini kapsayacak şekilde 44.823 çoktan seçmeli soru (MCQ) ve 3.087 kısa yanıtlı soru (SAQ) üzerinde test ettik. MCQ'lar (Çoktan…
- LLMİçgörü21 Eyl
LLM Kendi Kendine Barındırma için VRAM Hesaplayıcı
Bir LLM'yi kendi kendine barındırmak, çıkarımı operatörün kontrol ettiği donanımda, üçüncü taraf bir API aracılığıyla değil, çalıştırmak anlamına gelir; bu da maliyeti, veri kontrolünü ve gizlilik profilini değiştirir. Bir modelin hiç çalışıp çalışmayacağı belleğe bağlıdır. Hesaplayıcı, modele, hassasiyetine, bağlam uzunluğuna ve hedef donanıma bağlı olarak bir modelin yerel olarak çalıştırılması için gereken VRAM veya birleşik…
- LLMKıyaslama18 Eyl
Agentic IT: Yapay Zeka Ajanları Bir Benchmark Tasarlayabilir mi?
16 model'i text-to-SQL ve araç çağırma alanında bir benchmark tasarımında test ettik. Her model konu başına bir benchmark oluşturdu; toplam 32 gönderim oldu. Hiçbir gönderim tüm rubrik ölçütlerini geçemedi. Ajanlar testleri oluşturup çalıştırabildi ancak hiçbiri kendi puanlayıcısına ait hem boş-yanıt testini hem de doğru-yanıt testini gösteremedi. Text-to-SQL, sade bir dille yazılmış soruyu bir veritabanı sorgusuna…
- LLMKıyaslama17 Eyl
AIM Enterprise: Otonom Kurumsal Benchmark
Kuruluşlar düzenli görevleri için her gün LLM'ler kullanır. En maliyet etkin LLM'leri bulmak için, strateji, pazarlama, İK, satış ve operasyonları kapsayan 69 gerçek kurumsal görev kullandığımız etmen tabanlı bir kurumsal benchmark olan AIM Enterprise'ı tasarladık, İki hakem model, kontrolleri geçen her dosyayı puanladı. Bireysel puanların %32,7'sinde iki hakem ölçeğin dörtte birinden fazla farklılaştı ve bu…
- LLMİçgörü15 Eyl
LLM Ölçekleme Yasaları: Yapay Zeka Araştırmacılarından Analiz
Büyük dil modelleri, metin verilerinden öğrenilen kalıplara dayanarak bir sonraki token'ı tahmin eder. LLM ölçekleme yasaları terimi, model performansını eğitim sırasında kullanılan hesaplama, eğitim verisi ve model parametreleri miktarına bağlayan ampirik düzenlilikleri ifade eder. Bu ilişkilerin pratikte modern model tasarımını nasıl etkilediğini anlamak için 8 akademik makalenin bulgularını ve 3 büyük yapay zeka laboratuvarı ile…
- LLMKıyaslama15 Eyl
Kitle Simülasyonu: LLM'ler İnsan Davranışını Tahmin Edebilir mi?
Pazarlamada, LLM'lerin insan davranışını ne kadar doğru tahmin ettiğini değerlendirmek; kitle ihtiyaçlarını öngörme ve yanlış hizalama, etkisiz iletişim veya istenmeyen etki gibi riskleri tanıma konusundaki etkinliklerini değerlendirmek için kritik önem taşır. Kitle simülasyonu, LLM'lerle birlikte sanal kitlelerin modellenmesini sağlayarak kuruluşların maliyetli anketlere veya odak gruplarına başvurmadan içeriklere veya ürünlere verilecek tepkileri öngörmelerine yardımcı olur. Yapay…
- LLMİçgörü2 Eyl
LLM Gözlemlenebilirlik Araçları: Weights & Biases, Langsmith
LLM uygulamaları, tek turlu sohbetlerden araçları kullanan, veritabanlarını sorgulayan ve diğer modellerle koordine olan çok adımlı ajanlara doğru genişledi; bu da davranışlarını yorumlamayı zorlaştırıyor. LLM gözlemlenebilirliği, bu karmaşık iş akışlarına sürekli görünürlük sağlayarak kuruluşların kaliteyi izlemesine, hataları tespit etmesine, sorunları gidermesine ve performans ile maliyetleri yönetmesine yardımcı olur. W&B Weave, Weights & Biases'in LLM gözlemlenebilirlik…
- LLMİçgörü1 Eyl
LLM İnce Ayar Rehberi: İşletmeler İçin
LLM çıktı zorluklarınız için özel çözümlere giden bağlantıları takip edin. Eğer LLM'niz: Büyük dil modellerinin (LLM'ler) yaygın olarak benimsenmesi, insan dilini işleme yeteneğimizi geliştirdi. Ancak, genel eğitimleri genellikle belirli görevler için optimumun altında performansla sonuçlanır. Bu sınırlamanın üstesinden gelmek için, LLM'leri farklı uygulama alanlarının benzersiz gereksinimlerine göre uyarlamak amacıyla ince ayar yöntemleri kullanılır. Büyük bir…