AIM LLM Index'teki en yeni model GPT-6.1 Terra.
AIM LLM Index
v1.105 kamuya açık karşılaştırmayı AIMultiple'ın 4 agentic, RAG ve kurumsal muhakeme değerlendirmesiyle birleştiren tek ve şeffaf bir endeks. Daha fazla ayrıntı için AIM LLM Index Methodology bölümüne bakın.
Liderlik Tablosu
Tüm benchmark'larda en yüksek puan alan modeller.
# | Model | Endeks | AIM-Agentic-RAG | AIM-AI-Bias | AIM-FinanceReasoning | AIM-Text-to-SQL | CritPt | FrontierMath | MMMU-Pro | SciCode | Terminal-Bench 4.0 |
|---|---|---|---|---|---|---|---|---|---|---|---|
| 1 | Claude Opus 5.5 Anthropic | 78 | 90 | 94 | 92 | 88 | 32 | 95 | 88 | 67 | 60 |
| 2 | GPT-6 Astra OpenAI | 74 | 84 | 98 | 87 | 66 | 32 | 98 | 87 | 56 | 60 |
| 3 | GPT-6.1 Sol OpenAI | 74 | 81 | 98 | 90 | 65 | 32 | 100 | 86 | 56 | 56 |
| 4 | Claude Sonnet 5.5 Anthropic | 74 | 85 | 93 | 89 | 74 | 31 | 80 | 86 | 61 | 64 |
| 5 | Claude Fable 5.1 Anthropic | 74 | 84 | 98 | 90 | 67 | 31 | 88 | 86 | 63 | 55 |
| 6 | Gemini 4 Argon Google | 73 | 94 | 98 | 91 | 79 | 27 | 78 | - | 62 | 57 |
| 7 | GPT-6.1 Terra OpenAI | 71 | 84 | 95 | 87 | 57 | 28 | 93 | 85 | 55 | 56 |
| 8 | Muse Wonder Meta | 70 | 86 | 95 | 92 | 56 | 28 | 71 | 85 | 60 | 52 |
| 9 | GPT-6 Sol OpenAI | 70 | 82 | 96 | 89 | 54 | 31 | 90 | 83 | 58 | 44 |
| 10 | Kimi K3.1 Pro Moonshot AI | 69 | 85 | 91 | 90 | 52 | 25 | - | 84 | 61 | 67 |
AIM LLM Index Methodology
Bir modelin endeks puanı, aşağıdaki benchmark'lardaki sonuçlarının ortalamasıdır. Zaten 0-100 ölçeğinde olan puanlar olduğu gibi kullanılır; diğerleri 0-100'e yeniden ölçeklenir. Modelin eksik olduğu bir benchmark sıfır sayılmaz, hesaba katılmaz ve her benchmark eşit ağırlık taşır. Bir modelin sıralamaya girmesi için en az 2 AIMultiple benchmark'ında puanı olması gerekir. MMMU-Pro sonuçları 2 ayrı kaynaktan gelir.
Kullandığımız kıyaslamalar
Bu endeksin dayandığı AIMultiple benchmark'larından 73.9 bin veri noktasının ham sonuçları. Bunları 4 CSV dosyası ve bir README içeren ZIP dosyası olarak indirin.
Arkasındaki ayrıntılı veriyi ister misiniz? Premium'a katılın
Değişiklik günlüğü
62 güncelleme- v1.10
2 model AIM LLM Index'e girdi: DeepSeek V4.1 Flash 1017, Muse Spark Open.
- v1.10
113 model veri setine eklendi: Claude 3 Haiku, Claude Opus 4.7 (max), Command A, DeepSeek R1 (Jan), DeepSeek R1 0528 Qwen3 8B ve 108 tane daha.
- v1.10
Qwen3.6 35B A3B veri setine eklendi.
- v1.10
3 model AIM LLM Index'e girdi: GPT-6.1 Terra, Kimi K3.1 Pro, MiniMax M3.1 Flash.
- v1.10
3 model veri setine eklendi: GPT-6.1 Terra, Kimi K3.1 Pro, MiniMax M3.1 Flash.
- v1.10
2 model veri setine eklendi: DeepSeek V4.1 Flash 1017, Muse Spark Open.
- v1.10
Muse Wonder AIM LLM Index'e girdi.
- v1.10
Muse Wonder veri setine eklendi.
- v1.10
Gemini 4 Argon AIM LLM Index'e girdi.
- v1.10
Gemini 4 Argon veri setine eklendi.
LLM Kullanım Durumları, Analizler ve Ölçümler Keşfedin
AI Gateway'ler OpenAI için: OpenRouter Alternatifleri
LLMKıyaslama7 KasOpenRouter, SambaNova, TogetherAI, Groq ve AI/ML API'yi üç gösterge (ilk token gecikmesi, toplam gecikme ve çıktı token sayısı) açısından, toplam gecikme için kısa prompt'lar (yaklaşık 18 token) ve uzun prompt'lar (yaklaşık 203 token) kullanan 300 test ile benchmark ettik. Bu AI gateway'lerinden birini kullanmayı planlıyorsanız şunları yapabilirsiniz: Bu benchmark'ta, OpenRouter, SambaNova, TogetherAI, Groq ve AI/ML…
- LLMÖzellik Karşılaştırması5 Kas
LLM Fiyatlandırması: En İyi 15+ Sağlayıcı Karşılaştırması
Mart 2023'teki GPT-3.5 Turbo’dan en son sürümlere kadar 160'tan fazla LLM'nin lansman fiyatlarını boyut sınıfına göre gruplandırarak takip ediyoruz. Ayrıca mevcut model'lerin API fiyatlarını benchmark sonuçlarıyla karşılaştırıyor ve büyük sağlayıcıların abonelik planlarını inceliyoruz. Fiyatlar milyon token başınadır; üç birim girdiye karşılık bir birim çıktı olacak şekilde harmanlanmıştır ve süre sınırlı promosyonları içermez. Açık ağırlıklı model'lerin…
- LLMİçgörü5 Kas
LLM Pazar Payı: Kullanım ve Benimsemeyi Karşılaştırın
LLM pazar payını, kullanım tabanlı verilerle web ziyareti tahminlerini birleştirerek analiz ettik; böylece büyük dil modellerine yönelik talebin yapay zeka laboratuvarları ve yapay zeka uygulamaları arasında nasıl dağıldığını gösteriyoruz. Bu sonuçları nasıl ölçtüğümüzü ve hesapladığımızı görmek için metodolojiyi okuyun. ABD, dört ay boyunca web ziyaretlerinde açık ara öndeydi ve sürekli olarak 90–%95 oranını oluşturdu. Bu,…
- LLMKıyaslama5 Kas
LLM Kullanım Durumlarına Göre Gecikme Kıyaslaması
Gecikmeyi nasıl ölçtüğümüze ilişkin ayrıntıları burada bulabilirsiniz. Akıl yürüten ve yürütmeyen modelleri ayrı ayrı raporluyoruz. Akıl yürüten modeller ilk görünür yanıt öncesinde birkaç saniye düşünür; bu yüzden onları gecikme açısından doğrudan akıl yürütmeyen modellerle karşılaştırmak yanıltıcı olur. Bazı modeller göreve göre davranış da değiştirir: GPT-5.2 soru-cevapta akıl yürütmeden yanıt verir, ancak kodlama prompt'larında akıl yürütür.…
- LLMÖzellik Karşılaştırması3 Kas
Sağlık Hizmetlerinde 9 Büyük Dil Modelini Karşılaştırın
MedQA dataset'ini kullanarak 9 LLM'i benchmark ettik; bu, USMLE sorularından türetilen lisansüstü düzeyde bir klinik sınav benchmark'ıdır. Her model, standart bir prompt kullanarak aynı çoktan seçmeli klinik senaryoları yanıtladı; bu da doğrulukların doğrudan karşılaştırılmasını sağladı. Ayrıca, toplam çalışma süresini tamamlanan MedQA öğesi sayısına bölerek soru başına gecikme süresini kaydettik. Benchmark metodolojisi: Bu benchmark, sağlık hizmetlerindeki…
- LLMKıyaslama3 Kas
Finans Alanında 90+ LLM'ler: Claude Opus 5.5 & Gemini 4 Argon
Test seti, 238 sorudan oluşan FinanceReasoning kıyaslamasının (Tang ve diğerleri) zor alt kümesidir. Doğruluk, doğru yanıtlanan soruların yüzdesidir. Sayısal yanıtlara %0,2 göreli tolerans uygulanır. Çıktı token'ları, 238 yanıt boyunca üretilen token'lardır. Girdi token'ları maliyet hesaplamasında ayrıca sayılır. Maliyet, maliyet analizimizde kaydedilen token sayıları ve ücretleri kullanılarak soru-yanıtlama çalışması için hesaplanan USD harcamadır. Bazı girdi sayıları…
- LLMKıyaslama3 Kas
AIM-Text-to-SQL Benchmark: SQL Doğruluğu 70+ LLM Genelinde
SQL doğruluğu, puanlanan sorgulardan referans sonucu döndürenlerin yüzdesidir. Yanlış rotalar ve bozuk olarak işaretlenen referanslar hariç tutulur. Referans sorgu, beklenen yanıt olarak sağlanan SQL ifadesidir. Her model, puanlama veritabanı seçimlerine bağlı olduğu için farklı bir SQL soru kümesine ulaşır. Bu alt kümelerdeki ve çalıştırma kurulumundaki farklılıklar karşılaştırmaları sınırlar. claude-opus-5.5 444/506 puanlanan soruda referans sonucu eşleştirdi.…
- LLMİçgörü2 Kas
LLM Parametreleri: Türler, Ölçekleme, İnce Ayar Rehberi
Parametre sayısı, büyük bir dil modelinin en çok alıntılanan özelliklerinden biridir; ancak bir modelin ne kadar iyi performans gösterdiğini veya çalıştırmanın ne kadara mal olduğunu belirlemez. Aşağıdaki grafik, 31 modeli LLM Endeksi puanına ve yedi benchmark'taki görev başına ortalama maliyetine göre karşılaştırır. Dört model, hiçbir başka modelin daha düşük maliyetle daha yüksek puan sunmadığı Pareto…