Finans Alanında 90+ LLM Benchmark'ı: Claude Opus 5.5 ve Gemini 4 Argon

Test seti, FinanceReasoning benchmark'ının (Tang ve diğerleri) 238 soruluk zorlu alt kümesidir.¹ Doğruluk, doğru yanıtlanan soruların yüzdesidir. Sayısal yanıtlara %0,2 göreli tolerans uygulanır.

Çıktı token'ları, 238 yanıt boyunca üretilen token'lardır. Girdi token'ları maliyet hesaplamasında ayrı olarak sayılır.

Maliyet, maliyet analizimizde kaydedilen token sayılarına ve fiyatlarına dayanarak soru yanıtlama çalışması için hesaplanan ABD doları harcamasıdır. Bazı girdi sayıları tahminidir. Bu rakamlar yanıt çıkarma maliyetlerini içermez ve yeni bir fiyat kontrolü anlamına gelmez.

Doğruluk, token kullanımı ve maliyet bulguları

Muse Wonder ve Claude Opus 5.5, 218 doğru yanıtta berabere

Muse Wonder ve Claude Opus 5.5 en yüksek kayıtlı puanı paylaşıyor: %91,60 (218/238). Gemini 4 Argon ve GPT-5.6 Sol Pro iki daha az soruyu doğru yanıtlayarak %90,76 (216/238) puan alıyor. GPT-5.6 Sol, Claude Fable 5.1, Claude Fable 5, Grok 4.6 ve GPT-6.1 Sol Pro her biri 215 soruyu doğru yanıtlayarak %90,34 puan alıyor.

Muse Wonder, $8,4098 için 407.149 çıktı token'ı üretir; buna karşılık Opus 5.5'in 144.834 çıktı token'ı ve $3,2532 vardır. Muse Wonder'ın maliyeti, ölçülen 66.706 girdi token'ını kullanır. Opus girdi kullanımı kardeş bir modelden tahmin edilmiştir. Çalıştırma kurulumları farklıdır ve tekrarlı çalıştırma güvenilirliği belirlenmemiştir.

Gemini 4 Argon, %90,76 ile GPT-5.6 Sol Pro'nun $2,65 karşılığındaki performansına eşleşiyor

Gemini 4 Argon %90,76 (216/238) puan alıyor ve $2,6477 için 249.825 çıktı token'ı üretiyor. GPT-5.6 Sol Pro aynı sayıda soruyu doğru yanıtlıyor ve 385.886 çıktı token'ıyla $16,3533 maliyete ulaşıyor. Argon her soru için boş olmayan bir yanıt döndürdü. Maliyeti, ölçülen girdi ve çıktı token sayılarını kullanır.

GPT-6.1 Sol Pro, %90,34 ile berabere kalan modeller arasında en düşük maliyete sahip

GPT-6.1 Sol Pro, $3,28 karşılığında 215 soruyu doğru yanıtlar; bu, %90,34 ile berabere kalan beş model arasındaki en düşük hesaplanan maliyettir. GPT-5.6 Sol maliyeti $3,85, Grok 4.6 maliyeti $4,45, Claude Fable 5.1 maliyeti $8,64 ve Claude Fable 5 maliyeti $10,05 şeklindedir.

GPT-6.1 Sol Pro 187.502 çıktı token'ı üretir; buna karşılık GPT-5.6 Sol'un 117.735 çıktı token'ı vardır. Daha düşük kayıtlı token fiyatları, daha uzun çıktıyı ve daha yüksek girdi sayısını dengeler. Bu berabere kalan modeller arasında GPT-5.6 Sol hâlâ en az çıktı token'ını kullanır.

GPT-6 Sol en az çıktı token'ını üretir

GPT-6 Sol, 91 model arasında en düşük sayı olan 85.228 çıktı token'ını kullanır. $0,98 karşılığında 212 soruyu doğru yanıtlar (%89,08). GPT-6 Astra 87.774 token üretir, 208 soruyu doğru yanıtlar (%87,39) ve kayıtlı fiyatlarıyla $5,02 maliyete gelir.

GPT-6.1 Sol, $1,02 karşılığında 89.153 çıktı token'ı kullanarak 214 soruyu doğru yanıtlar (%89,92). Claude Sonnet 5.5, $1,61 maliyetle 142.728 token kullanarak 212 doğru yanıta ulaşır (%89,08). Her karşılaştırma, aynı 238 soru üzerinde tamamlanmış bir çalıştırmayı kapsar.

GPT-6 Luna $0,0754 karşılığında %83 doğruluğu aşıyor

GPT-6 Luna, $0,0754 karşılığında 207 soruyu doğru yanıtlar (%86,97); bu, %83 üzerindeki modeller arasında kayıtlı en düşük maliyettir. DeepSeek V4.1 Flash da $0,2572 karşılığında 207 soruyu doğru yanıtlar. GPT-6 Sol, $0,9792 karşılığında sayıyı 212 doğru yanıta çıkarır (%89,08).

GPT-OSS-120B, $0,0611 karşılığında %81,09 puan alırken, Llama 4 Maverick $0,0995 karşılığında %75,21 puan alır. Mistral Small 3.2 24B, %41,18 doğrulukla $0,0352 ile genel olarak en ucuz çalıştırmaya sahiptir.

Claude Haiku 5.5 $0,1506 karşılığında 204 soru yanıtlıyor

Claude Haiku 5,5 %85,71 (204/238) puan alır ve $0,1506 için 283.280 çıktı token'ı üretir. Mistral Large 4 %87,39 (208/238) puan alır ve $3,3083 için 1.562.401 çıktı token'ı üretir. Her iki çalıştırma da her soru için boş olmayan bir yanıt döndürdü.

Daha yüksek harcama daha yüksek puanı garanti etmez

O1 Pro en yüksek hesaplanan maliyete sahiptir, $381,28, ve %80,67 puan alır. O3 Pro %78,15 için $39,23 tutarken, O1 %74,79 için $46,59 tutar. Her ikisi de $0,39 maliyetli Gemini 3 Flash Preview modelinin altında puan alır.

Hy4 Preview, karşılaştırmadaki en büyük sayı olan 4.119.093 çıktı token'ını üretir ve %89,92 puan alır. GPT-6.1 Sol, 89.153 token ile aynı 214 doğru yanıta ulaşır. DeepSeek R1 0528, %62,18 doğrulukla 1.251.064 token üretir; bu, çıktı uzunluğunun doğruluktan bağımsız olarak değiştiğine bir başka örnektir.

Tüm 91 model için sonuçlar

Kayıtlı doğruluk değerleri bazı eski satırlarda farklı yuvarlama kullanır. GPT-5, Grok 4.5 ve Kimi K3; görüntülenen %88,23 ve %88,24 değerlerine rağmen her biri 210 doğru yanıta sahiptir. Model tanımlayıcıları korunur ve maliyetler dört ondalık basamağa yuvarlanır.

Belge getirme deneyi: 24 ek doğru yanıt

Mevcut deney raporumuz, tek başına üretimi; bir model'in prompt'una getirilen belgeleri ekleyen belge getirme ile zenginleştirilmiş üretim (RAG) ile karşılaştırır. Aynı 238 soruluk sette doğru yanıt sayısının 104'ten 128'e yükseldiğini kaydeder.

Deney notları test edilen modeli GPT-4o Mini olarak etiketliyor. Ana sonuç tablosu aynı temel doğruluk ve token sayısını O4 Mini'ye atar. RAG model kimliğinin orijinal çalıştırma kayıtlarıyla doğrulanması gerekir. Token sütunu ayrıca doğrulanmış bir girdi/çıktı ayrımı içermediğinden, yukarıdaki çıktı token'ı sütunuyla doğrudan karşılaştırılamaz.

Kayıtlı süre yaklaşık 3 dakikadan 59 dakikaya yükselir. İstek başına gecikme ve belge getirmeye ayrılan ayrı süre burada belirlenmemiştir. Test, sonuçları diğer modellerdeki RAG hakkındaki çıkarımları sınırlayan yalnızca bir raporlanmış modeli kapsıyordu.

Kayıtlı belge getirme kurulumu

Tarihsel notlar, benchmark'ın bilgi külliyatından finansal açıklamalar ve Python fonksiyonları içeren bir Qdrant dizinini tanımlar. Text-embedding-3-small, 1.536 boyutlu vektörler üretir. Belgeler bölümlere göre ayrılır ve her fonksiyon ayrı bir yığın oluşturur.

Her soru ve bağlamı için pipeline, kosinüs benzerliği kullanarak iki koleksiyonda arama yapar; üç belge yığını ve iki fonksiyon getirir. Bu notlar, sorgu başına iki embedding çağrısı ve girdi token'larında yaklaşık 300–500'den 3.000–5.000'e yükseliş kaydeder. Getirilen materyal üretim prompt'una dahil edilir. Bu kurulum ayrıntıları tarihsel raporun bir parçası olmaya devam eder. Bu yeniden yazım için incelenen yerel getirme betiği, bu belirli Qdrant çalıştırmasının yürütüldüğünü kanıtlamaz.

Finansal akıl yürütme benchmark metodolojisi

Questions and prompting

FinanceReasoning'in 238 soruluk zorlu alt kümesini kullandık. Her soru bağlam ve bir referans yanıt sağlar. Bağlam; finansal tabloları, zaman serilerini veya finansal bir hesaplamanın girdilerini içerebilir.

Bir örnek, 25 günlük hisse senedi fiyatlarından son üst Keltner Channel bandını, 10 günlük üstel hareketli ortalama, 10 günlük ortalama gerçek aralık ve 1.5 çarpanını kullanarak ister. Yanıtın iki ondalık basamakla verilmesi istenir. Çözmek, hareketli ortalama ve gerçek aralığı hesaplamayı, ardından üst bant formülünü uygulamayı gerektirir.

Zincirleme düşünme prompt'u ile modelden hesaplamayı adım adım yapması ve sayısal bir yanıtla bitirmesi istenir. Soruyu ve bağlamı ücretsiz biçimli bir üretim görevinde alır. Eylül ve Ekim 2026'da eklenen 35 modelin her biri, 238 sorunun tümü için OpenRouter üzerinden inference ve değerlendirmeyi eksik çıktı olmadan tamamladı. Opus 5.5'in kabul edilen sonucu, ana API pipeline'ından farklı bir çalıştırma kurulumundan gelir. Bu nedenle yürütme koşulları karşılaştırma boyunca değişiklik gösterir.

Answer extraction and scoring

Değerlendirme, üretilen yanıttan bir cevap çıkarır ve ardından bunu referansla karşılaştırır. Mevcut yapılandırmamız, yanıt çıkarma için Claude Sonnet 4.5 kullanır. Sayısal yanıtlar, mutlak hata referans yanıtın mutlak değerinin en fazla %0,2 değerinde olduğunda geçer.

Doğruluk, doğru yanıt sayısının 238'e bölünmesiyle elde edilir. Bir soru puanı yaklaşık 0.42 yüzde puanı değiştirir. Doğru yanıt sayıları, kayıtlı yüzdelerin yuvarlamada farklılık gösterdiği durumlarda beraberlikleri açık hale getirir.

Token ve maliyet hesaplamaları

Çıktı token'ı toplamları model kullanım kayıtlarından gelir. Maliyeti, girdi ve çıktı token'larını kayıtlı milyon token başına fiyatlarıyla birleştirerek hesaplarız:

Depolanan fiyatlar, kullanımdan kaldırılmış modeller için geçmiş fiyatları içerir. Tahmini girdi sayıları temel sonuç tablosunda işaretlenir. Opus 5.5'in maliyeti; ölçülen 144.834 çıktı token'ını, kardeş bir modelden alınan tahmini 89.138 girdi token'ıyla, milyon girdi token'ı başına $4 ve milyon çıktı token'ı başına $20 kullanarak birleştirir. Bu, $3,2532 üretir.

Maliyetler, nihai olarak tutulan yanıt üretimi yanıtlarını kapsar. Değerlendirme model çağrıları, başarısız veya geçersiz kılınan yeniden denemeler ve RAG dizinleme veya embedding ücretleri bu hesaplamanın dışındadır. Tokenizer'lardaki, üretim ayarlarındaki ve yürütme kurulumundaki farklılıklar da karşılaştırmaları etkiler.

Benchmark sınırlamaları

Bu herkese açık dataset, model eğitim verilerinde yer almış olabilir. Bu nedenle puanlar, bir modelin görülmemiş finansal sorunları ne kadar iyi ele aldığını belirleyemez.

Sonuçlar, sabit bir soru setini ve kayıtlı çalıştırmaları kapsar. Tekrarlı çalıştırma varyasyonu ve istatistiksel anlamlılık belirlenmemiştir. LLM tabanlı yanıt çıkarma hatalara yol açabilir ve nihai yanıtı puanlamak açıklamadaki her adımı doğrulamaz.

Tahmini girdi sayıları ve depolanan fiyatlar maliyet hassasiyetini sınırlar. Ayrı RAG raporumuz, yukarıda açıklandığı gibi çözülmemiş model atıfı ve token muhasebesine sahiptir. Bu rakamlar, kaynak mutabakatı tamamlanana kadar geçmişe ait gözlemler olarak kalır.

Bu benchmark, finansal soru yanıtlamayı ölçer. Yatırım getirilerini, mevzuat uyumluluğunu, dolandırıcılık tespitini veya dağıtım güvenilirliğini test etmez.

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

Ek okuma

Yapay Zeka Tabanlı Hisse Senedi Alım Satımı ayrı bir finansal uygulamayı ele alır. Sabit bir soru seti. Tekrarlı çalıştırma güvenilirliği ölçülmemiştir.

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Finans Alanında 90+ LLM Benchmark'ı: Claude Opus 5.5 ve Gemini 4 Argon}},
  year   = {2026},
  month  = oct,
  howpublished    = {\url{https://aimultiple.com/finance-llm}},
  note   = {AIMultiple. Erişim tarihi: 1 Ekim 2026}
}

Referans Linkleri

1.

[2506.05828] FinanceReasoning: Benchmarking Financial Numerical Reasoning More Credible, Comprehensive and Challenging

Ekrem Sarı

Yapay Zeka Araştırmacısı

Takip Et

Ekrem, AIMultiple'da Yapay Zeka Araştırmacısı ve Veri Bilimcidir. Yapay zeka ve LLM sistemleri için uygulamalı benchmark'lar tasarlar ve yürütür.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder