Finans Alanında 90+ LLM'ler: Claude Opus 5.5 & Gemini 4 Argon

Test seti, 238 sorudan oluşan FinanceReasoning kıyaslamasının (Tang ve diğerleri) zor alt kümesidir.¹ Doğruluk, doğru yanıtlanan soruların yüzdesidir. Sayısal yanıtlara %0,2 göreli tolerans uygulanır.

Çıktı token'ları, 238 yanıt boyunca üretilen token'lardır. Girdi token'ları maliyet hesaplamasında ayrıca sayılır.

Maliyet, maliyet analizimizde kaydedilen token sayıları ve ücretleri kullanılarak soru-yanıtlama çalışması için hesaplanan USD harcamadır. Bazı girdi sayıları tahminidir. Bu rakamlar yanıt çıkarma maliyetlerini kapsamaz. GPT-6.1 Terra, MiniMax M3.1 Flash ve Kimi K3.1 Pro için maliyetler, 27 Ekim 2026'da kontrol edilen ölçülmüş girdi ve çıktı sayıları ile OpenRouter fiyatlarını kullanır. DeepSeek V4.1 Flash 1017 ve Muse Spark Open, 30 Ekim 2026'da kontrol edilen ölçülmüş girdi ve çıktı sayıları ile OpenRouter liste fiyatlarını kullanır. Milyon token başına girdi/çıktı oranları sırasıyla $0,30/$1,20 ve $1,25/$4,25 şeklindedir. Bu hesaplamalar temel liste fiyatlarını kullanır ve önbelleği ve zamana dayalı indirimleri kapsamaz. Eski kayıtlar kendi kaydedilmiş fiyatlarını korur.

Doğruluk, token kullanımı ve maliyet bulguları

Muse Wonder ve Claude Opus 5.5 218 doğru yanıtta berabere

Muse Wonder ve Claude Opus 5.5 en yüksek kaydedilen skoru paylaşır: %91,60 (218/238). Gemini 4 Argon ve GPT-5.6 Sol Pro iki eksik soruyu doğru yanıtlar ve %90,76 (216/238) skor elde eder. GPT-5.6 Sol, Claude Fable 5.1, Claude Fable 5, Grok 4.6 ve GPT-6.1 Sol Pro her biri 215 doğru yanıtlayarak %90,34 skor elde eder.

Muse Wonder, $8,4098 karşılığında 407.149 çıktı token'ı üretir; Opus 5.5’in 144.834 çıktı token'ı ve $3,2532 ile karşılaştırılır. Muse Wonder maliyeti, ölçülen 66.706 girdi token'ını kullanır. Opus girdi kullanımı bir kardeş modelden tahmin edilmektedir. Çalıştırma kurulumları farklıdır ve tekrarlanan çalıştırma güvenilirliği henüz belirlenmemiştir.

Gemini 4 Argon, $2,65 karşılığında GPT-5.6 Sol Pro ile %90,76 seviyesinde eşleşiyor

Gemini 4 Argon %90,76 (216/238) skor elde eder ve $2,6477 karşılığında 249.825 çıktı token'ı üretir. GPT-5.6 Sol Pro aynı sayıda soruyu doğru yanıtlar; 385.886 çıktı token'ı ve $16,3533 maliyetle. Argon her soru için boş olmayan bir yanıt döndürdü. Maliyeti, ölçülmüş girdi ve çıktı token sayılarını kullanır.

GPT-6.1 Sol Pro, %90,34 seviyesinde berabere kalan modeller arasında en düşük maliyete sahip

GPT-6.1 Sol Pro, %90,34 seviyesinde berabere kalan beş model arasında en düşük hesaplanan maliyet olan $3,28 karşılığında 215 soruyu doğru yanıtlar. GPT-5.6 Sol $3,85, Grok 4.6 $4,45, Claude Fable 5.1 $8,64 ve Claude Fable 5 $10,05 tutar.

GPT-6.1 Sol Pro 187.502 çıktı token'ı üretir; GPT-5.6 Sol’un 117.735 çıktı token'ı ile karşılaştırılır. Daha düşük kaydedilmiş token oranları, daha uzun çıktıyı ve daha yüksek girdi sayısını dengeler. Berabere kalan bu modeller arasında GPT-5.6 Sol yine de en az çıktı token'ını kullanır.

GPT-6.1 Terra en az çıktı token'ını üretir

GPT-6.1 Terra, 96 model arasında en düşük sayı olan 79.655 çıktı token'ı kullanır. 207 soruyu doğru yanıtlar (%86,97) ve maliyeti $0,4617 olur. GPT-6 Sol 85.228 çıktı token'ı kullanır ve 212 soruyu doğru yanıtlar (%89,08), maliyeti $0,98 olur. GPT-6 Astra 87.774 token üretir, 208 soruyu doğru yanıtlar (%87,39) ve kaydedilen oranlarıyla $5,02 tutar.

GPT-6.1 Sol, $1,02 karşılığında 89.153 çıktı token'ı kullanarak 214 soruyu doğru yanıtlar (%89,92). Claude Sonnet 5.5, $1,61 karşılığında 142.728 token ile 212 doğruya ulaşır (%89,08). Her karşılaştırma aynı 238 soru üzerinde tamamlanan bir çalıştırmayı kapsar.

GPT-6 Luna, $0,0754 karşılığında %83 doğruluğu aşıyor

GPT-6 Luna, %83 üzerindeki modeller arasında en düşük kaydedilen maliyet olan $0,0754 karşılığında 207 soruyu doğru yanıtlar (%86,97). DeepSeek V4.1 Flash de $0,2572 karşılığında 207 soruyu doğru yanıtlar. GPT-6 Sol $0,9792 karşılığında sayıyı 212'ye çıkarır (%89,08).

GPT-OSS-120B, $0,0611 karşılığında %81,09 skor elde ederken, Llama 4 Maverick $0,0995 karşılığında %75,21 skor elde eder. Mistral Small 3.2 24B, %41,18 doğrulukla $0,0352 ile genel olarak en ucuz çalıştırmaya sahiptir.

Claude Haiku 5.5, $0,1506 karşılığında 204 soruyu yanıtlıyor

Claude Haiku 5.5, $0,1506 karşılığında 283.280 çıktı token'ı üreterek %85,71 (204/238) skor elde eder. Mistral Large 4, $3,3083 karşılığında 1.562.401 çıktı token'ı üreterek %87,39 (208/238) skor elde eder. Her iki çalıştırma da her soru için boş olmayan bir yanıt döndürdü.

Daha yüksek harcama daha yüksek skoru garanti etmez

O1 Pro, $381,28 ile en yüksek hesaplanan maliyete sahiptir ve %80,67 skor elde eder. O3 Pro %78,15 için $39,23 tutarken, O1 %74,79 için $46,59 tutar. Her biri $0,39 karşılığında Gemini 3 Flash Preview seviyesinin altında skor elde eder.

Hy4 Preview, karşılaştırmadaki en büyük sayı olan 4.119.093 çıktı token'ını üretir ve %89,92 skor elde eder. GPT-6.1 Sol, 89.153 token ile aynı 214 doğru yanıta ulaşır. DeepSeek R1 0528, %62,18 doğrulukta 1.251.064 token üretir; bu da çıktı uzunluğunun doğruluktan bağımsız değiştiğinin bir başka örneğidir.

Tüm 96 model için sonuçlar

Kaydedilen doğruluk değerleri bazı eski kayıtlarda farklı yuvarlama kullanır. GPT-5, Grok 4.5 ve Kimi K3, görüntülenen %88,23 ve %88,24 değerlerine rağmen her biri 210 doğru yanıta sahiptir. Model kimlikleri korunur ve maliyetler dört ondalık basamağa yuvarlanır.

Modellerin aynı finansal soruyu nasıl yanıtladığı

Sekiz model aynı tahvil fiyatlandırma sorusunu yanıtladı. Tahvilin maliyeti $950 olup yıllık nakit akışları $50, $50 ve $1,050 şeklindedir. Karşılık gelen Hazine spot oranları %1,5, %1,8 ve %2,0 olarak verilmiştir.

Bu alıntılar kaydedilmiş model yanıtlarından gelir. Özgün ifadeleri korur; biçimlendirme sadeleştirilmiş ve atlanan bölümler […] ile işaretlenmiştir. Her başlık, yanıt çıkarıcının seçtiği değeri ve kaydedilen kıyaslama sonucunu verir. Yedi model OpenRouter kullanırken, Opus 5.5 Claude Code kullandı.

Referans yanıt %4,92 olarak belirlenmiştir. Nakit akışı denklemini çözerek kontrol ettik; bu da yaklaşık %4,916972 verir. Altı model, %4,92 çıkarılan yanıtlarıyla geçti. Gemini 4 Argon, kıyaslamanın %0,2 göreli toleransının dışında kalan %4,94 döndürdü.

Muse Spark Open %4,90 ile %4,95 aralığını verdi ve ayrıca %4,92 değerini de andı. Yanıt çıkarıcı %4,90 değerini seçerek kayıtlı bir başarısızlık üretti. Bu yanıt, birden çok aday değerin yanıt çıkarımını nasıl etkileyebileceğini gösterir.

MiniMax M3.1 Flash %4,92 ile geçti. Açıklaması ayrıca bu farkı yaklaşık 49 baz puan olarak tanımlar. 4.92 yüzde puanlık bir fark 492 baz puana eşittir. Kıyaslama, çıkarılan son sayıyı puanladığı için geçer bir skor açıklamadaki bir hatayla bir arada bulunabilir.

Seçilen bu soru, bireysel yanıtları ve puanlama davranışını örnekler. Tüm 238 soruya ait sonuçlar daha geniş model karşılaştırmasını sağlar.

Geri getirme deneyi: 24 ek doğru yanıt

Mevcut deney raporumuz, bağımsız üretimi, modele verilen prompta geri getirilen belgeleri ekleyen geri getirme destekli üretimle (RAG) karşılaştırır. Aynı 238 soruluk sette doğru yanıt sayısının 104'ten 128'e çıktığını kaydeder.

Deney notları, test edilen modeli GPT-4o Mini olarak etiketler. Ana sonuçlar tablosu aynı taban doğruluğu ve token sayısını O4 Mini'ye atar. RAG model kimliğinin asıl çalıştırma kayıtlarıyla doğrulanması gerekir. Token sütununda ayrıca doğrulanmış bir girdi/çıktı ayrımı bulunmadığından yukarıdaki çıktı token sütunuyla doğrudan karşılaştırılamaz.

Kaydedilen süre yaklaşık 3 dakikadan 59 dakikaya çıkar. İstek başına gecikme ve geri getirme için harcanan ayrı süre burada belirlenmemiştir. Test yalnızca bildirilen bir modeli kapsadığından, diğer modellerde RAG hakkında sonuçları sınırlar.

Kaydedilen geri getirme kurulumu

Geçmiş notlar, kıyaslamanın bilgi külliyatından finansal açıklamalar ve Python işlevleri içeren bir Qdrant dizini tanımlar. Text-embedding-3-small 1.536 boyutlu vektörler üretir. Belgeler bölümlere ayrılır ve her işlev ayrı bir parça oluşturur.

Her soru ve bağlamı için pipeline, kosinüs benzerliği kullanarak iki koleksiyonda arama yapar; üç belge parçası ve iki işlev getirir. Bu notlar, sorgu başına iki embedding çağrısı ve yaklaşık 300–500 girdi token'ından 3.000–5.000 girdi token'ına çıkışı kaydeder. Getirilen materyal üretim promptuna dahil edilir. Bu kurulum ayrıntıları geçmiş raporun parçası olmaya devam eder. Bu yeniden yazım için incelenen yerel geri getirme betiği, bu belirli Qdrant çalıştırmasının yürütüldüğünü doğrulamaz.

Finansal muhakeme kıyaslama metodolojisi

Questions and prompting

FinanceReasoning’in 238 sorudan oluşan zor alt kümesini kullandık. Her soru bağlam ve referans bir yanıt sağlar. Bağlam; finansal tablolar, zaman serileri veya finansal bir hesaplamanın girdilerini içerebilir.

Bir örnek, 25 günlük hisse senedi fiyatlarından son üst Keltner Kanalı bandını; 10 günlük üstel hareketli ortalama, 10 günlük ortalama gerçek aralık ve 1.5 çarpanı kullanarak ister. Yanıtın iki ondalık basamakla verilmesi istenir. Çözmek için hareketli ortalamanın ve gerçek aralığın hesaplanması, sonra üst bant formülünün uygulanması gerekir.

Zincirleme düşünme (chain-of-thought) prompting ile modelin hesaplama boyunca ilerlemesi ve sayısal bir yanıtla bitirmesi istenir. Soru ve bağlam, ücretsiz biçimli bir üretim görevinde modele verilir. Eylül ve Ekim 2026'da eklenen 40 model, OpenRouter üzerinden tüm 238 soru için eksik çıktı olmadan inference ve değerlendirmeyi tamamladı. Opus 5.5’in kabul edilen sonucu, ana API pipeline'ından farklı bir çalıştırma kurulumundan gelir. Bu nedenle çalıştırma koşulları karşılaştırma boyunca değişiklik gösterir.

Answer extraction and scoring

Değerlendirme, üretilen yanıttan bir yanıt çıkarır ve ardından bunu referansla karşılaştırır. Mevcut yapılandırmamız, yanıt çıkarımı için Claude Sonnet 4.5 kullanır. Sayısal yanıtlar, mutlak hataları referans yanıtın mutlak değerinin en fazla %0,2 olduğunda geçer.

Doğruluk, doğru yanıt sayısının 238'e bölünmesiyle elde edilir. Bir soru skoru yaklaşık 0.42 yüzde puanı değiştirir. Doğru yanıt sayıları, kaydedilen yüzdelerin yuvarlamada farklı olduğu durumlarda beraberlikleri açık hale getirir.

Token ve maliyet hesaplamaları

Çıktı token toplamları model kullanım kayıtlarından gelir. Maliyeti, girdi ve çıktı token'larını kaydedilen milyon token başına fiyatlarıyla birleştirerek hesaplarız:

Kayıtlı fiyatlar, kullanımdan kaldırılmış modeller için geçmiş oranları içerir. Tahmini girdi sayıları altta yatan sonuçlar tablosunda işaretlenir. Opus 5.5’in maliyeti, ölçülen 144.834 çıktı token'ını kardeş modelden alınan tahmini 89.138 girdi token'ıyla birleştirir; milyon girdi token başına $4 ve milyon çıktı token başına $20 kullanır. Bu da $3,2532 üretir.

Maliyetler, nihai olarak tutulan yanıt üretimi yanıtlarını kapsar. Değerlendirme modeli çağrıları, başarısız veya yerini almış yeniden denemeler ve RAG dizinleme veya embedding ücretleri bu hesaplamanın dışındadır. Tokenleştiricilerdeki, üretim ayarlarındaki ve çalıştırma kurulumundaki farklılıklar da karşılaştırmaları etkiler.

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

Kıyaslamanın sınırlılıkları

Bu genel dataset, model eğitim verilerinde görünmüş olabilir. Bu nedenle skorlar, bir modelin görülmemiş finansal sorunları ne kadar iyi ele aldığını belirleyemez.

Sonuçlar sabit bir soru setini ve kaydedilen çalıştırmaları kapsar. Tekrarlanan çalıştırma değişkenliği ve istatistiksel anlamlılık belirlenmemiştir. LLM tabanlı yanıt çıkarma hatalara yol açabilir ve son yanıtı puanlamak açıklamadaki her adımı doğrulamaz.

Tahmini girdi sayıları ve kayıtlı fiyatlar maliyet hassasiyetini sınırlar. Ayrı RAG raporumuzda yukarıda açıklandığı gibi çözülmemiş model atıfı ve token muhasebesi vardır. Rakamları, kaynak mutabakatına kadar geçmiş gözlemler olarak kalır.

Bu kıyaslama, finansal soru yanıtlamayı ölçer. Yatırım getirilerini, mevzuat uyumunu, dolandırıcılık tespitini veya dağıtım güvenilirliğini test etmez.

İleri okuma

Yapay zeka tabanlı Hisse Senedi Ticareti ayrı bir finansal uygulamayı kapsar. sabit soru seti.

Bu benchmarkı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Finans Alanında 90+ LLM'ler: Claude Opus 5.5 & Gemini 4 Argon}},
  year   = {2026},
  month  = oct,
  howpublished    = {\url{https://aimultiple.com/finance-llm}},
  note   = {AIMultiple. Erişim tarihi: 30 Ekim 2026}
}

Referans Linkleri

1.

[2506.05828] FinanceReasoning: Benchmarking Financial Numerical Reasoning More Credible, Comprehensive and Challenging

Ekrem Sarı

Yapay Zeka Araştırmacısı

Takip Et

Ekrem, AIMultiple'da Yapay Zeka Araştırmacısı ve Veri Bilimcidir. Yapay zeka ve LLM sistemleri için uygulamalı benchmark'lar tasarlar ve yürütür.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder