HALC-Bench: LLM Uzun Bağlamda Erişim Karşılaştırmasında Halüsinasyon
HALC-Bench (LLM Uzun Bağlamda Erişim Karşılaştırmasında Halüsinasyon), bir büyük dil modelinin, modelin bağlam penceresinin başına, ortasına ve sonuna yerleştirilmiş 3 samanlık kullanarak, hedef belgede bulunmayan bir metrik için kanıt uydurma direncini 204 soru ile ölçer.
Sonuçlar
claude-fable-5, her samanlık konumunda 204 tuzağın tümünü doğru yanıtladı. Kalan modeller arasında en az halüsinasyonu gpt-5.5 yaptı. Samanlık yeri ile halüsinasyon oranları arasında bir korelasyon bulunamadı.
Metodoloji
204 soru, bilgi kesim tarihinden sonraki Motley Fool makalelerinden hazırlanmıştır ve samanlıklar modelin bağlam penceresinin 0,1, 0,5 ve 0,9'una yerleştirilmiştir.
Karşılaştırılan modeller ve test edilen token cinsinden bağlam pencereleri aşağıdadır:
- anthropic/claude-fable-5: 850.000 token test edildi
- openai/gpt-5.5: 1.000.000 token
- google/gemini-3.1-pro-preview: 1.000.000 token
- google/gemini-3.5-flash: 1.000.000 token
- anthropic/claude-opus-4.8: 1.000.000 token reklam edildi, 850.000 test edildi.
- anthropic/claude-sonnet-4.6: 1.000.000 token
- qwen/qwen3.6-plus: 1.000.000 token
- moonshotai/kimi-k2.6: 200.000 token
- z-ai/glm-5.1: 200.000 token
- minimax/minimax-m2.7: 150.000 token
- openai/gpt-5.4-mini: 250.000 token
claude-opus-4.8, 1.000.000 token bağlam penceresi testlerinin girdisini başarıyla alamadığı için 850.000 seviyesinde test edilmiştir.
claude-fable-5, Claude Code aracılığıyla test edilmiştir: model, 850.000 token samanlığı bir dosya olarak alır ve bağlam penceresinden okumak yerine erişim araçlarıyla arar, bu nedenle puanları modeli Claude Code donanımıyla birlikte ölçer.
Question format
Hedef transkriptte hiçbir yerde tartışılmayan bir metrik hakkında bir iddia.
Örnek iddia: DocuSign (DOCU) tarafından 2026'nın 4. çeyreği için raporlanan Kapsam 1 ve 2 karbon emisyonları 8.700 metrik ton CO2e'dir.
Beklenen cevap: Bahsedilmemiş
Veri kaynağı
Veri kaynağı olarak modellerin bilgi kesim tarihinden sonra yayınlanan Motley Fool transkriptleri kullanılmıştır. Her transkriptin gerçek içerik boşluklarına dayalı olarak elle yazılmış tuzaklar. 14 kaynak transkriptin her biri için:
- Transkriptte bulunmayan metrik kategorilerini manuel olarak belirleme (örneğin, DocuSign 2026'nın 4. çeyreği asla ESG / karbon metriklerini tartışmaz; Adobe asla APAC gelirini ayrıntılandırmaz; Lennar bir ev inşaatçısı olduğu için asla Ar-Ge harcaması raporlamaz).
- Gerçekçi bir sayı, birim ve çeyrek referansı ile makul görünen bir iddia oluşturma.
- Gövde metnine karşı anahtar kelime araması yoluyla yokluğu programatik olarak doğrulama. Her iddianın 3-8 anahtar kelime varyantı vardır (örneğin, "karbon emisyonları", "kapsam 1", "kapsam 2", "ghg", "co2"); herhangi bir anahtar kelime temizlenmiş gövdeye isabet ederse, tuzak belirsiz olarak reddedilir.
- Anahtar kelime kontrolünden kaynaklanan yanlış negatifleri filtrelemek için hayatta kalanları elle inceleme.
Bu neden halüsinasyonu izole eder?
Hedef belge metriği tartışmaz, ancak samanlıktaki çeldirici belgeler genellikle diğer şirketler için benzer metrikleri tartışır. Halüsinasyon gören bir model:
- Ya çeldiricilere dayanarak bir sayı uyduracaktır
- Ya da metriğin yanlış bir değerle bahsedildiğini iddia edecektir (not_mentioned yerine no tahmin ederek)
Her iki başarısızlık modu da skor = 0 olarak kaydedilir. Yalnızca doğru şekilde "bahsedilmemiş" cevabını vermek 1,0 puan alır.
Puanlama kuralı
Skor = eğer tahmin == not_mentioned ise 1,0, değilse 0,0.
En tanısal hata örüntüsü, beklenen = not_mentioned olduğunda tahmin = no olmasıdır. Bu, modelin metriği gördüğünü ancak yanlış bir değerle iddia ettiği anlamına gelir. Varlığına dair kanıt uydurmuştur.
Kaynak transkripte göre tuzak dağılımı
Testin tek bir alanda halüsinasyonu ölçmemesi için tasarlanmış 14 kaynak transkripti boyunca transkript başına ~17 tuzak, 10 sektörü (yarı iletkenler, SaaS, perakende, restoranlar, tüketim ürünleri, ev inşaatı, finans, gıda üretimi, kurumsal donanım ve diğerleri) kapsar.
Karşılaştırmada, bağlam penceresi içinde farklı samanlık konumlarına yerleştirilmiş toplam 204 farklı soru kullanılmıştır.
Daha fazla okuma
- AI Kod Karşılaştırması: LMC-Eval
- LLM Fiyatlandırması: Büyük Sağlayıcılar Karşılaştırıldı
- AI Bellek Karşılaştırması
- AI Ajan Performansı: Başarı Oranları ve ROI
Tercih edilen kaynak olarak ekleBu benchmarkı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{HALC-Bench: LLM Uzun Bağlamda Erişim Karşılaştırmasında Halüsinasyon}},
year = {2026},
month = jul,
howpublished = {\url{https://aimultiple.com/ai-hallucination}},
note = {AIMultiple. Erişim tarihi: 7 Temmuz 2026}
}
Yorumlar 4
Düşüncelerinizi Paylaşın
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.
This article is updated in June while the GPT 5 is announced in August. How did you test GPT 5 in AI Hallucination Rates figure
Hi! Thanks for your comment. We use WordPress for our articles, which allows us to update graphs and tables independently of the main text. This means that even if the article text shows an earlier update date, we can still add the latest results to the figures without altering the written sections.
Hi Cem, I've been using this article as a reference of severity of hallucination. Is it possible to refresh the report with the newly released GPT-5? Thanks!
Hi Rui, Thanks a lot for your interest and for using our article as a reference. We’ve already refreshed the report with GPT-5 results, so you’ll find the latest updates included in the article.
Is there any chance that you might add Claude Sonnet/Opus 4 as well as Gemini 2.5 Pro?
Hi Tim, Thank you for your support and suggestion. Claude Sonnet/Opus 4 and Gemini 2.5 Pro have already been added to the article, so you can now see them included in the comparisons.
Hi, thank you for interesting benchmark! I was wondering Grok3's hallucination rate, both in Think mode and without. Are you planning to add these?
Hi Joon and thank you for your comment, Yes, we are waiting for API access.