Yapay Zeka Halüsinasyon Tespit Araçları: W&B Weave ve Comet
Üç halüsinasyon tespit aracı olan Weights & Biases (W&B) Weave HallucinationFree Scorer, Arize Phoenix HallucinationEvaluator ve Comet Opik Hallucination Metric'i 100 test senaryosu üzerinde kıyasladık.
Her araç doğruluk, hassasiyet, duyarlılık ve gecikme süresi açısından değerlendirildi.
Yapay zeka halüsinasyon tespit araçları kıyaslaması
Kaynak bağlamlarına göre olgusal soru-cevap senaryolarından 100 yanıtı (50 doğru, 50 halüsinasyonlu) test ettik.
Doğruluk ve gecikme süresi karşılaştırması
Test süreci hakkında daha fazla ayrıntı için kıyaslama metodolojisi. bölümüne bakın.
W&B Weave ve Arize Phoenix sırasıyla %91 ve %90 ile neredeyse aynı doğruluk oranına ulaştı. Her iki araç da veri kümesi genelinde güvenilir performans sergiledi. Comet Opik, %72 doğrulukla geride kaldı; 100 testten yalnızca 72'sini doğru sınıflandırdı; bu, tutucu yaklaşımının neden olduğu önemli bir farktı.
Hız açısından, Arize Phoenix test başına 2 saniye ile kazanan oldu ve bu da onu gerçek zamanlı uygulamalar için uygun hale getirdi. W&B Weave testleri 4 saniyede işledi ki bu çoğu üretim kullanım durumu için makuldür. Comet Opik, test başına 8,5 saniye ile belirgin şekilde daha yavaştı ve bu, gecikmeye duyarlı uygulamalarda kullanıcı deneyimini etkileyebilir.
F1 skoru, hassasiyet ve duyarlılık
F1 skorları (hassasiyet ve duyarlılığın harmonik ortalaması) bu modelleri doğruladı: W&B Weave %90,5 ve Phoenix %89,4 ile her ikisi de güçlü ve dengeli bir performans gösterdi. Buna karşılık Opik'in %61,1'lik skoru, mükemmel hassasiyet ile zayıf duyarlılık arasındaki ödünleşimi yansıttı. Opik'in sıfır yanlış pozitifi, 28 yanlış negatif pahasına elde edildi, bu da onu yalnızca yanlış alarmların gözden kaçan tespitlerden daha maliyetli olduğu senaryolar için uygun hale getirdi.
Duyarlılık (gerçek halüsinasyonları yakalama yeteneği) belirgin stratejiler ortaya koydu. W&B Weave %86 duyarlılıkla liderdi; 50 halüsinasyondan 43'ünü yakaladı ve yalnızca 7'sini kaçırdı. Phoenix %84 ile yakından takip etti; 42 halüsinasyonu tespit etti ve 8'ini kaçırdı. Comet Opik'in duyarlılığı %44 ile önemli ölçüde daha düşüktü; yalnızca 22 halüsinasyonu yakaladı ve 28'ini kaçırdı; gerçek halüsinasyonların yarısından fazlası tespit edilemedi.
Hassasiyet (uyarı güvenilirliği) önemli farklılıklar gösterdi. Comet Opik, sıfır yanlış pozitifle mükemmel %100 hassasiyete ulaştı; bir şeyi halüsinasyon olarak işaretlediğinde her zaman doğruydu. Hem Phoenix (%95,5) hem de Weave (%95,6) neredeyse aynı hassasiyeti gösterdi; her biri 50 geçerli yanıttan yalnızca 2 yanlış pozitif üretti ve aşırı tutucu olmadan güçlü bir güvenilirlik sergiledi.
Performans farklılıklarını etkileyebilecek faktörler
Gözlemlenen performans farklılıkları muhtemelen tasarım felsefesi, eşik seçimi ve temellendirme yorumlamasından kaynaklanmaktadır.
Tespit stratejisindeki ve optimizasyon hedeflerindeki farklılıklar
- Araçlar aynı hedef yerine farklı hata ödünleşimleri için optimize edilmiş görünmektedir.
- W&B Weave ve Arize Phoenix, yüksek hassasiyeti korurken halüsinasyonların çoğunu yakalayarak dengeli bir performansı hedefler.
- Comet Opik, birçok halüsinasyon gözden kaçırılsa bile sıfır yanlış pozitifi önceleyen son derece tutucu bir strateji benimser.
- Bu stratejik seçim, Opik'in mükemmel hassasiyetini ve önemli ölçüde düşük duyarlılığını doğrudan açıklar.
Araç tasarımına gömülü hassasiyet–duyarlılık ödünleşimleri
- Comet Opik'in sıfır yanlış pozitifi, yalnızca güven çok yüksek olduğunda halüsinasyonları işaretleyen katı bir karar eşiğine işaret eder.
- W&B Weave ve Phoenix, çok daha yüksek duyarlılık karşılığında bazı yanlış pozitiflere izin veren daha az kısıtlayıcı eşikler kullanır.
- Bu eşik farklılıkları şunlara yol açabilir:
- Weave ve Phoenix arasında benzer hassasiyet
- Opik ile diğer iki araç arasında büyük duyarlılık farkları
- F1 skoru ve genel doğrulukta buna karşılık gelen farklılıklar
LLM-as-a-judge uygulamasındaki farklılıklar
- Her üç araç da bir LLM-as-a-judge yaklaşımı kullansa da, uygulamaları farklılık gösterir.
- W&B Weave, ince desteklenmeyen iddialara karşı duyarlılığı artırabilecek düşünce zinciri akıl yürütmesini vurgular.
- Arize Phoenix, daha nüanslı yargıları destekleyen güven skorlarıyla birlikte etiket tabanlı çıktılar sunar.
- Comet Opik, yanlış alarmları azaltan ancak sınırda halüsinasyonlara duyarlılığı sınırlayan yüksek güvenli ikili kararlara odaklanır.
Değerlendirme derinliğine bağlı gecikme süresi farklılıkları
- Arize Phoenix'in düşük gecikme süresi, gerçek zamanlı kullanım için uygun, daha hafif veya daha akıcı bir değerlendirme hattına işaret eder.
- W&B Weave'in orta düzeydeki gecikme süresi, daha zengin akıl yürütme ve iz günlüğüyle tutarlıdır.
- Comet Opik'in daha yüksek gecikme süresi, tutucu tasarımını pekiştiren daha kapsamlı iç akıl yürütme veya doğrulama adımlarını yansıtıyor olabilir.
Yapay zeka halüsinasyon tespit araçları
W&B Weave'in HallucinationFree Scorer'ı
Şekil 1: W&B Weave'in izleme gösterge paneli.
Weights & Biases (W&B), kaynak bağlamda bulunmayan iddiaları ortaya atan LLM çıktılarını işaretleyen bir HallucinationFree Scorer ile gelir. Bir LLM yargıcını her yanıt üzerinde çalıştırır ve kararla birlikte dayalı/dayalı değil hükmünü ve arkasındaki gerekçeyi döndürür.
Scorer iki girdi alır: bağlam (kaynak materyal) ve çıktı (LLM tarafından oluşturulan yanıt). Daha sonra, çıktının bağlamda bulunmayan bilgileri içerip içermediğini analiz etmek için bir dil modeli kullanır. Sonuç, bir boole has_hallucination bayrağı ve kararı açıklayan gerekçeyi içerir.
Temel özellikler:
- Düşünce zinciri akıl yürütme: Her değerlendirme, çıktının neden halüsinasyon olarak işaretlendiğine veya işaretlenmediğine dair bir açıklama içerir.
- İkili sınıflandırma: Destekleyici kanıtlarla birlikte net doğru/yanlış kararları döndürür.
- Weave izleme ile entegrasyon: Sonuçlar görselleştirme için Weave gösterge paneline otomatik olarak kaydedilir.
- Özelleştirilebilir model: OpenAI, Anthropic ve diğer sağlayıcılar dahil olmak üzere farklı LLM yargıçlarını destekler.
Arize Phoenix'in HallucinationEvaluator'ı
Arize Phoenix, referans materyalinden sapan yanıtları işaretleyen bir HallucinationEvaluator ile birlikte gelir. Her çıktı için, bir LLM yargıcı, yanıtın sağlanan bağlama dayanıp dayanmadığına karar verir ve hükmüne bir güven skoru ekler.
Değerlendirici üç girdi alır: kullanıcı sorgusu (girdi), referans metni (bağlam) ve modelin yanıtı (çıktı). Yanıtın bağlamdan türetilemeyecek bilgiler içerip içermediğini analiz eder, etiketli bir sonuç ("olgusal" veya "halüsinasyonlu") ile birlikte bir açıklama ve güven skoru döndürür.
Temel özellikler:
- Dengeli performans: Hem hassasiyet hem duyarlılık metriklerinde sonuçlar verir
- Etiket tabanlı çıktı: Yalnızca sayısal skorlar yerine kategorik etiketler ("olgusal" veya "halüsinasyonlu") döndürür
- Ayrıntılı açıklamalar: Her değerlendirme kararı için gerekçe sağlar
Comet Opik'in Halüsinasyon Metriği
Comet Opik'in Halüsinasyon Metriği, her bir LLM yanıtını kaynak bağlamına göre puanlar ve çıktının o bağlama sadık olup olmadığına dair ikili bir yargı döndürür. Kontrol, yalnızca desteklenmeyen iddiaların yüksek güvenli vakalarını işaretlemek için ayarlanmış bir LLM yargıcı üzerinden çalışır.
Metrik üç girdi kabul eder: kullanıcı sorgusu (girdi), kaynak materyal (bağlam) ve modelin yanıtı (çıktı). Çıktının, bağlam tarafından desteklenmeyen iddialar içerip içermediğini değerlendirir.
Sonuç, bir ikili skor (halüsinasyon yoksa 0, halüsinasyon tespit edildiyse 1) ve değerlendirmeyi açıklayan ayrıntılı bir gerekçe içerir.
Temel özellikler:
- Ayrıntılı açıklamalar: Her değerlendirme, içeriğin neden işaretlendiği veya onaylandığı hakkında kapsamlı gerekçe sağlar
- Üç girdili analiz: Değerlendirme için sorguyu, bağlamı ve yanıtı birlikte dikkate alır
- Deney takibi: Sonuçlar Opik'in deney takip sistemine otomatik olarak kaydedilir
- Tutucu yaklaşım: Yalnızca yüksek güvenli halüsinasyonları işaretleyerek yanlış pozitifleri en aza indirmek için tasarlanmıştır
Galileo Luna-2
Galileo Luna-2, Galileo'nun daha geniş yapay zeka gözlemlenebilirlik platformuna yerleştirilmiş bir halüsinasyon tespiti ve çalışma zamanı koruma katmanıdır. 1
Sistem, üretim çıkarım yollarında satır içi çalışacak ve temelsiz içeriği kullanıcıya ulaşmadan önce engelleyecek şekilde tasarlanmıştır; Galileo'nun otomatik başarısızlık analizi katmanı olan Signals ise manuel günlük incelemesine gerek olmadan üretim hatalarının kök nedenlerini ortaya çıkarır.
Temel özellikler:
Çok yöntemli tespit: Tek bir yargılama stratejisine bağlı kalmak yerine embedding benzerliği, Düşünce Zinciri analizi ve G-Eval olgusallık puanlamasını birleştirir.
Çalışma zamanı korumaları: Luna-2, yalnızca olaydan sonra işaretlemek yerine, temelsiz çıktıları çıkarım yolunda satır içi olarak engelleyebilir veya yeniden yazabilir.
Uçtan uca gözlemlenebilirlik: Çok adımlı ajan iş akışları boyunca girdileri, çıktıları ve dahili akıl yürütme izlerini yakalar; Signals kök neden analizini otomatikleştirir.
DeepEval
DeepEval, Confident AI tarafından geliştirilen, Pytest'e benzeyen ancak LLM uygulamaları için olan açık kaynaklı bir LLM değerlendirme çerçevesidir. HallucinationMetric'i, modelin çıktısının sağlanan bağlamla olgusal olarak tutarlı olup olmadığına karar vermek için bir LLM-as-a-judge kullanır ve çerçeve herhangi bir CI/CD hattı içinde çalışacak şekilde tasarlanmıştır.2 3
Metrik üç zorunlu girdi alır: kullanıcı sorgusu (input), model yanıtı (actual_output) ve referans materyal (context). Her çıktıyı, daha düşük skorların daha iyi temellendirmeyi gösterdiği Halüsinasyon = (Çelişkili Bağlam Sayısı) / (Toplam Bağlam Sayısı) formülüyle puanlar. Bir çıktı, skoru yapılandırılmış eşiğin altında veya eşit olduğunda geçer.
Temel özellikler:
- Tanıdık test iş akışı: Halüsinasyon kontrolleri sıradan birim testler gibi yazılır ve çalıştırılır, böylece Pytest kullanan ekiplerin yeni bir araç öğrenmesine gerek kalmaz.
- Ayarlanabilir katılık: Ekipler geçme eşiğini gevşetebilir veya sıkılaştırabilir ya da yüksek riskli içerik için katı bir geçme/kalma moduna geçebilir.
- Her sonuç için açıklamalar: Her hüküm bir neden ile birlikte gelir, böylece bir çıktının neden işaretlendiği açıktır.
Yapay zeka halüsinasyonu nedir?
Yapay zeka halüsinasyonları, tutarlı okunan ancak olgusal olmayan çıktılardır. Model, kaynak bağlam veya eğitim verileri bunları desteklemese bile bu iddiaları kendinden emin bir şekilde üretir. Konuyla ilgili bir araştırma, bunu modellerin sağlanan bağlamdan doğrulanabilir kanıtlar yerine dilsel önceliklere dayanmasına bağlar.4 Sorun, sağlık hizmetleri, hukuk hizmetleri, kurumsal arama ve müşteri desteği gibi yüksek riskli alanlarda ortaya çıkar, bu nedenle temellendirilmiş çıktı tespiti LLM dağıtımının standart bir parçası haline gelmiştir.
Halüsinasyonların kaynakları ve sınıflandırması
Halüsinasyonlar iki geniş kaynaktan kaynaklanır. Model içi faktörler arasında istatistiksel kalıplara aşırı güven, eğitim verilerindeki boşluklar ve dizi oluşturmanın olasılıksal doğası yer alır; halüsinasyon tespiti ve azaltma üzerine bir analiz, LLM'lerin genellikle doğrulanabilir kanıtları almak yerine olası devamları çıkarsadığını ve bunun da kendinden emin ancak yanlış çıktı ürettiğini belirtir.5
Bağlamsal faktörler, RAG sistemlerindeki alım hatalarını, belirsiz istemleri, eksik temellendirmeyi ve çok modlu modellerde nesne karışıklıklarını veya uydurma sahne ayrıntılarını kapsar.
Ajan iş akışlarında halüsinasyon tespiti
Çok adımlı ajanlar, tek turlu LLM'lerin sunmadığı halüsinasyon risklerini ortaya çıkarır: erken bir adımdaki uydurma bir iddia, sonraki araç çağrılarına, alımlara ve nihai çıktılara yayılır.
Ajan halüsinasyon tespitindeki temel zorluklar:
- Hata yayılımı: Planlama aşamasındaki uydurma bir olgu, araç seçimini, veri alımını ve nihai yanıtları etkileyebilir
- Araç çağrısı halüsinasyonları: Ajanlar araçları yanlış parametrelerle çağırabilir veya araç çıktılarını yanlış yorumlayabilir
- Durum bozulması: Ajan belleğinde depolanan halüsinasyonlu bilgiler gelecekteki akıl yürütme adımlarını etkiler
- Atıf karmaşıklığı: Halüsinasyonun hangi adımda ortaya çıktığını belirlemek uçtan uca izlemeyi gerektirir
Ajan sistemler için tespit yaklaşımları:
- Adım düzeyinde doğrulama: Ajan bir sonraki eyleme geçmeden önce her ara çıktının doğrulanması
- Araç çıktısı doğrulaması: Araç yanıtlarının beklenen formatlara ve bilinen kısıtlamalara göre çapraz kontrolü
- Yörünge analizi: Akıl yürütmenin temellendirilmiş bilgiden nerede saptığını belirlemek için tam ajan kararları dizisinin incelenmesi
- Adımlar arası tutarlılık kontrolleri: Çelişkileri tespit etmek için farklı aşamalarda yapılan iddiaların karşılaştırılması
W&B Weave'in HallucinationFree Scorer'ı ve Arize Phoenix'in HallucinationEvaluator'ı her ajan adımında uygulanabilirken, entegre gösterge panelleri kök neden analizi için tam yürütme izini görüntüler.
Tercih edilen kaynak olarak ekleGerçek zamanlı halüsinasyon önleme
Üretim sonrası tespit sorunları ortaya çıkarır ancak kötü çıktıların kullanıcılara ulaşmasını engellemez. Gerçek zamanlı önleme, kontrolü yanıt teslim edilmeden önce satır içi olarak çalıştırır.
Önleme mekanizmaları:
- Çıktı korumaları: Oluşturulan içeriği kullanıcıya döndürmeden önce olgusallık kriterlerine göre analiz eden filtreler.
- Güven eşikleri: Modelin dahili güveni kabul edilebilir seviyelerin altına düştüğünde yanıtları engelleme veya işaretleme.
- Alım doğrulama kapıları: Yanıtı sonlandırmadan önce oluşturulan iddiaların alınan belgeler tarafından desteklendiğini doğrulama.
- Geri dönüş stratejileri: Halüsinasyon riski yüksek olduğunda güvenli bir varsayılan yanıt döndürme veya inceleme kuyruklarına yönlendirme.
Gerçek zamanlı önleme için araç yetenekleri:
- W&B Weave, halüsinasyon puanlamasını üretim hatlarına entegre ederek yanıtlar sunulmadan önce otomatik kontroller sağlar.
- Arize Phoenix, yüksek riskli çıktıları anında inceleme için işaretleyen uyarı yetenekleriyle gerçek zamanlı izleme sunar.
- Comet Opik, ekiplerin halüsinasyon eşiklerini aşan yanıtları engelleyen kalite kapıları belirlemesine olanak tanıyan otomatik değerlendirme ile deney takibi sunar.
Halüsinasyon tespitine yönelik yaklaşımlar
Weave, Phoenix ve Opik'in nasıl çalıştığıyla doğrudan ilgili üç yaklaşım vardır:
1. Tutarlılık tabanlı yöntemler
Tutarlılık tabanlı yöntemler, bir yanıtı anlamsal benzerlik, n-gram örtüşmesi veya soru-cevap doğrulaması kullanarak birkaç alternatif üretimle karşılaştırarak değerlendirir. Yanıtlar birbiriyle çeliştiğinde veya mantıksal tutarsızlıklar içerdiğinde, halüsinasyon olasılığı artar. İlgili bir teknik olan anlamsal entropi, yanıtları ifade yerine anlama göre kümeler ve kavramsal istikrarsızlığı halüsinasyon sinyali olarak kullanır.
2. Olasılık ve güven tabanlı tespit
Token düzeyindeki olasılıklar, entropi değerleri, kalibrasyon eğrileri ve marj tabanlı güven tahminleri, modelin kendi çıktısı hakkındaki dahili inancını ortaya çıkarır. Düşük güvenli segmentler genellikle daha yüksek halüsinasyon oranlarıyla ilişkilidir. Ham entropi, değişken ifadeler nedeniyle yanıltıcı olabilir, ancak güven sinyalleri tutarlılık tabanlı göstergelerle birleştirildiğinde faydalı kalır. Arize Phoenix, etiketinin yanında bir güven skoru sunar ki bu da bu kategoriye uyar.
3. Referans veya bağlam tabanlı tespit
Referans tabanlı değerlendirme, modelin çıktısını sağlanan bağlam veya harici kaynaklarla karşılaştırır ve RAG kalite kontrollerinin arkasındaki temel mekanizmadır. Tipik teknikler arasında, alınan belgelerin yanıtı destekleyip desteklemediğini kontrol eden gerektirim modelleri, kanıt desteğini doğrulayan hizalama ve temellendirme yöntemleri ve iddiaların destekleyici metinle eşleşip eşleşmediğini ölçen olgusallık metrikleri bulunur. Kıyaslanan üç araç da esas olarak bu modda çalışır: bir bağlam girdisi alır ve çıktının bunun içinde kalıp kalmadığına karar verirler.
Yapay zeka halüsinasyon tespit teknikleri ve algoritmaları
Tespit yöntemleri üç ayrıntı düzeyinde çalışır:
- Token düzeyinde: Bir çıktı içindeki şüpheli kısımları işaretler. İnsan tarafından açıklamalı halüsinasyon veri kümelerini, bağlam verildiğinde önsel ve sonsal token olasılıkları arasındaki sapmayı veya dizi etiketleme sınıflandırıcılarını kullanır.
- Cümle düzeyinde: Tüm ifadeleri yargılar. Örneklem tabanlı öz tutarlılık kontrolleri, istikrarsızlık için birden çok üretimi karşılaştırır; anlamsal entropi, etiketlere ihtiyaç duymadan kavramsal belirsizliği işaretler; gerektirim sınıflandırıcıları, desteklenmeyen veya çelişkili iddiaları yakalar.
- İş akışı düzeyinde: Köken grafikleri, adım düzeyinde gerektirim kontrolleri, ara akıl yürütme doğrulaması ve çok atlamalı görevler için bağımlılık izleme kullanarak çok adımlı hatları izler.
Kıyasladığımız üç araç esas olarak cümle düzeyinde çalışır; Weave ve Phoenix, izleme gösterge panelleri aracılığıyla iş akışı düzeyinde kullanıma da uzanır.
Endüstriyel modeller ve en iyi uygulamalar
Üretim ekipleri nadiren tek bir yönteme güvenir. Yaygın modeller şunları içerir:
- Katmanlı tespit: Tutarlılık kontrolleri, olasılık puanlaması ve gerektirim doğrulaması aynı hat içinde çalışır.
- Gerçek zamanlı izleme: Gösterge panelleri zaman içindeki sapmayı ve güven değişimlerini takip eder.
- İstem ayarlama: İstemler, temelsiz çıktılara yol açan belirsizliği azaltmak için iyileştirilir.
- Uzman incelemesi: Hataların gerçek maliyet taşıdığı hukuk, tıp veya finans içerikleri için ayrılmıştır.
- CI/CD entegrasyonu: Otomatik kalite kontrolleri dağıtımdan önce çalışır ve böylece gerilemeler erkenden ortaya çıkar.
- Ajan izleme: Eklentiler, anormallikleri ortaya çıktıkça yakalamak için araç çağrılarını ve ara akıl yürütme adımlarını gözlemler.
Yapay zeka halüsinasyon tespit araçları kıyaslama metodolojisi
Kıyaslama, olgusal soru-cevap senaryolarından alınan 50 bilgi öğesinden oluşan kontrollü bir veri kümesi kullandı. Her öğe bir kaynak bağlam, bir soru, bu bağlama dayalı doğru bir yanıt ve uydurma bilgiler içeren halüsinasyonlu bir yanıt içeriyordu. Örneğin, bir test The Oberoi Group'un genel merkez konumunu sordu ve doğru yanıt "Delhi" halüsinasyonlu yanıt "Mumbai"ye karşı test edildi.
Her bilgi öğesi iki test senaryosu üretti: biri doğru yanıtı kullanan (beklenen: halüsinasyon yok) ve diğeri halüsinasyonlu yanıtı kullanan (beklenen: halüsinasyon tespit edildi). Bu, toplamda 100 test senaryosu olacak şekilde dengeli bir 50/50 dağılımı oluşturdu. Üç araç da aynı test senaryolarını sırayla işledi ve her biri aynı girdileri (bağlam, soru ve çıktı) aldı.
Sonuçları çarpıtabilecek paralel işleme veya toplu değerlendirme tuzaklarından kaçınarak adil bir karşılaştırma sağlamak için her test senaryosunun gecikme süresini ayrı ayrı ölçtük. Gerçek pozitif, yanlış pozitif, gerçek negatif ve yanlış negatiflerin hesaplanmasında doğruluğu sağlamak için referans etiketler manuel olarak doğrulandı.
Bu araştırmayı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{ermut2026,
author = {Ermut, Sıla and Şipi, Nazlı},
title = {{Yapay Zeka Halüsinasyon Tespit Araçları: W&B Weave ve Comet}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/ai-hallucination-detection}},
note = {AIMultiple. Erişim tarihi: 18 Haziran 2026}
}Referans Linkleri
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.