AI Halüsinasyon Tespit Araçları: W&B Weave & Comet

100 test vakasında üç halüsinasyon tespit aracını karşılaştırdık: Weights & Biases (W&B) Weave HallucinationFree Scorer, Arize Phoenix HallucinationEvaluator ve Comet Opik Hallucination Metric.

Gerçek dünya performanslarını adil bir şekilde karşılaştırmak için her aracın doğruluk, kesinlik, duyarlılık ve gecikme süresi açısından değerlendirildi.

AI halüsinasyon tespit araçları karşılaştırması

Faktörel Q&A senaryolarından 100 yanıtı (50 doğru, 50 halüsinasyon) kaynak bağlamlarına karşı test ettik.

Doğruluk ve gecikme karşılaştırması

W&B Weave ve Arize Phoenix sırasıyla %91 ve %90 doğrulukla neredeyse aynı doğruluğu sağladı ve 100 test vakasından 90'ını doğru şekilde tanımladı. Her iki araç da veri seti üzerinde güvenilir performans sergiledi. Comet Opik, %72 doğrulukla geride kaldı ve 100 testten sadece 72'sini doğru sınıflandırdı; bu, muhafazakar yaklaşımından kaynaklanan önemli bir boşluktur.

Hız açısından Arize Phoenix, test başına 2 saniye ile galip geldi ve bu da onu gerçek zamanlı uygulamalar için uygun hale getirdi. W&B Weave testleri 4 saniyede işledi, bu da çoğu üretim kullanım senaryosu için makuldür. Comet Opik, test başına 8,5 saniye ile dikkat çekici derecede yavaştı; bu, gecikmeye duyarlı uygulamalarda kullanıcı deneyimini etkileyebilecek tutarsız işleme sürelerini göstermektedir.

F1 skoru, kesinlik ve duyarlılık

F1 skorları (kesinlik ve duyarlılığın harmonik ortalaması) bu kalıpları doğruladı: W&B Weave %90,5 ve Phoenix %89,4 ile her ikisi de güçlü, dengeli bir performans elde etti. Buna karşılık, Opik'in %61,1'i mükemmel kesinlik ile zayıf duyarlılık arasındaki ödünleşimi yansıttı. Opik'in sıfır yanlış pozitif değeri, 28 yanlış negatif pahasına geldi; bu da onu yanlış alarmın kaçırılan tespitlerden daha maliyetli olduğu senaryolar için uygun hale getirdi.

Duyarlılık (gerçek halüsinasyonları yakalama yeteneği) farklı stratejileri ortaya koydu. W&B Weave, %86 duyarlılıkla öne çıktı, 50 halüsinasyondan 43'ünü yakaladı ve sadece 7'sini kaçırdı. Phoenix, 42 halüsinasyonu tespit edip 8'ini kaçırdı ve %84 ile yakından takip etti. Comet Opik'in duyarlılığı %44 ile önemli ölçüde daha düşüktü; sadece 22 halüsinasyonu yakalarken 28'ini kaçırdı; tüm gerçek halüsinasyonların yarısından fazlası tespit edilemedi.

Kesinlik (uyarı güvenilirliği) önemli farklılıklar gösterdi. Comet Opik, sıfır yanlış pozitif ile mükemmel %100 kesinlik elde etti; bir şeyi halüsinasyon olarak işaretlediğinde her zaman doğruydu. Hem Phoenix (%95,5) hem de Weave (%95,6) neredeyse aynı kesinliği gösterdi; her biri 50 meşru yanıttan sadece 2 yanlış pozitif üreterek, aşırı muhafazakar olmadan güçlü güvenilirlik sergiledi.

Performans farklarını etkileyebilecek faktörler

Gözlemlenen performans farkları muhtemelen tasarım felsefesi, eşik seçimi ve temellendirme yorumlamasından kaynaklanmaktadır.

Tespit stratejisi ve optimizasyon hedeflerindeki farklılıklar

• Araçlar aynı hedef için değil, farklı hata ödünleşimleri için optimize edilmiş görünüyor.
• W&B Weave ve Arize Phoenix, çoğu halüsinasyonu yakalarken yüksek kesinliği koruyarak dengeli bir performans hedefler.
• Comet Opik, birçok halüsinasyon kaçırılmasına rağmen sıfır yanlış pozitif önceliklendiren son derece muhafazakar bir strateji benimser.
• Bu stratejik seçim, Opik'in mükemmel kesinliğini ve önemli ölçüde daha düşük duyarlılığını doğrudan açıklar.

Araç tasarımına gömülü kesinlik–duyarlılık ödünleşimleri

• Comet Opik'in sıfır yanlış pozitif değeri, güven çok yüksek olduğunda sadece halüsinasyonları işaretleyen katı bir karar eşiğini gösterir.
• W&B Weave ve Phoenix, çok daha yüksek duyarlılık karşılığında bazı yanlış pozitiflere izin veren daha az kısıtlayıcı eşikler kullanır.
• Bu eşik farklılıkları şunlara yol açabilir:
  • Weave ve Phoenix arasında benzer kesinlik
  • Opik ile diğer iki araç arasında büyük duyarlılık boşlukları
  • F1 skoru ve genel doğrulukta karşılık gelen farklılıklar

LLM-as-a-judge uygulamasındaki varyasyonlar

• Üç araç da bir LLM-as-a-judge yaklaşımı kullanmasına rağmen, uygulamaları farklıdır.
• W&B Weave, desteklenmeyen iddialara karşı hassasiyeti artırabilecek zincirleme düşünme (chain-of-thought) mantığına vurgu yapar.
• Arize Phoenix, daha nüanslı yargıları destekleyen güven skorlarıyla etiket tabanlı çıktılar içerir.
• Comet Opik, yanlış alarmları azaltan ancak sınır halüsinasyonlarına karşı hassasiyeti sınırlayan yüksek güvenli ikili kararlara odaklanır.

Değerlendirme derinliği tarafından yönlendirilen gecikme farklılıkları

• Arize Phoenix'in daha düşük gecikmesi, gerçek zamanlı kullanım için uygun olan daha hafif veya daha akıcı bir değerlendirme pipeline'ını gösterir.
• W&B Weave'in orta seviye gecikmesi, daha zengin mantık yürütme ve iz kayıtlarıyla tutarlıdır.
• Comet Opik'in daha yüksek ve daha tutarsız gecikmesi, muhtemelen daha kapsamlı iç mantık yürütme veya doğrulama adımlarını yansıtır ve bu da muhafazakar tasarımını pekiştirir.

AI halüsinasyon tespit araçları

W&B Weave'in HallucinationFree Scorer'ı

Şekil 1: W&B Weave'in izler panosu.

Weights & Biases (W&B) Weave'in HallucinationFree Scorer'ı, LLM çıktılarının sağlanan bağlama göre karşılaştırılmasıyla halüsinasyon içerip içermediğini kontrol eden yerleşik bir değerlendirme aracıdır. Scorer, üretilen yanıtın kaynak materyalde temellendirilip temellendirilmediğini belirlemek için bir LLM-as-a-judge yaklaşımı kullanır.

Scorer iki girdi alır: bağlam (kaynak materyal) ve çıktı (LLM-oluşturulan yanıt). Ardından, çıktının bağlamda bulunmayan bilgi getirip getirmediğini analiz etmek için bir dil modeli kullanır. Sonuç, bir kararın nedenini açıklayan bir boolean has_hallucination bayrağı ve akıl yürütme içerir.

Temel özellikler:

• Zincirleme düşünme mantığı: Her değerlendirme, çıktının neden halüsinasyon olarak işaretlendiği veya işaretlenmediğinin açıklamasını içerir.
• İkili sınıflandırma: Destekleyici kanıtlarla net doğru/yanlış kararları döndürür.
• Weave izlemeye entegrasyon: Sonuçlar görselleştirme için otomatik olarak Weave panosuna kaydedilir.
• Özelleştirilebilir model: OpenAI, Anthropic ve diğer sağlayıcılar dahil olmak üzere farklı LLM yargıçlarını destekler.

Arize Phoenix'in HallucinationEvaluator'ı

Arize Phoenix'in HallucinationEvaluator'ı, yanıtların sağlanan referans materyalde temellendirilip temellendirilmediğini doğrulayarak LLM çıktılarındaki halüsinasyonları tespit eden yerleşik bir metriktir. Değerlendirici, bağlam ile oluşturulan içerik arasındaki gerçek tutarlılığını değerlendirmek için bir LLM-as-a-judge yaklaşımı kullanır.

Değerlendirici üç girdi alır: kullanıcı sorgusu (girdi), referans metni (bağlam) ve modelin yanıtı (çıktı). Yanıtın bağlamdan türetilemeyen bilgi içerip içermediğini analiz eder ve bir açıklama ile güven skoru birlikte etiketlenmiş bir sonuç ("gerçek" veya "halüsinasyon") döndürür.

Temel özellikler:

• Dengeli performans: Hem kesinlik hem de duyarlılık metrikleri üzerinden sonuçlar verir
• Etiket tabanlı çıktı: Sadece sayısal skorlar yerine kategorik etiketler ("gerçek" veya "halüsinasyon") döndürür
• Detaylı açıklamalar: Her değerlendirme kararı için akıl yürütme sağlar

Comet Opik'in Hallucination Metric'i

Comet Opik'in Hallucination Metric'i, LLM çıktılarının uydurulmuş veya desteklenmeyen bilgi içerip içermediğini değerlendiren yerleşik bir değerlendiricidir. Metrik, oluşturulan yanıtların sağlanan bağlama sadık kalıp kalmadığını doğrulamak için bir LLM-as-a-judge metodolojisi kullanır.

Metrik üç girdi kabul eder: kullanıcı sorgusu (girdi), kaynak materyal (bağlam) ve modelin yanıtı (çıktı). Çıktının bağlam tarafından desteklenmeyen iddialar getirip getirmediğini değerlendirir.

Sonuç, ikili bir skor (0 halüsinasyon yok, 1 halüsinasyon tespit edildi) ve değerlendirmeyi açıklayan detaylı bir akıl yürütme içerir.

Temel özellikler:

• Detaylı açıklamalar: Her değerlendirme, içeriğin neden işaretlendiği veya onaylandığı hakkında kapsamlı akıl yürütme sağlar
• Üçlü girdi analizi: Değerlendirme için sorguyu, bağlamı ve yanıtı birlikte dikkate alır
• Deney takibi: Sonuçlar otomatik olarak Opik'in deney takip sistemine kaydedilir
• Muhafazakar yaklaşım: Sadece yüksek güvenli halüsinasyonları işaretleyerek yanlış pozitifleri en aza indirmek üzere tasarlanmıştır

AI halüsinasyonu nedir?

Halüsinasyonlar, AI sistemlerinin tutarlı görünen ancak gerçekçi olmayan içerik ürettiği durumlardır. Büyük dil modeli araştırmalarında, halüsinasyonlar temel bir zorluk olarak çerçevelenir çünkü üretken AI, altta yatan eğitim verisi iddiayı desteklemese bile genellikle güvenle yanıt verir. AI halüsinasyonları üzerine bir araştırma, bunların modellerin sağlanan bağlamdan doğrulanabilir gerçek yerine dilsel öncüllere güvendiğinde ortaya çıktığını belirtir.¹

Sektör kaynakları, AI halüsinasyonlarının sağlık uygulamaları, hukuk hizmetleri, kurumsal arama ve müşteri desteği gibi alanlarda nasıl ortaya çıktığını vurgular. Bu tür ortamlarda, halüsinasyonlar özellikle yüksek riskli kararlar doğru AI çıktılarına bağlı olduğunda kullanıcı güvenini zedeler.

Halüsinasyonları tanımlamak ve tespit etmek, LLM'lere dayalı AI uygulamalarının güvenli dağıtımını sağlamak ve son kullanıcıları korumak için modern AI geliştirilmesinin merkezine yerleşmiştir.

Halüsinasyonların kaynakları ve sınıflandırması

Halüsinasyonlar, istatistiksel kalıplara aşırı güven, eğitim verisindeki boşluklar ve dizgi üretiminin olasılıksal doğası gibi model içi davranışlardan kaynaklanabilir.

Halüsinasyon tespiti ve azaltılması üzerine bir makaleye göre, LLM'ler, olası devamın doğrulanabilir kanıt yerine çıkarıldığı için, kendilerini güvenle gösterdiklerinde bile gerçek hatalar üretebilir.²

Diğer halüsinasyonlar, geri çağrılı artırılmış üretim (RAG sistemleri) içindeki geri çağırma başarısızlıkları, belirsiz prompt'lar veya eksik temellendirme dahil olmak üzere bağlamsal başarısızlıklardan kaynaklanır. Ayrıca multimodal modeller'in nesne karışıklıkları, zamansal tutarsızlıklar veya uydurulmuş sahne detayları yoluyla halüsinasyonlar sergilediği öne sürülmektedir.

Ajan iş akışlarında halüsinasyon tespiti

Çok adımlı ajan iş akışları, tek seferli LLM etkileşimlerinden farklı benzersiz halüsinasyon riskleri getirir. Bir ajan birden fazla adım boyunca otonom olarak çalıştığında, erken bir aşamadaki bir halüsinasyon, sonraki kararlar, araç çağrıları ve çıktılar boyunca yayılabilir.

Ajan halüsinasyon tespitindeki temel zorluklar:

• Hata yayılımı: Planlama aşamasındaki uydurulmuş bir gerçek, araç seçimi, veri geri çağırması ve nihai yanıtları etkileyebilir
• Araç çağrısı halüsinasyonları: Ajanlar yanlış parametrelerle araçları çağırabilir veya araç çıktılarını yanlış yorumlayabilir
• Durum bozulması: Ajan hafızasında saklanan halüsinasyon bilgisi, gelecekteki akıl yürütme adımlarını etkiler
• Atıf karmaşıklığı: Halüsinasyonun hangi adımda ortaya çıktığını belirlemek uçtan uca izleme gerektirir

Ajan sistemleri için tespit yaklaşımları:

• Adım seviyesinde doğrulama: Ajan bir sonraki eyleme geçmeden önce her ara çıktıyı doğrulama
• Araç çıktısı doğrulama: Araç yanıtlarını beklenen biçimlere ve bilinen kısıtlamalara göre çapraz kontrol etme
• Trajektori analizi: Ajan kararlarının tam dizisini, akıl yürütmenin temellendirilmiş bilgiden ne zaman saptığını belirlemek için inceleme
• Adımlar arasında tutarlılık kontrolleri: Çelişkileri tespit etmek için farklı aşamalarda yapılan iddiaları karşılaştırma

W&B Weave'in HallucinationFree Scorer'ı ve Arize Phoenix'in HallucinationEvaluator'ı her ajan adımında uygulanabilirken, entegre panolar kök neden analizi için tam yürütme izini gösterir.

Gerçek zamanlı halüsinasyon önleme

Üretimden sonra halüsinasyonları tespit etmek değerli içgörüler sağlar ancak sorunlu çıktılar kullanıcıya ulaşmasını engellemez. Gerçek zamanlı önleme sistemleri yanıt teslim edilmeden önce müdahale eder.

Önleme mekanizmaları:

• Çıktı güvenlik önlemleri: Kullanıcıya döndürülmeden önce oluşturulan içeriği gerçeklik kriterlerine göre analiz eden filtreler.
• Güven eşikleri: Modelin iç güveni kabul edilebilir seviyelerin altına düştüğünde yanıtları engelleme veya işaretleme.
• Geri çağırma doğrulama kapıları: Yanıtı sonlandırmadan önce oluşturulan iddiaların geri çağrılan belgeler tarafından desteklendiğini doğrulama.
• Yedek stratejiler: Halüsinasyon riski yüksek olduğunda güvenli bir varsayılan yanıt döndürme veya inceleme kuyruklarına devretme.

Gerçek zamanlı önleme için araç yetenekleri:

• W&B Weave, üretim pipeline'larına halüsinasyon skorlamayı entegre ederek yanıtlar sunulmadan önce otomatik kontroller sağlar.
• Arize Phoenix, yüksek riskli çıktıları derhal inceleme için işaretleyen uyarı yetenekleriyle gerçek zamanlı izleme sağlar.
• Comet Opik, otomatik değerlendirme ile deney takibi sunar; bu sayede ekipler halüsinasyon eşiklerini aşan yanıtları engelleyen kalite kapıları ayarlayabilir.

Halüsinasyon tespitine yaklaşımlar

Halüsinasyonları tespit etmek için kullanılan altı temel yaklaşım vardır:

1. Tutarlılık tabanlı yöntemler

Tutarlılık tabanlı yöntemler, bir cevabı birkaç alternatif üretimle karşılaştırarak değerlendirir.
Bir yaklaşım, birden fazla yanıt örnekle alır ve bunları anlamsal benzerlik ölçümleri, n-gram örtüşmesi veya soru-cevap doğrulaması kullanarak karşılaştırır.

Yanıtlar birbirini çeliştirirse veya mantıksal tutarsızlıklar içerirse, halüsinasyon olasılığı artar.

Bir başka teknik, anlamsal entropi kullanır; bu da ifadeden ziyade anlamına göre çıktıları kümeleştirir. Bu yöntem kavramsal düzeyde belirsizliği tahmin eder. Yüksek entropi, istikrarsız bilgiyi gösterir; bu da uydurmaları tespit etmek için en etkili AI halüsinasyon tespit araçlarından birini oluşturur.

Sektör önerileri benzer kalıpları takip eder:

• İçeride birkaç yanıt oluştur ve tutarsızlıkları işaretle.
• Güvenin birden fazla metrik üzerinde değiştiğinde insan incelemecileri uyar.
• Cevap değişkenliği belirsizliği gösterdiğinde gerçek zamanlı uyarılar kullan.

Tutarlılık tabanlı sistemler, kuruluşların kullanıcıya yönelik uygulamalarda halüsinasyonları erken yakalaması gerektiğinde özellikle değerlidir.

2. Olasılık ve güven tabanlı tespit

Birçok sistem, modelin kendi çıktısı hakkındaki iç inancını analiz eder. Token seviyesinde olasılıklar, entropi değerleri, kalibrasyon eğrileri ve marj tabanlı güven tahminleri yaygın olarak kullanılır. Düşük güvenli bölümler genellikle daha yüksek halüsinasyon oranlarıyla ilişkilidir.

Ham entropi değişken ifadeler nedeniyle yanıltıcı olabilirken, güven sinyalleri özellikle tutarlılık tabanlı göstergelerle birleştirildiğinde kullanışlıdır. Bu değerler ayrıca AI yanıtlarının sürekli izlendiği gerçek zamanlı halüsinasyon tespitini destekler.

Birçok araç bu skorları şu eklentiler aracılığıyla sunar:

• Belirsiz AI oluşturulan yanıtları işaretle
• Uzman incelemesini önceliklendir
• Üretimde güven sapmasının gerçek zamanlı izlemesini destekle

3. Referans veya bağlam tabanlı tespit

Referans tabanlı değerlendirme, modelin çıktısını sağlanan bağlam veya dış kaynaklarla karşılaştırır; bu RAG sistemleri için esastır. Tipik teknikler şunlardır:

• Gerçekleştirilen belgelerin cevabı destekleyip desteklemediğini kontrol eden çıkarım modelleri.
• Delil desteğini doğrulayan hizalama ve temellendirme yöntemleri.
• İddiaların destekleyici metinle eşleşip eşleşmediğini ölçen gerçeklik metrikleri.

Not: Geri çağrılı artırılmış üretim, temellendirmeyi doğrulamalıdır. Eksik delil, zayıf alan dışı geri çağırma ve geçersiz veya yanlış kaynaklar gibi sorunlar, desteklenmeyen yanıtların sıkça kök nedenleridir. Bu yöntemler, iddiaların doğrulanabilir verilere bağlandığını sağlayarak gerçek doğruluğu doğrudan destekler.

4. Geri çağrılı artırılmış doğrulama

Geri çağrılı artırılmış doğrulama, dinamik kontrolü vurgular. Her oluşturulan iddia, bir arama dizini, vektör deposu veya bilgi grafiği gibi yapılandırılmış bir bilgi tabanına karşı değerlendirilir. Bir iddia destekleyici delil eksikse, sistem şunları yapabilir:

• Reddet
• Gözden geçir
• Açık temellendirme ile yeniden oluştur

Daha gelişmiş sistemler bunu iş akışı seviyesinde izlemeye genişletir; desteklenmeyen bir iddianın ilk kez ortaya çıktığı tam adımı belirler. Bu, kuruluşların halüsinasyon oranlarını takip etmesini, halüsinasyon kalıplarını tanımlamasını ve çok adımlı akıl yürütme akışlarında şeffaflığı korumasını sağlar.

5. Kural tabanlı ve alan kısıtlı yöntemler

Kural tabanlı yöntemler alana özgü kısıtlamaları uygular ve şunları içerir:

• Hukuk alıntı doğrulayıcıları
• Tıbbi terim koruyucuları
• Uydurulmuş sayılar veya tarihler için kalıp tabanlı kontroller

Bu tür kısıtlamalar, düzenlenmiş sektörlerde halüsinasyonları azaltır ve özel kullanım senaryoları için güvenilirliği artırır. Yanlış bilgi riskinin tolere edilemeyeceği yüksek riskli kararlarda, bu kural tabanlı sinyallerin insan yargısıyla eşleştirilmesi önerilir.

6. Multimodal halüsinasyon tespiti

Halüsinasyonlar metnin ötesinde de gözlemlenir. Örnekler şunlardır:

• Resim altyazısında nesne halüsinasyonu.
• Video'daki yanlış olay açıklamaları.
• Ses anotasyonlarında yanlış nitelikler.

Multimodal tespit genellikle çapraz mod tutarlılık kontrolleri, görsel temellendirme ve POPE, MHalDetect ve FactVC gibi veri setlerini kullanır. Bu yöntemler, kuruluşların multimodal AI ajanları ile deney yapmasıyla giderek daha alakalı hale gelmektedir.

Kıyaslamalarımızı ve veri odaklı içgörülerimizi kaçırmayın. Düğme Google'ı açar; AIMultiple'ı seçmeniz, Google arama sonuçlarında AIMultiple'ı daha sık görmek istediğinizi onaylar.

Tercih edilen kaynak olarak ekle

AI halüsinasyon tespit teknikleri ve algoritmaları

Token seviyesinde tespit

Token seviyesinde yöntemler, halüsinasyonların ortaya çıktığı tam yerleri belirler. Örnekler şunlardır:

• İnsan anotasyonu ve bağlamsal bozulma kullanarak halüsinasyonlu tokenları etiketleyen veri setleri; bu da sınıflandırma modellerinin yanlış aralıkları işaretlemesini sağlar.
• Verilen bağlama göre önceden ve sonradan token olasılıkları arasındaki sapmayı analiz eden olasılık tabanlı karşılaştırmalar.
• Şüpheli aralıkları işaretleyen dizgi etiketleme yaklaşımları.

Bu teknikler, uzun form içerik oluşturma ile ilgili uygulamalar için yararlı olan AI çıktılarının detaylı incelemesini destekler.

Cümle seviyesinde tespit

Cümle seviyesinde yöntemler, tüm ifadelerin doğruluğunu değerlendirir. Örnekler şunlardır:

• İfadelerin birden fazla üretim arasında karşılaştırıldığı örnekleme tabanlı kendi kendine tutarlılık kontrolleri.
• Etiketli veri gerektirmeden kavramsal belirsizliği tespit etmek için kullanılan anlamsal entropi.
• Desteklenmeyen veya çelişkili iddiaları tespit eden çıkarım tabanlı sınıflandırıcılar.

Bu yaklaşımlar, oluşturulan bir cevabın kabul edilip edilmeyeceğini, gözden geçirilip geçirilmeyeceğini veya tekrar kontrol edilip edilmeyeceğini belirleyen halüsinasyon tespit araçlarında yaygındır.

İş akışı seviyesinde tespit

İş akışı seviyesinde tespit, halüsinasyonların kademeli olarak ortaya çıkabileceği çok adımlı pipeline'ları izler. Yaygın mekanizmalar şunlardır:

• Köken grafikleri
• Adım seviyesinde çıkarım kontrolleri
• Ara akıl yürütme doğrulaması
• Çok atlamalı görevler için bağımlılık izleme

Bu sistemler, kuruluşların sürekli izleme yapmasına, sürekli iyileştirmeyi sağlamasına ve karmaşık akıl yürütme zincirlerinde gerçek zamanlı tespit uygulamasına yardımcı olur.

Geri çağrılı artırılmış üretim için halüsinasyon tespiti

Geri çağrılı artırılmış üretim, LLM akıl yürütme ile dış belgeleri birleştirir. Birçok halüsinasyon, geri çağırma zayıf veya belirsiz olduğunda modelin bilgi uydurabileceği bu ortamda ortaya çıkar.

Artırılmış üretimin zorlukları

• Eksik veya alakasız geri çağrılan belgeler
• İç model öncüllerine aşırı güven
• Bağlamın yanlış yorumlanması
• Güncel olmayan veya düşük kaliteli kaynaklar

Bu sorunlar, desteklenmeyen yanıtların sıkça kök nedenleri olarak tanımlanır.

RAG halüsinasyon tespitinde kullanılan yöntemler

RAG ortamlarında etkili tespit birkaç mekanizma kullanır:

• Geri çağrılan metin ile oluşturulan yanıtlar arasındaki mantıksal bağlantıları kontrol eden bağlam-cevap çıkarım modelleri.
• Yanıtların ilgili delillere dayandığını sağlamak için sıralama ve benzerlik kontrolleri.
• Delil yetersiz olduğunda yanıtları iyileştiren yinelemeli doğrulama döngüleri.
• Her iddiayı bir pasaj veya bilgi grafiği düğümüne eşleyen temellendirme teknikleri.

Ekipler genellikle geri çağırma sapmasını tespit etmek, halüsinasyon kalıplarını izlemek ve yanıtların sağlanan bağlama bağlı kalmasını sağlamak için gerçek zamanlı izlemeye güvenir.

Multimodal halüsinasyon tespiti

Daha fazla AI modelinin resim, video ve ses dahil etmesiyle multimodal tespit önem kazanmıştır. Birkaç mekanizma kullanılır:

• Resimlerde nesnelerin varlığını veya yokluğunu doğrulayan modeller.
• Video altyazılarının tasvir edilen eylemlerle eşleşip eşleşmediğini kontrol eden sistemler.
• Ses kaynağıyla hizalamayı doğrulayan ses altyazısı değerlendirmeleri.

POPE, MHalDetect ve FactVC gibi veri setleri, multimodal bağlamlarda gerçek hizalamanın değerlendirilmesini destekler. Bu yöntemler, AI ajanlarının birden fazla girdi türü üzerinde çalıştığında denetimi güçlendirir.

Endüstriyel kalıplar ve en iyi uygulamalar

Aşağıdaki en iyi uygulamaları benimseyen kuruluşlar, genellikle geri çağırma iyileştikçe, prompt'lar daha iyi yapılandırıldıkça ve daha doğru veriler dahil edildikçe halüsinasyon oranlarının düştüğünü görür:

• Tutarlılık kontrolleri, olasılık skorlaması ve çıkarım doğrulaması gibi yöntemleri birleştirmek.
• Sistem davranışını zaman içinde takip etmek için gerçek zamanlı izleme panolarını entegre etmek.
• İstem mühendisliği yoluyla ilk yanıtı iyileştirmek ve doğrulamak.
• İçerik üretiminin hukuki, tıbbi veya finansal sonuçları olduğunda uzman incelemesi kullanmak.
• AI geliştirme sırasında kaliteyi korumak için CI/CD sistemlerinde otomatik kontroller çalıştırmak.
• Ajan izleme eklentilerini dağıtmak; bunlar AI ajanları gözlemlemek ve anormallikleri tespit etmek için tasarlanmıştır.

Gelecek araştırma yönleri

Birkaç alan, ilerlemenin sonraki aşamasını yönlendirmesi beklenmektedir:

1. Anlam seviyesinde belirsizlik tahmini

Anlamsal seviyede değerlendirme, yüzey seviyesindeki olasılıktan daha güvenilir bir şekilde kavramsal istikrarsızlığı tespit ettiği için dikkat çekmektedir. Halüsinasyon tespitinin hassasiyetini artırmak için gelecekteki yöntemler şunları içerebilir:

• Mutual bilgi.
• Çapraz model anlaşması.
• Küme seviyesinde anlamsal varyans

2. Karşılaştırmalı akıl yürütme yoluyla ölçeklenebilir denetim

Model tartışması veya çapraz sorgulama gibi çok ajanlı yaklaşımlar, tek modellerin gözden kaçırdığı ince başarısızlıkları tespit etmeye yardımcı olabilir.

3. Birleştirilmiş multimodal çerçeveler

Multimodal modellerin kullanımı arttıkça, resim, ses ve video üzerindeki halüsinasyonları ele almak için birleştirilmiş tespit yaklaşımları gereklidir.

4. İş akışı bilinciyle tespit

Sistem seviyesinde izleme, yanlış ara adımların tanımlanmasını sağlar ve daha büyük pipeline'lar içinde sürekli iyileştirmeyi destekler.

5. Daha güçlü değerlendirme veri setleri

Çok adımlı akıl yürütme, karşıt görevler ve uzun bağlam senaryoları için daha zorlu veri setlerine ihtiyaç vardır; bu da sistemlerin basit kalıp tanıma yoluyla daha az başarısız olmasını sağlar.

Karşılaştırma metodolojisi

Karşılaştırma, faktörel soru-cevap senaryolarından çekilen 50 bilgi öğesinden oluşan kontrollü bir veri seti kullandı. Her öğe, bir kaynak bağlam, bir soru, o bağlama dayalı doğru bir cevap ve uydurulmuş bilgi içeren bir halüsinasyonlu cevabı içeriyordu. Örneğin, bir test, Oberoi Grubu'nun merkez ofis konumu hakkında soruldu; burada doğru cevap "Delhi", halüsinasyonlu yanıt "Mumbai" ile test edildi.

Her bilgi öğesi iki test vakası oluşturdu: biri doğru cevabı kullanarak (beklenen: halüsinasyon yok) ve diğeri halüsinasyonlu cevabı kullanarak (beklenen: halüsinasyon tespit edildi). Bu, toplam 100 test vakası olan dengeli bir 50/50 bölünme yarattı. Üç araç da aynı test vakalarını sırayla işledi ve her biri aynı girdileri (bağlam, soru ve çıktı) aldı.

Sonuçları çarpıtabilecek paralel işleme veya toplu değerlendirme tuzaklarından kaçınmak için her test vakası için gecikmeyi ayrı ayrı ölçtük. Gerçek pozitifler, yanlış pozitifler, gerçek negatifler ve yanlış negatifleri hesaplamak için doğruluk sağlamak amacıyla gerçek etiketler manuel olarak doğrulandı.

Bu araştırmayı kaynak gösterin

Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.

@misc{ermut2026,
  author = {Ermut, Sıla and Şipi, Nazlı},
  title  = {{AI Halüsinasyon Tespit Araçları: W&B Weave & Comet}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/ai-hallucination-detection}},
  note   = {AIMultiple. Erişim tarihi: 18 Haziran 2026}
}

Referans Linkleri

1.

Luna-2 | Galileo’s Small Language Models for AI Evaluations

2.

https://github.com/confident-ai/deepeval

Sıla Ermut

Sektör Analisti

Takip Et

Sıla Ermut, AIMultiple'da e-posta pazarlama ve satış videoları üzerine odaklanan bir sektör analistidir. Daha önce proje yönetimi ve danışmanlık firmalarında işe alım uzmanı olarak çalışmıştır. Sıla, Sosyal Psikoloji alanında Yüksek Lisans ve Uluslararası İlişkiler alanında Lisans derecesine sahiptir.

Tam Profili Görüntüle

Araştıran

Nazlı Şipi

Yapay Zeka Araştırmacısı

Takip Et

Nazlı, AIMultiple'da veri analisti olarak çalışmaktadır. Daha önce çeşitli sektörlerde veri analizi alanında deneyim kazanmış olup, karmaşık veri kümelerini eyleme dönüştürülebilir içgörülere dönüştürme konusunda çalışmıştır.

Tam Profili Görüntüle

Yorum yapan ilk kişi olun

E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.

Ad

E-posta Adresi

Yorum

0/450

Yorumu Gönder