Yapay Zeka Destekli Halüsinasyon Tespit Araçları: W&B Weave ve Comet
Üç halüsinasyon tespit aracını, Weights & Biases (W&B) Weave HallucinationFree Scorer, Arize Phoenix HallucinationEvaluator ve Comet Opik Hallucination Metric'i, 100 test vakası üzerinden karşılaştırmalı olarak değerlendirdik.
Her bir araç, gerçek dünya performanslarının adil bir şekilde karşılaştırılabilmesi için doğruluk, hassasiyet, geri çağırma ve gecikme süreleri açısından değerlendirildi.
Yapay zekâ halüsinasyon tespit araçları karşılaştırmalı değerlendirmesi
Gerçek olaylara dayalı soru-cevap senaryolarından elde edilen 100 yanıtı (50 doğru, 50 yanıltıcı) kaynak bağlamlarıyla karşılaştırarak test ettik.
Doğruluk ve gecikme karşılaştırması
W&B Weave ve Arize Phoenix, sırasıyla %91 ve %90'lık neredeyse aynı doğruluk oranlarına ulaşarak 100 test vakasının 90'ını doğru bir şekilde tanımladı. Her iki araç da veri kümesi genelinde güvenilir performans sergiledi. Comet Opik ise %72'lik doğruluk oranıyla geride kaldı ve 100 testin yalnızca 72'sini doğru sınıflandırdı; bu da muhafazakar yaklaşımından kaynaklanan önemli bir farktır.
Hız açısından Arize Phoenix, test başına 2 saniye ile birinci oldu ve gerçek zamanlı uygulamalar için uygun hale geldi. W&B Weave testleri 4 saniyede işledi; bu da çoğu üretim kullanım senaryosu için makul bir süre. Comet Opik ise test başına 8,5 saniye ile belirgin şekilde daha yavaş kaldı ve bu da gecikmeye duyarlı uygulamalarda kullanıcı deneyimini etkileyebilecek tutarsız işlem sürelerine işaret ediyor.
F1 puanı, hassasiyet ve geri çağırma
F1 puanları (kesinlik ve geri çağırmanın harmonik ortalaması) bu örüntüleri doğruladı: W&B Weave %90,5 ve Phoenix %89,4 ile güçlü ve dengeli bir performans sergiledi. Buna karşılık, Opik'in %61,1'lik oranı mükemmel kesinlik ve zayıf geri çağırma arasındaki dengeyi yansıttı. Opik'in sıfır yanlış pozitif sonucu, 28 yanlış negatif sonucuyla geldi; bu da onu yalnızca yanlış alarmların kaçırılan tespitlerden daha maliyetli olduğu senaryolar için uygun hale getiriyor.
Halüsinasyonları yakalama yeteneği (geri çağırma) farklı stratejiler ortaya koydu. W&B Weave %86'lık geri çağırma oranıyla 50 halüsinasyondan 43'ünü yakalayıp sadece 7'sini kaçırdı. Phoenix %84'lük oranla onu yakından takip etti, 42 halüsinasyonu tespit edip 8'ini kaçırdı. Comet Opik'in geri çağırma oranı ise %44 ile önemli ölçüde daha düşüktü; sadece 22 halüsinasyonu yakalayıp 28'ini kaçırdı; gerçek halüsinasyonların yarısından fazlası tespit edilemedi.
Hassasiyet (uyarı güvenilirliği) önemli farklılıklar gösterdi. Comet Opik, sıfır yanlış pozitif ile mükemmel %100 hassasiyete ulaştı; bir şeyi halüsinasyon olarak işaretlediğinde her zaman doğruydu. Hem Phoenix (%95,5) hem de Weave (%95,6) neredeyse aynı hassasiyeti gösterdi ve her biri 50 geçerli yanıttan yalnızca 2 yanlış pozitif üreterek aşırı muhafazakar olmadan güçlü bir güvenilirlik sergiledi.
Performans farklılıklarını etkileyebilecek faktörler
Gözlemlenen performans farklılıkları muhtemelen tasarım felsefesi, eşik seçimi ve topraklamanın yorumlanmasından kaynaklanmaktadır.
Tespit stratejisi ve optimizasyon hedeflerindeki farklılıklar
- Araçlar aynı amaca yönelik olmaktan ziyade farklı hata dengelemeleri için optimize edilmiş gibi görünüyor.
- W&B Weave ve Arize Phoenix, yüksek hassasiyeti korurken aynı zamanda halüsinasyonların çoğunu yakalamayı hedefleyen dengeli bir performans sunmayı amaçlamaktadır.
- Opik kuyruklu yıldızı, birçok yanılsamanın gözden kaçması durumunda bile sıfır yanlış pozitif hedefiyle son derece muhafazakar bir strateji benimser.
- Bu stratejik tercih, Opik'in mükemmel hassasiyetini ve önemli ölçüde daha düşük geri çağırma oranını doğrudan açıklıyor.
Alet tasarımına yerleştirilmiş hassasiyet-geri çağırma dengeleri
- Opik kuyruklu yıldızının sıfır yanlış pozitif oranı, yalnızca güven düzeyi çok yüksek olduğunda halüsinasyonları işaretleyen katı bir karar eşiğine işaret etmektedir.
- W&B Weave ve Phoenix, daha az kısıtlayıcı eşik değerleri kullanarak, çok daha yüksek geri çağırma oranı karşılığında bazı yanlış pozitiflere izin verir.
- Bu eşik farklılıkları şunlara yol açabilir:
- Weave ve Phoenix'te benzer hassasiyet.
- Opik ile diğer iki araç arasında büyük hatırlama farkları mevcut.
- F1 puanı ve genel doğruluk oranındaki karşılık gelen farklılıklar
LLM'nin jüri üyesi olarak uygulanmasındaki farklılıklar
- Her üç araç da LLM'yi değerlendirme aracı olarak kullansa da, uygulamaları farklılık gösterir.
- W&B Weave, düşünce zinciri mantığına vurgu yapar; bu da, dayanağı olmayan ince iddialara karşı duyarlılığı artırabilir.
- Arize Phoenix, etiket tabanlı çıktıları güven puanlarıyla birleştirerek daha incelikli değerlendirmeleri destekler.
- Opik kuyruklu yıldızı, yanlış alarmları azaltmak ancak sınırda kalan halüsinasyonlara karşı duyarlılığı sınırlamak için yüksek güvenilirlik düzeyine sahip ikili kararlara odaklanmaktadır.
Değerlendirme derinliğinden kaynaklanan gecikme farklılıkları
- Arize Phoenix'in daha düşük gecikme süresi, gerçek zamanlı kullanım için uygun, daha hafif veya daha sadeleştirilmiş bir değerlendirme sürecine işaret ediyor.
- W&B Weave'in orta düzeydeki gecikme süresi, daha zengin mantıksal çıkarım ve izleme kaydı tutma özellikleriyle tutarlıdır.
- Comet Opik'in daha yüksek ve daha tutarsız gecikme süresi, muhtemelen daha kapsamlı içsel mantık yürütme veya doğrulama adımlarını yansıtıyor ve bu da muhafazakar tasarımını güçlendiriyor.
Yapay zekâ halüsinasyon tespit araçları
W&B Weave'in Halüsinasyonsuz Puanlayıcısı
Şekil 1: W&B Weave'in izleme paneli.
Ağırlıklar ve Önyargılar (W&B) Weave'in Halüsinasyon İçermeyen Puanlayıcısı, LLM çıktılarının sağlanan bağlamla karşılaştırılarak halüsinasyon içerip içermediğini kontrol eden yerleşik bir değerlendirme aracıdır. Puanlayıcı, üretilen yanıtın kaynak materyale bağlı kalıp kalmadığını belirlemek için LLM'yi bir yargıç olarak kullanan bir yaklaşım benimser.
Puanlama sistemi iki girdi alır: bağlam (kaynak materyal) ve çıktı (LLM tarafından oluşturulan yanıt). Ardından, çıktının bağlamda bulunmayan bir bilgi içerip içermediğini analiz etmek için bir dil modeli kullanır. Sonuç, bir boolean has_hallucination bayrağı ve kararı açıklayan bir gerekçe içerir.
Başlıca özellikler:
- Düşünce zinciri mantığı : Her değerlendirme, çıktının neden halüsinasyon olarak işaretlendiğine veya işaretlenmediğine dair bir açıklama içerir.
- İkili sınıflandırma : Destekleyici kanıtlarla birlikte net doğru/yanlış kararları verir.
- Weave izleme sistemiyle entegrasyon : Sonuçlar görselleştirme için otomatik olarak Weave kontrol paneline kaydedilir.
- Özelleştirilebilir model : OpenAI, Anthropic ve diğer sağlayıcılar dahil olmak üzere farklı LLM jüri üyelerini destekler.
Arize Phoenix'in Halüsinasyon Değerlendiricisi
Arize Phoenix'in HallucinationEvaluator'ı, yanıtların sağlanan referans materyaline dayanıp dayanmadığını doğrulayarak LLM çıktılarındaki yanılgıları tespit eden yerleşik bir ölçümdür. Değerlendirici, bağlam ve üretilen içerik arasındaki olgusal tutarlılığı değerlendirmek için LLM'yi bir yargıç olarak kullanan bir yaklaşım benimser.
Değerlendirici üç girdi alır: kullanıcı sorgusu (girdi), referans metin (bağlam) ve modelin yanıtı (çıktı). Yanıtın bağlamdan çıkarılamayan bilgiler içerip içermediğini analiz eder ve açıklama ve güven puanıyla birlikte etiketlenmiş bir sonuç ("gerçek" veya "yanıltıcı") döndürür.
Başlıca özellikler:
- Dengeli performans : Hem hassasiyet hem de geri çağırma ölçütlerinde sonuçlar verir.
- Etiket tabanlı çıktı : Yalnızca sayısal puanlar yerine kategorik etiketler ("gerçek" veya "halüsinasyon") döndürür.
- Ayrıntılı açıklamalar : Her değerlendirme kararı için gerekçeler sunar.
Opik Kuyruklu Yıldızının Halüsinasyon Ölçümü
Comet Opik'in Halüsinasyon Metriği, LLM çıktılarının uydurma veya desteklenmeyen bilgiler içerip içermediğini değerlendiren yerleşik bir değerlendirme aracıdır. Bu metrik, üretilen yanıtların sağlanan bağlama sadık kaldığını doğrulamak için LLM'yi yargıç olarak kullanan bir metodoloji kullanır.
Bu ölçüt üç girdi kabul eder: kullanıcı sorgusu (girdi), kaynak materyal (bağlam) ve modelin yanıtı (çıktı). Çıktının bağlam tarafından desteklenmeyen iddialar içerip içermediğini değerlendirir.
Sonuç, ikili bir puan (halüsinasyon yoksa 0, halüsinasyon tespit edildiyse 1) ve değerlendirmeyi açıklayan ayrıntılı bir gerekçe içerir.
Başlıca özellikler:
- Ayrıntılı açıklamalar : Her değerlendirme, içeriğin neden işaretlendiği veya onaylandığına dair kapsamlı gerekçeler sunar.
- Üç girdili analiz : Değerlendirme için sorguyu, bağlamı ve yanıtı birlikte ele alır.
- Deney takibi : Sonuçlar otomatik olarak Opik'in deney takip sistemine kaydedilir.
- Muhafazakar yaklaşım : Yalnızca yüksek güvenilirlik düzeyine sahip halüsinasyonları işaretleyerek yanlış pozitifleri en aza indirmeyi amaçlamaktadır.
Yapay zekâ halüsinasyonu nedir?
Yapay zekâ sistemlerinin tutarlı görünen ancak gerçek olmayan içerik ürettiği durumlara halüsinasyonlar denir. Büyük dil modeli araştırmalarında halüsinasyonlar temel bir zorluk olarak ele alınır çünkü üretken yapay zekâ, altta yatan eğitim verileri iddiayı desteklemese bile genellikle kendinden emin bir şekilde yanıt verir. Yapay zekâ halüsinasyonları üzerine yapılan bir araştırma, bunların modellerin sağlanan bağlamdan doğrulanabilir gerçek veriler yerine dilsel ön bilgilere dayandığı durumlarda ortaya çıktığını belirtmektedir. 1
Sektör kaynakları, yapay zekâ yanılsamalarının sağlık uygulamaları , hukuk hizmetleri , kurumsal arama ve müşteri desteği gibi alanlarda nasıl ortaya çıktığını vurguluyor. Bu tür ortamlarda, yanılsamalar, özellikle kritik kararların doğru yapay zekâ çıktılarına bağlı olduğu durumlarda, kullanıcı güvenini zedeliyor.
Bu nedenle, halüsinasyonları tanımak ve tespit etmek, hem son kullanıcıları korumak hem de LLM'lere dayanan yapay zeka uygulamalarının güvenli bir şekilde devreye alınmasını sağlamak için modern yapay zeka geliştirmenin merkezine yerleşmiştir.
Halüsinasyonların kaynakları ve sınıflandırılması
Halüsinasyonlar, istatistiksel kalıplara aşırı güvenme, eğitim verilerindeki eksiklikler ve dizi oluşturmanın olasılıksal doğası gibi model içi davranışlardan kaynaklanabilir.
Halüsinasyon tespiti ve azaltılması üzerine bir makaleye göre, olası devamlılıklar doğrulanabilir kanıtlardan ziyade çıkarımlara dayandığı için, LLM'ler kendinden emin görünseler bile gerçek dışı sonuçlar üretebilirler. 2
Diğer halüsinasyonlar, bağlamsal başarısızlıklar, örneğin geri çağırma destekli üretim ( RAG sistemleri ) sistemlerindeki geri çağırma başarısızlıkları, belirsiz uyarılar veya eksik temellendirme gibi nedenlerden kaynaklanır. Ayrıca çok modlu modellerin nesne karışıklıkları, zamansal tutarsızlıklar veya uydurulmuş sahne ayrıntıları yoluyla halüsinasyonlar sergilediği de öne sürülmektedir.
Ajan tabanlı iş akışlarında halüsinasyon tespiti
Çok adımlı ajan iş akışları, tek turlu LLM etkileşimlerinden farklı benzersiz halüsinasyon riskleri ortaya çıkarır. Bir ajan birden fazla adımda özerk olarak çalıştığında, erken bir aşamadaki bir halüsinasyon, sonraki kararlar, araç çağrıları ve çıktılar boyunca yayılabilir.
Ajan kaynaklı halüsinasyon tespitinde karşılaşılan temel zorluklar:
- Hata yayılımı: Planlama aşamasında uydurulan bir bilgi, araç seçimini, veri alımını ve nihai yanıtları etkileyebilir.
- Araç çağrısı yanılsamaları: Ajanlar, araçları yanlış parametrelerle çağırabilir veya araç çıktılarını yanlış yorumlayabilir.
- Devlet yolsuzluğu: Ajanların hafızasında saklanan hayali bilgiler, gelecekteki muhakeme adımlarını etkiliyor.
- Atıf karmaşıklığı: Halüsinasyona hangi aşamanın neden olduğunu belirlemek, baştan sona izleme gerektirir.
Ajan tabanlı sistemler için algılama yaklaşımları:
- Aşamalı doğrulama: Aracının bir sonraki eyleme geçmeden önce her ara çıktının doğrulanması.
- Araç çıktısı doğrulama: Araç yanıtlarının beklenen formatlara ve bilinen kısıtlamalara göre çapraz kontrolü.
- Yörünge analizi: Ajanın karar verme sürecinin tamamını gözden geçirerek, akıl yürütmenin temellendirilmiş bilgilerden nerede saptığını belirlemek.
- Aşamalar arası tutarlılık kontrolleri: Çelişkileri tespit etmek için farklı aşamalarda yapılan iddiaların karşılaştırılması.
W&B Weave'in HallucinationFree Scorer'ı ve Arize Phoenix'in HallucinationEvaluator'ı her ajan adımında uygulanabilirken, entegre gösterge panelleri kök neden analizi için tam yürütme izini görüntüler.
Gerçek zamanlı halüsinasyon önleme
Oluşturulduktan sonra halüsinasyonları tespit etmek değerli bilgiler sağlasa da, sorunlu çıktıların kullanıcılara ulaşmasını engellemez. Gerçek zamanlı önleme sistemleri, yanıt verilmeden önce müdahale eder.
Önleme mekanizmaları:
- Çıktı güvenlik önlemleri: Oluşturulan içeriği kullanıcıya geri göndermeden önce gerçeklik kriterlerine göre analiz eden filtreler.
- Güven eşikleri: Modelin içsel güven düzeyi kabul edilebilir seviyelerin altına düştüğünde yanıtları işaretleme veya uyarı verme.
- Veri alma doğrulama aşamaları: Yanıtı kesinleştirmeden önce oluşturulan iddiaların alınan belgelerle desteklendiğini doğrulamak.
- Yedek stratejiler: Sanrı riski yüksek olduğunda güvenli bir varsayılan yanıt döndürmek veya inceleme kuyruklarına yönlendirmek.
Gerçek zamanlı önleme için araç yetenekleri:
- W&B Weave, halüsinasyon puanlamasını üretim süreçlerine entegre ederek, yanıtlar sunulmadan önce otomatik kontrollerin yapılmasını sağlar.
- Arize Phoenix, yüksek riskli çıktıları anında inceleme için işaretleyen uyarı özellikleriyle gerçek zamanlı izleme sağlar.
- Comet Opik , otomatik değerlendirme ile deney takibi sunarak ekiplerin halüsinasyon eşiklerini aşan yanıtları engelleyen kalite sınırları belirlemesine olanak tanır.
Halüsinasyon tespiti yaklaşımları
Halüsinasyonları tespit etmek için kullanılan altı temel yaklaşım vardır:
1. Tutarlılığa dayalı yöntemler
Tutarlılığa dayalı yöntemler, bir cevabı birkaç alternatif nesille karşılaştırarak değerlendirir.
Bir yaklaşım, birden fazla yanıtı örnekleyerek bunları anlamsal benzerlik ölçütleri, n-gram örtüşmesi veya soru-cevap doğrulaması kullanarak karşılaştırır.
Yanıtlar birbirleriyle çeliştiğinde veya mantıksal tutarsızlıklar içerdiğinde, halüsinasyon olasılığı artar.
Başka bir teknik ise anlamsal entropiyi kullanır; bu yöntem, yanıtları ifade biçiminden ziyade anlama göre kümelendirir. Bu yöntem, kavramsal düzeyde belirsizliği tahmin eder. Yüksek entropi, istikrarsız bilgiye işaret eder ve bu da onu, uydurmaları tespit etmek için en etkili yapay zekâ halüsinasyon tespit araçlarından biri yapar.
Sektör tavsiyeleri de benzer kalıpları izler:
- Çeşitli dahili yanıtlar oluşturun ve tutarsızlıkları işaretleyin.
- Çeşitli ölçütlerde güven düzeyinde farklılıklar olduğunda insan değerlendiricileri uyarın.
- Yanıt değişkenliği belirsizliğe işaret ettiğinde gerçek zamanlı uyarılar kullanın.
Tutarlılığa dayalı sistemler, özellikle kuruluşların kullanıcıya yönelik uygulamalardaki hataları erken aşamada tespit etmesi gerektiğinde son derece değerlidir.
2. Olasılık ve güvene dayalı tespit
Birçok sistem, modelin kendi çıktısı hakkındaki içsel inancını analiz eder. Genellikle belirteç düzeyindeki olasılıklar, entropi değerleri, kalibrasyon eğrileri ve marj tabanlı güven tahminleri kullanılır. Düşük güven segmentleri genellikle daha yüksek halüsinasyon oranlarıyla ilişkilidir.
Değişken ifade biçimleri nedeniyle ham entropi yanıltıcı olabilse de, güven sinyalleri özellikle tutarlılığa dayalı göstergelerle birleştirildiğinde faydalı olmaya devam etmektedir. Bu değerler ayrıca yapay zeka yanıtlarının sürekli olarak izlendiği gerçek zamanlı halüsinasyon tespitini de desteklemektedir.
Birçok araç, bu puanları şu eklentiler aracılığıyla ortaya çıkarır:
- Belirsiz yapay zeka tarafından üretilen yanıtları işaretle
- Uzman incelemesine öncelik verin
- Üretimde güven kaymasının gerçek zamanlı izlenmesini destekleyin.
3. Referans veya bağlam tabanlı tespit
Referans tabanlı değerlendirme, modelin çıktısını sağlanan bağlam veya harici kaynaklarla karşılaştırır; bu da RAG sistemleri için çok önemlidir. Tipik teknikler şunlardır:
- Elde edilen belgelerin cevabı destekleyip desteklemediğini kontrol eden çıkarım modelleri.
- Kanıt desteğini doğrulayan hizalama ve temellendirme yöntemleri.
- İddiaların destekleyici metinle örtüşüp örtüşmediğini ölçen gerçeklik ölçütleri.
Not: Veriye dayalı üretimde, dayanakların doğrulanması şarttır. Eksik kanıt, yetersiz alan dışı veri alma ve eski veya yanlış kaynaklar gibi sorunlar, desteklenmeyen cevapların temel nedenleri arasında yer alır. Bu yöntemler, iddiaların doğrulanabilir verilere dayanmasını sağlayarak olgusal doğruluğu doğrudan destekler.
4. Geri alma ile desteklenmiş doğrulama
Veri alma destekli doğrulama, dinamik kontrolü vurgular. Oluşturulan her iddia, bir arama dizinine, bir vektör deposuna veya bilgi grafiği gibi yapılandırılmış bir bilgi tabanına karşı değerlendirilir. Bir iddianın destekleyici kanıtı yoksa, sistem şunları yapabilir:
- Reddet
- Gözden geçirin.
- Açıkça belirtilen topraklama ile yeniden oluşturun.
Daha gelişmiş sistemler bunu iş akışı düzeyinde izlemeye kadar genişleterek, desteklenmeyen bir iddianın ilk kez hangi adımda ortaya çıktığını tam olarak belirler. Bu, kuruluşların yanılgı oranlarını izlemelerini, yanılgı kalıplarını belirlemelerini ve çok adımlı akıl yürütme akışlarında şeffaflığı korumalarını sağlar.
5. Kural tabanlı ve alan kısıtlamalı yöntemler
Kural tabanlı yöntemler, alana özgü kısıtlamaları uygular ve şunları içerir:
- Hukuki atıf doğrulayıcıları
- Tıbbi terminoloji koruyucuları
- Uydurma sayılar veya tarihler için kalıba dayalı kontroller
Bu tür kısıtlamalar, düzenlemeye tabi sektörlerdeki yanılgıları azaltır ve özel kullanım durumları için güvenilirliği artırır. Özellikle yanlış bilgi riskinin tolere edilemeyeceği yüksek riskli kararlarda, bu kural tabanlı sinyallerin insan yargısıyla birlikte kullanılması önerilir.
6. Çok modlu halüsinasyon tespiti
Halüsinasyonlar metinle sınırlı kalmayarak da gözlemlenebilir. Örnekler şunlardır:
- Görüntü alt yazılarında nesne yanılsaması.
- Videodaki olay açıklamaları hatalı.
- Ses kayıtlarındaki yanlış özellikler.
Çok modlu algılama genellikle çapraz modlu tutarlılık kontrolleri, görsel temellendirme ve POPE, MHalDetect ve FactVC gibi veri kümelerini kullanır. Kuruluşlar çok modluyapay zeka ajanlarıyla denemeler yaptıkça bu yöntemler giderek daha önemli hale gelmektedir.
Yapay zekâ halüsinasyon tespit teknikleri ve algoritmaları
Token düzeyinde tespit
Token düzeyindeki yöntemler, halüsinasyonların ortaya çıktığı kesin yerleri belirler. Örnekler şunlardır:
- İnsan açıklaması ve bağlamsal bozulma kullanarak yanılsamaya dayalı kelimeleri etiketleyen veri kümeleri, sınıflandırma modellerinin hatalı aralıkları işaretlemesini sağlar.
- Verilen bağlam göz önüne alındığında, önceden ve sonradan elde edilen belirteç olasılıkları arasındaki sapmayı analiz eden olasılığa dayalı karşılaştırmalar.
- Şüpheli dizileri işaretleyen dizi etiketleme yaklaşımları.
Bu teknikler, uzun metinli içerik oluşturmayı içeren uygulamalar için faydalı olan yapay zeka çıktılarının ayrıntılı incelenmesini destekler.
Cümle düzeyinde tespit
Cümle düzeyindeki yöntemler, tüm ifadelerin doğruluğunu değerlendirir. Örnekler şunlardır:
- Cümlelerin istikrarsızlığını tespit etmek için birden fazla nesil boyunca karşılaştırıldığı, örneklemeye dayalı öz tutarlılık kontrolleri.
- Semantik entropi, etiketlenmiş verilere ihtiyaç duymadan kavramsal belirsizliği belirlemek için kullanılır.
- Desteklenmeyen veya çelişkili iddiaları tespit eden çıkarım temelli sınıflandırıcılar.
Bu yaklaşımlar, üretilen bir yanıtın kabul edilip edilmeyeceğine, revize edilip edilmeyeceğine veya yeniden kontrol edilip edilmeyeceğine karar veren halüsinasyon tespit araçlarında yaygındır.
İş akışı düzeyinde tespit
İş akışı düzeyinde tespit, halüsinasyonların kademeli olarak ortaya çıkabileceği çok adımlı süreçleri izler. Yaygın mekanizmalar şunlardır:
- Köken grafikleri
- Aşamalı çıkarım kontrolleri
- Ara düzey akıl yürütme doğrulaması
- Çok aşamalı görevler için bağımlılık izleme
Bu sistemler, kuruluşların sürekli izleme yapmalarına, sürekli iyileştirmeyi sağlamalarına ve karmaşık mantık zincirlerinde gerçek zamanlı tespit uygulamalarına yardımcı olur.
Geri çağırmayı destekleyen üretim için halüsinasyon tespiti
Geri alma ile güçlendirilmiş üretim, LLM mantığını harici belgelerle birleştirir. Birçok yanılsama bu ortamda ortaya çıkar çünkü model, geri alma zayıf veya belirsiz olduğunda bilgi uydurabilir.
Artırılmış gerçekliğe yönelik zorluklar
- Eksik veya alakasız alınan belgeler
- İç model önceliklerine aşırı güvenme
- Bağlamın yanlış yorumlanması
- Güncelliğini yitirmiş veya düşük kaliteli kaynaklar
Bu sorunlar sıklıkla desteklenmeyen yanıtların temel nedenleri olarak tanımlanmaktadır.
RAG halüsinasyonlarının tespitinde kullanılan yöntemler
RAG ortamlarında etkili tespit, çeşitli mekanizmalar kullanılarak gerçekleştirilir:
- Alınan metin ile üretilen yanıtlar arasındaki mantıksal bağlantıları kontrol eden bağlam-yanıt çıkarım modelleri.
- Yanıtların ilgili kanıtlara dayanmasını sağlamak için sıralama ve benzerlik kontrolleri yapılır.
- Kanıt yetersiz olduğunda yanıtları iyileştiren yinelemeli doğrulama döngüleri.
- Her bir iddiayı bir pasaj veya bilgi grafiği düğümüne eşleyen temellendirme teknikleri.
Ekipler, hatırlama sapmasını tespit etmek, yanılsama kalıplarını izlemek ve yanıtların verilen bağlamla bağlantılı kalmasını sağlamak için genellikle gerçek zamanlı izlemeye güvenirler.
Çok modlu halüsinasyon tespiti
Görüntü ,video ve ses gibi verileri içeren yapay zeka modellerinin sayısının artmasıyla çok modlu algılama önem kazanmıştır. Bu amaçla çeşitli mekanizmalar kullanılmaktadır:
- Görüntülerde nesnelerin varlığını veya yokluğunu doğrulayan modeller.
- Video altyazılarının gösterilen eylemlerle eşleşip eşleşmediğini kontrol eden sistemler.
- Ses kaynağıyla uyumluluğu doğrulayan ses altyazısı değerlendirmeleri.
POPE, MHalDetect ve FactVC gibi veri kümeleri, çok modlu bağlamlarda olgusal uyumun değerlendirilmesini destekler. Bu yöntemler, yapay zeka ajanları birden fazla girdi türüyle çalışırken denetimi güçlendirir.
Endüstriyel modeller ve en iyi uygulamalar
Aşağıdaki en iyi uygulamaları benimseyen kuruluşlar, hatırlama yeteneği geliştikçe, yönlendirmeler daha iyi yapılandırıldıkça ve daha doğru veriler dahil edildikçe halüsinasyon oranlarının düştüğünü genellikle gözlemlerler:
- Tutarlılık kontrolleri, olasılık puanlaması ve çıkarım doğrulama gibi yöntemlerin birleştirilmesi.
- Sistem davranışını zaman içinde izlemek için gerçek zamanlı izleme panolarını entegre etmek.
- İstem mühendisliği yoluyla istemlerin iyileştirilmesi ve ilk yanıtın doğrulanması.
- İçerik oluşturmanın yasal, tıbbi veya mali sonuçları olduğunda uzman incelemesinden yararlanmak.
- Yapay zeka geliştirme sürecinde kaliteyi korumak için CI/CD sistemlerinde otomatik kontroller çalıştırmak.
- Yapay zekâ ajanlarını gözlemlemek ve anormallikleri tespit etmek için tasarlanmış ajan tabanlı izleme eklentilerinin devreye alınması.
Gelecekteki araştırma yönleri
İlerlemenin bir sonraki aşamasına yön verecek birkaç alanın belirlenmesi bekleniyor:
1. Anlam düzeyi belirsizliğinin tahmini
Semantik düzey değerlendirmesi, kavramsal istikrarsızlığı yüzeysel olasılıktan daha güvenilir bir şekilde tespit ettiği için giderek daha fazla ilgi görmektedir. Gelecekteki yöntemler, halüsinasyon tespitinin hassasiyetini artırmak için aşağıdakileri içerebilir:
- Karşılıklı bilgi.
- Modeller arası anlaşma.
- Küme düzeyinde anlamsal varyans
2. Karşılaştırmalı akıl yürütme yoluyla ölçeklenebilir denetim
Model tartışması veya çapraz sorgulama gibi çoklu ajan yaklaşımları, tek modellerin gözden kaçırdığı ince hataları tespit etmeye yardımcı olabilir.
3. Birleşik çok modlu çerçeveler
Çok modlu modellerin kullanımı yaygınlaştıkça, görüntüler, ses ve videolar genelinde halüsinasyonları ele almak için birleşik tespit yaklaşımlarına ihtiyaç duyulmaktadır.
4. İş akışına duyarlı algılama
Sistem düzeyinde izleme, hatalı ara adımların belirlenmesini sağlar ve daha büyük süreçlerde sürekli iyileştirmeyi destekler.
5. Daha güçlü değerlendirme veri kümeleri
Çok adımlı akıl yürütme, düşmanca görevler ve uzun bağlamlı senaryolar için daha zorlu veri kümelerine ihtiyaç duyulmaktadır; bu sayede sistemler basit kalıp tanıma yoluyla daha az sıklıkla başarısız olur.
Kıyaslama metodolojisi
Kullanılan kıyaslama testi, gerçek soru-cevap senaryolarından alınan 50 bilgi maddesinden oluşan kontrollü bir veri kümesini kullandı. Her madde bir kaynak bağlamı, bir soru, bu bağlamda verilen doğru bir cevap ve uydurma bilgiler içeren hayali bir cevaptan oluşuyordu. Örneğin, bir testte Oberoi Grubu'nun genel merkezinin yeri soruluyordu ve doğru cevap olan "Delhi", uydurma cevap olan "Mumbai" ile karşılaştırıldı.
Her bilgi öğesi iki test senaryosu oluşturdu: biri doğru cevabı kullanarak (beklenen: halüsinasyon yok) ve diğeri halüsinasyonlu cevabı kullanarak (beklenen: halüsinasyon tespit edildi). Bu, toplam 100 test senaryosuna denk gelen dengeli bir 50/50 dağılım oluşturdu. Her üç araç da aynı test senaryolarını sırayla işledi ve her biri aynı girdileri (bağlam, soru ve çıktı) aldı.
Adil bir karşılaştırma sağlamak ve sonuçları çarpıtabilecek paralel işlem veya toplu değerlendirme tuzaklarından kaçınmak için her test durumu için gecikme süresini ayrı ayrı ölçtük. Doğru pozitifler, yanlış pozitifler, doğru negatifler ve yanlış negatiflerin hesaplanmasında doğruluğu sağlamak için gerçek etiketler manuel olarak doğrulandı.
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir.