Strumenti di rilevamento delle allucinazioni AI: W&B Weave & Comet

Abbiamo testato tre strumenti di rilevamento delle allucinazioni: Weights & Biases (W&B) Weave HallucinationFree Scorer, Arize Phoenix HallucinationEvaluator e Comet Opik Hallucination Metric, su 100 casi di test.

Ogni strumento è stato valutato in termini di accuratezza, precisione, recall e latenza per fornire un confronto equo delle loro prestazioni nel mondo reale.

Benchmark degli strumenti di rilevamento delle allucinazioni AI

Abbiamo testato 100 risposte (50 corrette, 50 allucinate) da scenari di Q&A fattuali rispetto al loro contesto di origine.

Confronto di accuratezza e latenza

W&B Weave e Arize Phoenix hanno ottenuto un'accuratezza quasi identica, rispettivamente del 91% e del 90%, identificando correttamente 90 dei 100 casi di test. Entrambi gli strumenti hanno dimostrato prestazioni affidabili sull'intero dataset. Comet Opik è rimasto indietro con un'accuratezza del 72%, classificando correttamente solo 72 test su 100, un divario significativo dovuto al suo approccio conservativo.

In termini di velocità, Arize Phoenix è stato il vincitore con 2 secondi per test, rendendolo adatto per applicazioni in tempo reale. W&B Weave ha elaborato i test in 4 secondi, un valore ragionevole per la maggior parte dei casi d'uso in produzione. Comet Opik è stato notevolmente più lento con 8,5 secondi per test, suggerendo tempi di elaborazione incoerenti che potrebbero influire sull'esperienza utente in applicazioni sensibili alla latenza.

Punteggio F1, precisione e recall

I punteggi F1 (media armonica di precisione e recall) hanno confermato questi modelli: W&B Weave al 90,5% e Phoenix all'89,4% hanno entrambi raggiunto prestazioni solide e bilanciate. Al confronto, il 61,1% di Opik ha riflesso il compromesso tra precisione perfetta e recall debole. I zero falsi positivi di Opik sono stati ottenuti a costo di 28 falsi negativi, rendendolo adatto solo per scenari in cui i falsi allarmi sono più costosi delle mancate rilevazioni.

La recall (capacità di individuare allucinazioni effettive) ha rivelato strategie distinte. W&B Weave ha guidato con una recall dell'86%, individuando 43 delle 50 allucinazioni e mancandone solo 7. Phoenix ha seguito da vicino con l'84%, rilevando 42 allucinazioni e mancandone 8. La recall di Comet Opik è stata sostanzialmente inferiore, al 44%, individuando solo 22 allucinazioni e mancandone 28; più della metà di tutte le allucinazioni effettive non è stata rilevata.

La precisione (affidabilità degli alert) ha mostrato una variazione significativa. Comet Opik ha raggiunto una precisione perfetta del 100% con zero falsi positivi, quando segnalava qualcosa come allucinazione, aveva sempre ragione. Sia Phoenix (95,5%) che Weave (95,6%) hanno mostrato una precisione quasi identica, producendo ciascuno solo 2 falsi positivi su 50 risposte legittime, dimostrando una forte affidabilità senza essere eccessivamente conservativi.

Fattori che potrebbero influenzare le differenze di prestazione

Le differenze di prestazione osservate sono probabilmente dovute alla filosofia di progettazione, alla selezione delle soglie e all'interpretazione del grounding.

Differenze nella strategia di rilevamento e negli obiettivi di ottimizzazione

• Gli strumenti sembrano essere ottimizzati per compromessi di errore diversi piuttosto che per lo stesso obiettivo.
• W&B Weave e Arize Phoenix mirano a prestazioni bilanciate, mantenendo un'alta precisione pur catturando la maggior parte delle allucinazioni.
• Comet Opik adotta una strategia altamente conservativa, dando priorità a zero falsi positivi anche se molte allucinazioni vengono perse.
• Questa scelta strategica spiega direttamente la precisione perfetta di Opik e la recall sostanzialmente inferiore.

Compromessi precisione-recall incorporati nella progettazione degli strumenti

• I zero falsi positivi di Comet Opik indicano una soglia decisionale rigorosa, che segnala le allucinazioni solo quando la confidenza è molto alta.
• W&B Weave e Phoenix utilizzano soglie meno restrittive, consentendo alcuni falsi positivi in cambio di una recall molto più elevata.
• Queste differenze di soglia possono portare a:
  • Precisione simile tra Weave e Phoenix
  • Ampi divari di recall tra Opik e gli altri due strumenti
  • Differenze corrispondenti nel punteggio F1 e nell'accuratezza complessiva

Variazioni nell'implementazione LLM-as-a-judge

• Sebbene tutti e tre gli strumenti utilizzino un approccio LLM-as-a-judge, le loro implementazioni differiscono.
• W&B Weave enfatizza il ragionamento a catena di pensiero, che può migliorare la sensibilità alle affermazioni sottili non supportate.
• Arize Phoenix incorpora output basati su etichette con punteggi di confidenza, supportando giudizi più sfumati.
• Comet Opik si concentra su decisioni binarie ad alta confidenza, il che riduce i falsi allarmi ma limita la sensibilità alle allucinazioni borderline.

Differenze di latenza dovute alla profondità di valutazione

• La minore latenza di Arize Phoenix suggerisce una pipeline di valutazione più leggera o semplificata, adatta all'uso in tempo reale.
• La latenza moderata di W&B Weave è coerente con un ragionamento più ricco e la registrazione delle tracce.
• La latenza più elevata e meno coerente di Comet Opik riflette probabilmente un ragionamento interno o passaggi di verifica più estesi, rafforzando il suo design conservativo.

Strumenti di rilevamento delle allucinazioni AI

W&B Weave HallucinationFree Scorer

Figura 1: Dashboard delle tracce di W&B Weave.

Weights & Biases (W&B) Weave HallucinationFree Scorer è uno strumento di valutazione integrato che verifica se gli output LLM contengono allucinazioni confrontandoli con il contesto fornito. Lo scorer utilizza un approccio LLM-as-a-judge per determinare se la risposta generata rimane ancorata al materiale di origine.

Lo scorer accetta due input: il contesto (materiale di origine) e l'output (risposta generata da LLM). Utilizza quindi un modello linguistico per analizzare se l'output introduce informazioni non presenti nel contesto. Il risultato include un flag booleano has_hallucination e un ragionamento che spiega la decisione.

Caratteristiche principali:

• Ragionamento a catena di pensiero: Ogni valutazione include una spiegazione del motivo per cui l'output è stato segnalato come allucinazione o meno.
• Classificazione binaria: Restituisce decisioni chiare vero/falso con prove a supporto.
• Integrazione con il tracciamento Weave: I risultati vengono automaticamente registrati nella dashboard Weave per la visualizzazione.
• Modello personalizzabile: Supporta diversi giudici LLM, tra cui OpenAI, Anthropic e altri provider.

Arize Phoenix HallucinationEvaluator

L'HallucinationEvaluator di Arize Phoenix è una metrica integrata che rileva le allucinazioni negli output LLM verificando se le risposte sono ancorate al materiale di riferimento fornito. L'evaluator utilizza un approccio LLM-as-a-judge per valutare la coerenza fattuale tra il contesto e il contenuto generato.

L'evaluator accetta tre input: la query dell'utente (input), il testo di riferimento (contesto) e la risposta del modello (output). Analizza se la risposta contiene informazioni che non possono essere derivate dal contesto, restituendo un risultato etichettato ("fattuale" o "allucinato") insieme a una spiegazione e un punteggio di confidenza.

Caratteristiche principali:

• Prestazioni bilanciate: Fornisce risultati sia in termini di metriche di precisione che di recall
• Output basato su etichette: Restituisce etichette categoriche ("fattuale" o "allucinato") anziché solo punteggi numerici
• Spiegazioni dettagliate: Fornisce un ragionamento per ogni decisione di valutazione

Comet Opik Hallucination Metric

La Hallucination Metric di Comet Opik è un valutatore integrato che verifica se gli output LLM contengono informazioni inventate o non supportate. La metrica utilizza una metodologia LLM-as-a-judge per verificare che le risposte generate rimangano fedeli al contesto fornito.

La metrica accetta tre input: la query dell'utente (input), il materiale di origine (contesto) e la risposta del modello (output). Valuta se l'output introduce affermazioni non supportate dal contesto.

Il risultato include un punteggio binario (0 per nessuna allucinazione, 1 per allucinazione rilevata) e un ragionamento dettagliato che spiega la valutazione.

Caratteristiche principali:

• Spiegazioni dettagliate: Ogni valutazione fornisce un ragionamento completo sul motivo per cui il contenuto è stato segnalato o approvato
• Analisi a tre input: Considera insieme query, contesto e risposta per la valutazione
• Tracciamento degli esperimenti: I risultati vengono automaticamente registrati nel sistema di tracciamento degli esperimenti di Opik
• Approccio conservativo: Progettato per ridurre al minimo i falsi positivi segnalando solo allucinazioni ad alta confidenza

Che cos'è l'allucinazione AI?

Le allucinazioni sono casi in cui i sistemi AI generano contenuti che appaiono coerenti ma non sono fattuali. Nella ricerca sui modelli linguistici di grandi dimensioni, le allucinazioni sono considerate una sfida fondamentale perché l'AI generativa spesso risponde con sicurezza anche quando i dati di addestramento sottostanti non supportano l'affermazione. Un sondaggio sulle allucinazioni AI osserva che queste sorgono quando i modelli si basano su priori linguistici anziché su verità verificabili dal contesto fornito.¹

Fonti del settore evidenziano come le allucinazioni AI si verifichino in domini quali le applicazioni sanitarie, i servizi legali, la ricerca aziendale e l'assistenza clienti. In tali contesti, le allucinazioni minano la fiducia degli utenti, specialmente quando decisioni ad alto rischio dipendono da output AI corretti.

Riconoscere e rilevare le allucinazioni è quindi diventato centrale nello sviluppo moderno dell'AI, sia per proteggere gli utenti finali sia per garantire l'implementazione sicura di applicazioni AI che si basano su LLM.

Fonti e tassonomia delle allucinazioni

Le allucinazioni possono derivare da comportamenti interni al modello, come un eccessivo affidamento a schemi statistici, lacune nei dati di addestramento e la natura probabilistica della generazione di sequenze.

Secondo un articolo sul rilevamento e la mitigazione delle allucinazioni, i LLM possono produrre inesattezze fattuali anche quando appaiono sicuri, perché le continuazioni probabili sono inferite piuttosto che prove verificabili.²

Altre allucinazioni derivano da fallimenti contestuali, inclusi fallimenti di recupero nei sistemi di generazione aumentata da recupero (RAG), prompt ambigui o grounding incompleto. Si suggerisce inoltre che i modelli multimodali mostrino allucinazioni attraverso confusioni di oggetti, incoerenze temporali o dettagli di scena inventati.

Rilevamento delle allucinazioni nei flussi di lavoro agentici

I flussi di lavoro agentici a più passaggi introducono rischi di allucinazioni unici che differiscono dalle interazioni a turno singolo con LLM. Quando un agente opera autonomamente attraverso più passaggi, un'allucinazione in una fase iniziale può propagarsi attraverso decisioni successive, chiamate di strumenti e output.

Sfide chiave nel rilevamento delle allucinazioni agentiche:

• Propagazione degli errori: Un fatto inventato nella fase di pianificazione può influenzare la selezione degli strumenti, il recupero dei dati e le risposte finali
• Allucinazioni nelle chiamate di strumenti: Gli agenti possono invocare strumenti con parametri errati o interpretare male gli output degli strumenti
• Corruzione dello stato: Le informazioni allucinate memorizzate nella memoria dell'agente influenzano i passaggi di ragionamento futuri
• Complessità dell'attribuzione: Identificare quale passaggio ha introdotto l'allucinazione richiede un tracciamento end-to-end

Approcci di rilevamento per sistemi agentici:

• Verifica a livello di passaggio: Convalidare ogni output intermedio prima che l'agente proceda all'azione successiva
• Convalida degli output degli strumenti: Verificare incrociatamente le risposte degli strumenti rispetto ai formati previsti e ai vincoli noti
• Analisi della traiettoria: Rivedere l'intera sequenza di decisioni dell'agente per identificare dove il ragionamento si è discostato dalle informazioni ancorate
• Controlli di coerenza tra i passaggi: Confrontare le affermazioni fatte in fasi diverse per rilevare contraddizioni

W&B Weave HallucinationFree Scorer e Arize Phoenix HallucinationEvaluator possono essere applicati ad ogni passaggio dell'agente, mentre le loro dashboard integrate mostrano l'intera traccia di esecuzione per l'analisi delle cause principali.

Prevenzione delle allucinazioni in tempo reale

Rilevare le allucinazioni dopo la generazione fornisce preziose informazioni ma non impedisce che output problematici raggiungano gli utenti. I sistemi di prevenzione in tempo reale intervengono prima che la risposta venga consegnata.

Meccanismi di prevenzione:

• Guardrail di output: Filtri che analizzano il contenuto generato rispetto a criteri di fattualità prima di restituirlo all'utente.
• Soglie di confidenza: Bloccare o segnalare le risposte quando la confidenza interna del modello scende al di sotto di livelli accettabili.
• Gates di convalida del recupero: Verificare che le affermazioni generate siano supportate dai documenti recuperati prima di finalizzare la risposta.
• Strategie di fallback: Restituire una risposta predefinita sicura o inoltrare a code di revisione quando il rischio di allucinazione è elevato.

Capacità degli strumenti per la prevenzione in tempo reale:

• W&B Weave integra il punteggio di allucinazione nelle pipeline di produzione, consentendo controlli automatici prima che le risposte vengano fornite.
• Arize Phoenix offre monitoraggio in tempo reale con capacità di alerting che segnalano gli output ad alto rischio per una revisione immediata.
• Comet Opik offre il tracciamento degli esperimenti con valutazione automatica, consentendo ai team di impostare gates di qualità che bloccano le risposte che superano le soglie di allucinazione.

Approcci al rilevamento delle allucinazioni

Esistono sei approcci principali utilizzati per rilevare le allucinazioni:

1. Metodi basati sulla coerenza

I metodi basati sulla coerenza valutano una risposta confrontandola con diverse generazioni alternative.
Un approccio campiona più risposte e le confronta utilizzando misure di similarità semantica, sovrapposizione di n-grammi o verifica domanda-risposta.

Quando le risposte si contraddicono a vicenda o contengono incoerenze logiche, la probabilità di allucinazione aumenta.

Un'altra tecnica utilizza l'entropia semantica, che raggruppa le risposte per significato anziché per formulazione. Questo metodo stima l'incertezza a livello concettuale. Un'entropia elevata indica conoscenza instabile, rendendo questo uno degli strumenti di rilevamento delle allucinazioni AI più efficaci per identificare le confabulazioni.

Le raccomandazioni del settore seguono modelli simili:

• Generare diverse risposte interne e segnalare le incoerenze.
• Avvisare i revisori umani quando la confidenza varia tra più metriche.
• Utilizzare avvisi in tempo reale quando la variabilità delle risposte indica incertezza.

I sistemi basati sulla coerenza sono particolarmente preziosi quando le organizzazioni devono individuare le allucinazioni precocemente nelle applicazioni rivolte agli utenti.

2. Rilevamento basato su probabilità e confidenza

Molti sistemi analizzano la convinzione interna del modello riguardo al proprio output. Le probabilità a livello di token, i valori di entropia, le curve di calibrazione e le stime di confidenza basate sul margine sono comunemente utilizzati. I segmenti a bassa confidenza spesso sono correlati a tassi di allucinazione più elevati.

Sebbene l'entropia grezza possa essere fuorviante a causa della formulazione variabile, i segnali di confidenza rimangono utili, in particolare se combinati con indicatori basati sulla coerenza. Questi valori supportano anche il rilevamento delle allucinazioni in tempo reale, dove le risposte AI vengono monitorate continuamente.

Molti strumenti espongono questi punteggi tramite plugin che:

• Segnalano risposte generate dall'AI incerte
• Danno priorità alla revisione di esperti
• Supportano il monitoraggio in tempo reale della deriva della confidenza in produzione

3. Rilevamento basato su riferimento o contesto

La valutazione basata su riferimento confronta l'output del modello con il contesto fornito o fonti esterne, essenziale per i RAG sistemi. Le tecniche tipiche includono:

• Modelli di entailment che verificano se i documenti recuperati supportano la risposta.
• Metodi di allineamento e grounding che convalidano il supporto delle prove.
• Metriche di fattualità che misurano se le affermazioni corrispondono al testo di supporto.

Nota: La generazione aumentata da recupero deve verificare il grounding. Problemi come prove mancanti, scarso recupero fuori dominio e fonti obsolete o errate sono spesso cause principali di risposte non supportate. Questi metodi supportano direttamente l'accuratezza fattuale garantendo che le affermazioni siano legate a dati verificabili.

4. Verifica aumentata da recupero

La verifica aumentata da recupero enfatizza il controllo dinamico. Ogni affermazione generata viene valutata rispetto a un indice di ricerca, un archivio vettoriale o una base di conoscenza strutturata come un grafo di conoscenza. Se un'affermazione manca di prove a supporto, il sistema può:

• Rifiutarla
• Rivederla
• Rigenerarla con un grounding esplicito

Sistemi più avanzati estendono questo al tracciamento a livello di flusso di lavoro, identificando il passaggio esatto in cui un'affermazione non supportata appare per la prima volta. Ciò consente alle organizzazioni di monitorare i tassi di allucinazione, identificare i modelli di allucinazione e mantenere la trasparenza attraverso flussi di ragionamento a più passaggi.

5. Metodi basati su regole e vincoli di dominio

I metodi basati su regole applicano vincoli specifici del dominio e includono:

• Validatori di citazioni legali
• Controlli di terminologia medica
• Controlli basati su modelli per numeri o date inventati

Tali vincoli riducono le allucinazioni nei settori regolamentati e migliorano l'affidabilità per casi d'uso specializzati. Si raccomanda di abbinare questi segnali basati su regole al giudizio umano, specialmente in decisioni ad alto rischio dove il rischio di informazioni errate non può essere tollerato.

6. Rilevamento multimodale delle allucinazioni

Le allucinazioni si osservano anche al di là del testo. Esempi includono:

• Allucinazione di oggetti nella didascalia di immagini.
• Descrizioni errate di eventi nei video.
• Attributi falsi nelle annotazioni audio.

Il rilevamento multimodale utilizza spesso controlli di coerenza cross-modale, grounding visivo e dataset come POPE, MHalDetect e FactVC. Questi metodi sono sempre più rilevanti man mano che le organizzazioni sperimentano con agenti AI multimodali.

Scopri altri nostri benchmark e approfondimenti basati sui dati nella Ricerca Google.

Aggiungi come fonte preferita

Tecniche e algoritmi di rilevamento delle allucinazioni AI

Rilevamento a livello di token

I metodi a livello di token individuano i punti esatti in cui sorgono le allucinazioni. Esempi includono:

• Dataset che etichettano i token allucinati utilizzando annotazioni umane e perturbazioni contestuali, consentendo ai modelli di classificazione di contrassegnare gli intervalli errati.
• Confronti basati sulla probabilità che analizzano la divergenza tra le probabilità dei token a priori e a posteriori dato il contesto fornito.
• Approcci di etichettatura di sequenze che segnalano intervalli sospetti.

Queste tecniche supportano un'ispezione dettagliata degli output AI, utile per applicazioni che coinvolgono la creazione di contenuti di lunga durata.

Rilevamento a livello di frase

I metodi a livello di frase valutano la veridicità di intere affermazioni. Esempi includono:

• Controlli di auto-coerenza basati sul campionamento, dove le frasi vengono confrontate tra più generazioni per rilevare instabilità.
• L'entropia semantica viene utilizzata per identificare l'incertezza concettuale senza richiedere dati etichettati.
• Classificatori basati su entailment che rilevano affermazioni non supportate o contraddittorie.

Questi approcci sono comuni negli strumenti di rilevamento delle allucinazioni che determinano se una risposta generata debba essere accettata, rivista o ricontrollata.

Rilevamento a livello di flusso di lavoro

Il rilevamento a livello di flusso di lavoro monitora pipeline a più passaggi in cui le allucinazioni possono emergere gradualmente. I meccanismi comuni includono:

• Grafici di provenienza
• Controlli di entailment a livello di passaggio
• Convalida del ragionamento intermedio
• Tracciamento delle dipendenze per compiti multi-hop

Questi sistemi aiutano le organizzazioni a mantenere un monitoraggio continuo, garantire un miglioramento continuo e implementare il rilevamento in tempo reale attraverso catene di ragionamento complesse.

Rilevamento delle allucinazioni per la generazione aumentata da recupero

La generazione aumentata da recupero combina il LLM ragionamento con documenti esterni. Molte allucinazioni hanno origine in questo contesto perché il modello può inventare informazioni quando il recupero è debole o ambiguo.

Sfide per la generazione aumentata

• Documenti recuperati mancanti o irrilevanti
• Eccessivo affidamento ai priori interni del modello
• Interpretazione errata del contesto
• Fonti obsolete o di bassa qualità

Questi problemi sono spesso identificati come cause principali di risposte non supportate.

Metodi utilizzati nel rilevamento delle allucinazioni RAG

Un rilevamento efficace in ambienti RAG utilizza diversi meccanismi:

• Modelli di entailment contesto-risposta che verificano le connessioni logiche tra il testo recuperato e le risposte generate.
• Controlli di ranking e similarità per garantire che le risposte dipendano da prove pertinenti.
• Cicli di verifica iterativi che perfezionano le risposte quando le prove sono insufficienti.
• Tecniche di grounding che mappano ogni affermazione a un passaggio o a un nodo del grafo di conoscenza.

I team spesso si affidano al monitoraggio in tempo reale per rilevare la deriva del recupero, monitorare i modelli di allucinazione e garantire che le risposte rimangano legate al contesto fornito.

Rilevamento multimodale delle allucinazioni

Il rilevamento multimodale ha acquisito importanza man mano che più modelli AI incorporano immagini, video e audio. Vengono utilizzati diversi meccanismi:

• Modelli che verificano la presenza o l'assenza di oggetti nelle immagini.
• Sistemi che controllano se le didascalie video corrispondono alle azioni rappresentate.
• Valutazioni di didascalie audio che convalidano l'allineamento con la sorgente sonora.

Dataset come POPE, MHalDetect e FactVC supportano le valutazioni dell'allineamento fattuale in contesti multimodali. Questi metodi rafforzano la supervisione quando gli agenti AI operano su più tipi di input.

Modelli industriali e migliori pratiche

Le organizzazioni che adottano le migliori pratiche di seguito in genere vedono i tassi di allucinazione diminuire man mano che il recupero migliora, i prompt diventano meglio strutturati e vengono incorporati dati più accurati:

• Combinare metodi come controlli di coerenza, punteggio di probabilità e convalida dell'entailment.
• Integrare dashboard di monitoraggio in tempo reale per tracciare il comportamento del sistema nel tempo.
• Migliorare i prompt e verificare la risposta iniziale attraverso l'ingegneria dei prompt.
• Utilizzare la revisione di esperti quando la generazione di contenuti ha implicazioni legali, mediche o finanziarie.
• Eseguire controlli automatici nei sistemi CI/CD per mantenere la qualità durante lo sviluppo dell'AI.
• Implementare plugin di monitoraggio agentico progettati per osservare gli agenti AI e rilevare anomalie.

Direzioni future della ricerca

Si prevede che diverse aree guideranno la prossima fase di progresso:

1. Stima dell'incertezza a livello di significato

La valutazione a livello semantico sta guadagnando attenzione perché rileva l'instabilità concettuale in modo più affidabile rispetto alla probabilità a livello superficiale. I metodi futuri potrebbero incorporare quanto segue per migliorare la sensibilità del rilevamento delle allucinazioni:

• Informazione mutua.
• Accordo tra modelli.
• Varianza semantica a livello di cluster

2. Supervisione scalabile tramite ragionamento comparativo

Approcci multi-agente, come il dibattito tra modelli o il controinterrogatorio, possono aiutare a rilevare fallimenti sottili che i singoli modelli trascurano.

3. Framework multimodali unificati

Man mano che i modelli multimodali crescono in uso, sono necessari approcci di rilevamento unificati per affrontare le allucinazioni su immagini, audio e video.

4. Rilevamento consapevole del flusso di lavoro

Il tracciamento a livello di sistema consente l'identificazione di passaggi intermedi errati e supporta il miglioramento continuo all'interno di pipeline più ampie.

5. Dataset di valutazione più solidi

Sono necessari dataset più impegnativi per il ragionamento a più passaggi, compiti avversari e scenari a contesto lungo, consentendo ai sistemi di fallire meno spesso attraverso il semplice riconoscimento di modelli.

Metodologia del benchmark

Il benchmark ha utilizzato un dataset controllato di 50 elementi di conoscenza tratti da scenari di domande e risposte fattuali. Ogni elemento includeva un contesto di origine, una domanda, una risposta corretta ancorata a quel contesto e una risposta allucinata che conteneva informazioni inventate. Ad esempio, un test chiedeva informazioni sulla sede centrale del Gruppo Oberoi, dove la risposta corretta "Delhi" è stata testata contro la risposta allucinata "Mumbai".

Ogni elemento di conoscenza ha generato due casi di test: uno utilizzando la risposta corretta (previsto: nessuna allucinazione) e uno utilizzando la risposta allucinata (previsto: allucinazione rilevata). Ciò ha creato una divisione bilanciata 50/50 per un totale di 100 casi di test. Tutti e tre gli strumenti hanno elaborato gli stessi casi di test in sequenza, ricevendo ciascuno input identici (contesto, domanda e output).

Abbiamo misurato la latenza per ogni caso di test individualmente per garantire un confronto equo, evitando le insidie dell'elaborazione parallela o della valutazione in batch che potrebbero distorcere i risultati. Le etichette di verità di base sono state verificate manualmente per garantire l'accuratezza nel calcolo di veri positivi, falsi positivi, veri negativi e falsi negativi.

Cita questa ricerca

Scegli il formato adatto a dove pubblicherai. Incollare la versione con link nel tuo CMS preserva il backlink.

@misc{ermut2026,
  author = {Ermut, Sıla and Şipi, Nazlı},
  title  = {{Strumenti di rilevamento delle allucinazioni AI: W&B Weave & Comet}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/ai-hallucination-detection}},
  note   = {AIMultiple. Consultato il 18 Giugno 2026}
}

Collegamenti di riferimento

1.

Luna-2 | Galileo’s Small Language Models for AI Evaluations

2.

https://github.com/confident-ai/deepeval

Sıla Ermut

Analista di settore

Segui

Sıla Ermut è un'analista di settore presso AIMultiple, specializzata in email marketing e video di vendita. In precedenza, ha lavorato come reclutatrice in società di project management e consulenza. Sıla ha conseguito un Master in Psicologia Sociale e una laurea in Relazioni Internazionali.

Visualizza il profilo completo

Ricercato da

Nazlı Şipi

Ricercatore di intelligenza artificiale

Segui

Nazlı è un'analista di dati presso AIMultiple. Ha maturato esperienza nell'analisi dei dati in diversi settori, dove si è occupata di trasformare set di dati complessi in informazioni utili.

Visualizza il profilo completo

Sii il primo a commentare

Il tuo indirizzo email non verrà pubblicato. Tutti i campi sono obbligatori. I commenti vengono lasciati nella loro lingua originale.

Nome

Indirizzo e-mail

Commento

0/450

Pubblica un commento