Outils de détection d'hallucinations IA: W&B Weave & Comet
Nous avons évalué trois outils de détection d'hallucinations : le HallucinationFree Scorer de Weights & Biases (W&B) Weave, le HallucinationEvaluator d'Arize Phoenix et la métrique Hallucination de Comet Opik, sur 100 cas de test.
Chaque outil a été évalué sur la précision, la spécificité, le rappel et la latence pour fournir une comparaison équitable de leurs performances réelles.
Évaluation des outils de détection d'hallucinations IA
Nous avons testé 100 réponses (50 correctes, 50 hallucinées) provenant de scénarios de questions-réponses factuelles par rapport à leur contexte source.
Comparaison de la précision et de la latence
W&B Weave et Arize Phoenix ont délivré une précision presque identique à 91 % et 90 % respectivement, identifiant correctement 90 cas de test sur 100. Les deux outils ont démontré des performances fiables sur l'ensemble de données. Comet Opik a pris du retard avec une précision de 72 %, classant correctement seulement 72 tests sur 100, un écart significatif dû à son approche conservatrice.
En termes de vitesse, Arize Phoenix a été le gagnant avec 2 secondes par test, ce qui le rend adapté aux applications en temps réel. W&B Weave a traité les tests en 4 secondes, ce qui est raisonnable pour la plupart des cas d'utilisation en production. Comet Opik était nettement plus lent avec 8,5 secondes par test, suggérant des temps de traitement incohérents qui pourraient affecter l'expérience utilisateur dans les applications sensibles à la latence.
Score F1, précision et rappel
Les scores F1 (moyenne harmonique de la précision et du rappel) ont confirmé ces tendances : W&B Weave à 90,5 % et Phoenix à 89,4 % ont tous deux atteint des performances solides et équilibrées. En comparaison, les 61,1 % d'Opik reflétaient le compromis entre une précision parfaite et un rappel faible. Les zéro faux positifs d'Opik sont venus au prix de 28 faux négatifs, le rendant adapté uniquement aux scénarios où les fausses alertes sont plus coûteuses que les détections manquées.
Le rappel (capacité à attraper les hallucinations réelles) a révélé des stratégies distinctes. W&B Weave a mené avec un rappel de 86 %, attrapant 43 hallucinations sur 50 et en manquant seulement 7. Phoenix a suivi de près avec 84 %, détectant 42 hallucinations et en manquant 8. Le rappel de Comet Opik était considérablement plus faible à 44 %, attrapant seulement 22 hallucinations tout en en manquant 28 ; plus de la moitié de toutes les hallucinations réelles sont passées inaperçues.
La précision (fiabilité de l'alerte) a montré une variation significative. Comet Opik a atteint une précision parfaite de 100 % avec zéro faux positifs ; lorsqu'il signalait quelque chose comme une hallucination, c'était toujours correct. Tanto Phoenix (95,5 %) que Weave (95,6 %) ont montré une précision presque identique, chacun produisant seulement 2 faux positifs sur 50 réponses légitimes, démontrant une forte fiabilité sans être trop conservateur.
Facteurs pouvant affecter les différences de performance
Les différences de performance observées sont probablement dues à la philosophie de conception, au choix du seuil et à l'interprétation de l'ancrage.
Différences de stratégie de détection et d'objectifs d'optimisation
- Les outils semblent être optimisés pour différents compromis d'erreurs plutôt que pour le même objectif.
- W&B Weave et Arize Phoenix visent une performance équilibrée, maintenant une haute précision tout en capturant toujours la plupart des hallucinations.
- Comet Opik adopte une stratégie très conservatrice, privilégiant zéro faux positifs même si de nombreuses hallucinations sont manquées.
- Ce choix stratégique explique directement la précision parfaite d'Opik et son rappel considérablement plus faible.
Compromis précision-rappel intégrés dans la conception de l'outil
- Les zéro faux positifs de Comet Opik indiquent un seuil de décision strict, signalant les hallucinations uniquement lorsque la confiance est très élevée.
- W&B Weave et Phoenix utilisent des seuils moins restrictifs, permettant quelques faux positifs en échange d'un rappel beaucoup plus élevé.
- Ces différences de seuil peuvent entraîner :
- Une précision similaire entre Weave et Phoenix
- De grands écarts de rappel entre Opik et les deux autres outils
- Des différences correspondantes dans le score F1 et la précision globale
Variations de l'implémentation LLM-as-a-judge
- Bien que les trois outils utilisent une approche LLM-as-a-judge, leurs implémentations diffèrent.
- W&B Weave met l'accent sur le raisonnement en chaîne de pensée, ce qui peut améliorer la sensibilité aux affirmations subtiles non étayées.
- Arize Phoenix intègre des sorties basées sur des étiquettes avec des scores de confiance, soutenant des jugements plus nuancés.
- Comet Opik se concentre sur des décisions binaires à haute confiance, ce qui réduit les fausses alertes mais limite la sensibilité aux hallucinations limites.
Différences de latence dues à la profondeur d'évaluation
- La latence plus faible d'Arize Phoenix suggère un pipeline d'évaluation plus léger ou plus rationalisé, adapté à une utilisation en temps réel.
- La latence modérée de W&B Weave est cohérente avec un raisonnement plus riche et une journalisation des traces.
- La latence plus élevée et moins cohérente de Comet Opik reflète probablement des étapes de raisonnement ou de vérification internes plus étendues, renforçant sa conception conservatrice.
Outils de détection d'hallucinations IA
HallucinationFree Scorer de W&B Weave
Figure 1 : Tableau de bord des traces de W&B Weave.
Weights & Biases (W&B) Le HallucinationFree Scorer de Weave est un outil d'évaluation intégré qui vérifie si les sorties LLM contiennent des hallucinations en les comparant au contexte fourni. Le scoreur utilise une approche LLM-as-a-judge pour déterminer si la réponse générée reste ancrée dans le matériel source.
Le scoreur prend deux entrées : le contexte (matériel source) et la sortie (réponse générée par LLM). Il utilise ensuite un modèle de langage pour analyser si la sortie introduit des informations non présentes dans le contexte. Le résultat comprend un drapeau booléen has_hallucination et un raisonnement expliquant la décision.
Fonctionnalités clés :
- Raisonnement en chaîne de pensée : Chaque évaluation inclut une explication de la raison pour laquelle la sortie a été signalée comme hallucination ou non.
- Classification binaire : Retourne des décisions claires vrai/faux avec des preuves à l'appui.
- Intégration avec le traçage Weave : Les résultats sont automatiquement journalisés dans le tableau de bord Weave pour la visualisation.
- Modèle personnalisable : Prend en charge différents juges LLM, y compris OpenAI, Anthropic et d'autres fournisseurs.
HallucinationEvaluator d'Arize Phoenix
Le HallucinationEvaluator d'Arize Phoenix est une métrique intégrée qui détecte les hallucinations dans les sorties LLM en vérifiant si les réponses sont ancrées dans le matériel de référence fourni. L'évaluateur utilise une approche LLM-as-a-judge pour évaluer la cohérence factuelle entre le contexte et le contenu généré.
L'évaluateur prend trois entrées : la requête utilisateur (entrée), le texte de référence (contexte) et la réponse du modèle (sortie). Il analyse si la réponse contient des informations qui ne peuvent pas être dérivées du contexte, renvoyant un résultat étiqueté (« factuel » ou « halluciné ») ainsi qu'une explication et un score de confiance.
Fonctionnalités clés :
- Performance équilibrée : Donne des résultats sur les métriques de précision et de rappel
- Sortie basée sur des étiquettes : Retourne des étiquettes catégorielles (« factuel » ou « halluciné ») plutôt que des scores numériques uniquement
- Explications détaillées : Fournit un raisonnement pour chaque décision d'évaluation
Métrique Hallucination de Comet Opik
La métrique Hallucination de Comet Opik est un évaluateur intégré qui évalue si les sorties LLM contiennent des informations fabriquées ou non étayées. La métrique utilise une méthodologie LLM-as-a-judge pour vérifier que les réponses générées restent fidèles au contexte fourni.
La métrique accepte trois entrées : la requête utilisateur (entrée), le matériel source (contexte) et la réponse du modèle (sortie). Elle évalue si la sortie introduit des affirmations non étayées par le contexte.
Le résultat comprend un score binaire (0 pour aucune hallucination, 1 pour hallucination détectée) et un raisonnement détaillé expliquant l'évaluation.
Fonctionnalités clés :
- Explications détaillées : Chaque évaluation fournit un raisonnement complet sur la raison pour laquelle le contenu a été signalé ou approuvé
- Analyse à trois entrées : Prend en compte la requête, le contexte et la réponse ensemble pour l'évaluation
- Suivi des expériences : Les résultats sont automatiquement journalisés dans le système de suivi des expériences d'Opik
- Approche conservatrice : Conçu pour minimiser les faux positifs en ne signalant que les hallucinations à haute confiance
Qu'est-ce qu'une hallucination IA ?
Les hallucinations sont des instances où les systèmes IA génèrent du contenu qui semble cohérent mais n'est pas factuel. Dans la recherche sur les grands modèles de langage, les hallucinations sont présentées comme un défi fondamental car l'IA générative répond souvent avec confiance même lorsque les données d'entraînement sous-jacentes ne soutiennent pas l'affirmation. Une enquête sur les hallucinations IA note qu'elles surviennent lorsque les modèles s'appuient sur des priors linguistiques plutôt que sur une vérité fondamentale vérifiable du contexte fourni.1
Les sources de l'industrie soulignent comment les hallucinations IA se produisent dans des domaines tels que les applications de santé, les services juridiques, la recherche d'entreprise et le support client. Dans de tels contextes, les hallucinations sapent la confiance des utilisateurs, principalement lorsque des décisions à haut risque dépendent de sorties IA correctes.
La reconnaissance et la détection des hallucinations sont donc devenues centrales dans le développement moderne de l'IA, à la fois pour protéger les utilisateurs finaux et pour assurer le déploiement sécurisé d'applications IA qui reposent sur des LLM.
Sources et taxonomie des hallucinations
Les hallucinations peuvent provenir de comportements internes au modèle, tels qu'une sur-reliance sur les modèles statistiques, des lacunes dans les données d'entraînement et la nature probabiliste de la génération de séquences.
Selon un article sur la détection et l'atténuation des hallucinations, les LLM peuvent produire des inexactitudes factuelles même lorsqu'ils semblent confiants, car les continuations probables sont inférées plutôt que des preuves vérifiables.2
D'autres hallucinations proviennent d'échecs contextuels, y compris des échecs de récupération dans la génération augmentée par récupération (systèmes RAG), des invites ambiguës ou un ancrage incomplet. Il est également suggéré que les modèles multimodaux présentent des hallucinations à travers des confusions d'objets, des incohérences temporelles ou des détails de scène inventés.
Détection d'hallucinations dans les flux de travail agents
Les flux de travail d'agents multi-étapes introduisent des risques d'hallucination uniques qui diffèrent des interactions LLM à tour unique. Lorsqu'un agent opère de manière autonome sur plusieurs étapes, une hallucination dans une phase précoce peut se propager à travers les décisions, les appels d'outils et les sorties subséquents.
Principaux défis de la détection d'hallucinations agents :
- Propagation des erreurs : Une fait fabriqué dans la phase de planification peut influencer la sélection d'outils, la récupération de données et les réponses finales
- Hallucinations d'appels d'outils : Les agents peuvent invoquer des outils avec des paramètres incorrects ou mal interpréter les sorties d'outils
- Corruption d'état : Les informations hallucinées stockées dans la mémoire de l'agent affectent les étapes de raisonnement futures
- Complexité d'attribution : Identifier quelle étape a introduit l'hallucination nécessite un traçage de bout en bout
Approches de détection pour les systèmes agents :
- Vérification au niveau de l'étape : Valider chaque sortie intermédiaire avant que l'agent ne passe à l'action suivante
- Validation de la sortie de l'outil : Vérifier les réponses d'outils par rapport aux formats attendus et aux contraintes connues
- Analyse de trajectoire : Examiner la séquence complète des décisions de l'agent pour identifier où le raisonnement s'est écarté des informations ancrées
- Contrôles de cohérence entre les étapes : Comparer les affirmations faites à différentes étapes pour détecter les contradictions
Le HallucinationFree Scorer de W&B Weave et le HallucinationEvaluator d'Arize Phoenix peuvent être appliqués à chaque étape de l'agent, tandis que leurs tableaux de bord intégrés affichent la trace d'exécution complète pour l'analyse des causes profondes.
Prévention des hallucinations en temps réel
Détecter les hallucinations après la génération fournit des informations précieuses mais ne prévient pas les sorties problématiques d'atteindre les utilisateurs. Les systèmes de prévention en temps réel interviennent avant que la réponse ne soit délivrée.
Mécanismes de prévention :
- Barrières de sortie : Filtres qui analysent le contenu généré par rapport aux critères de factualité avant de le renvoyer à l'utilisateur.
- Seuils de confiance : Bloquer ou signaler les réponses lorsque la confiance interne du modèle tombe en dessous des niveaux acceptables.
- Portes de validation de récupération : Vérifier que les affirmations générées sont étayées par des documents récupérés avant de finaliser la réponse.
- Stratégies de repli : Retourner une réponse par défaut sûre ou escalader vers des files d'attente de révision lorsque le risque d'hallucination est élevé.
Capacités d'outils pour la prévention en temps réel :
- W&B Weave intègre le score d'hallucination dans les pipelines de production, permettant des vérifications automatisées avant que les réponses ne soient servies.
- Arize Phoenix fournit une surveillance en temps réel avec des capacités d'alerte qui signalent les sorties à haut risque pour une révision immédiate.
- Comet Opik offre un suivi d'expériences avec évaluation automatisée, permettant aux équipes de définir des portes de qualité qui bloquent les réponses dépassant les seuils d'hallucination.
Approches de détection d'hallucinations
Il existe six approches principales utilisées pour détecter les hallucinations :
1. Méthodes basées sur la cohérence
Les méthodes basées sur la cohérence évaluent une réponse en la comparant à plusieurs générations alternatives.
Une approche échantillonne plusieurs réponses et les compare en utilisant des mesures de similarité sémantique, un chevauchement n-gramme ou une vérification question-réponse.
Lorsque les réponses se contredisent ou contiennent des incohérences logiques, la probabilité d'hallucination augmente.
Une autre technique utilise l'entropie sémantique, qui regroupe les réponses par sens plutôt que par formulation. Cette méthode estime l'incertitude au niveau conceptuel. Une entropie élevée indique une connaissance instable, ce qui en fait l'un des outils de détection d'hallucinations IA les plus efficaces pour identifier les confabulations.
Les recommandations de l'industrie suivent des modèles similaires :
- Générer plusieurs réponses internes et signaler les incohérences.
- Alertez les examinateurs humains lorsque la confiance varie entre plusieurs métriques.
- Utilisez des alertes en temps réel lorsque la variabilité des réponses indique une incertitude.
Les systèmes basés sur la cohérence sont particulièrement précieux lorsque les organisations doivent attraper les hallucinations tôt dans les applications destinées aux utilisateurs.
2. Détection basée sur la probabilité et la confiance
De nombreux systèmes analysent la croyance interne du modèle sur sa propre sortie. Les probabilités au niveau des tokens, les valeurs d'entropie, les courbes de calibration et les estimations de confiance basées sur la marge sont couramment utilisées. Les segments à faible confiance correspondent souvent à des taux d'hallucination plus élevés.
Bien que l'entropie brute puisse être trompeuse en raison de la formulation variable, les signaux de confiance restent utiles, en particulier lorsqu'ils sont combinés avec des indicateurs basés sur la cohérence. Ces valeurs soutiennent également la détection d'hallucinations en temps réel, où les réponses IA sont surveillées en continu.
De nombreux outils exposent ces scores via des plugins qui :
- Signalent les réponses générées par IA incertaines
- Donnent la priorité à l'expertise
- Soutiennent la surveillance en temps réel de la dérive de la confiance en production
3. Détection basée sur la référence ou le contexte
L'évaluation basée sur la référence compare la sortie du modèle au contexte fourni ou aux sources externes, ce qui est essentiel pour les systèmes RAG. Les techniques typiques incluent :
- Des modèles d'implication qui vérifient si les documents récupérés soutiennent la réponse.
- Des méthodes d'alignement et d'ancrage qui valident le soutien des preuves.
- Des métriques de factualité qui mesurent si les affirmations correspondent au texte de soutien.
Note : La génération augmentée par récupération doit vérifier l'ancrage. Des problèmes tels que des preuves manquantes, une mauvaise récupération hors domaine et des sources obsolètes ou incorrectes sont souvent des causes profondes de réponses non étayées. Ces méthodes soutiennent directement la précision factuelle en s'assurant que les affirmations sont liées à des données vérifiables.
4. Vérification augmentée par récupération
La vérification augmentée par récupération met l'accent sur la vérification dynamique. Chaque affirmation générée est évaluée par rapport à un index de recherche, un magasin vectoriel ou une base de connaissances structurée telle qu'un graphe de connaissances. Si une affirmation manque de preuves à l'appui, le système peut :
- La rejeter
- La réviser
- La régénérer avec un ancrage explicite
Des systèmes plus avancés étendent cela au traçage au niveau du flux de travail, identifiant l'étape exacte à laquelle une affirmation non étayée apparaît pour la première fois. Cela permet aux organisations de suivre les taux d'hallucination, d'identifier les modèles d'hallucination et de maintenir la transparence dans les flux de raisonnement multi-étapes.
5. Méthodes basées sur des règles et contraintes par domaine
Les méthodes basées sur des règles imposent des contraintes spécifiques au domaine et incluent :
- Validateurs de citations juridiques
- Garde-fous de terminologie médicale
- Contrôles basés sur des modèles pour les nombres ou les dates inventés
De telles contraintes réduisent les hallucinations dans les industries réglementées et améliorent la fiabilité pour les cas d'utilisation spécialisés. Il est recommandé que ces signaux basés sur des règles soient associés au jugement humain, en particulier dans les décisions à haut risque où le risque d'informations incorrectes ne peut être toléré.
6. Détection d'hallucinations multimodales
Les hallucinations sont également observées au-delà du texte. Les exemples incluent :
- Hallucination d'objet dans la légende d'image.
- Descriptions d'événements incorrectes dans la vidéo.
- Faux attributs dans les annotations audio.
La détection multimodale utilise souvent des contrôles de cohérence intermodaux, un ancrage visuel et des ensembles de données tels que POPE, MHalDetect et FactVC. Ces méthodes sont de plus en plus pertinentes alors que les organisations expérimentent des agents IA multimodaux.
Ajouter comme source préféréeTechniques et algorithmes de détection d'hallucinations IA
Détection au niveau du token
Les méthodes au niveau du token localisent les endroits exacts où les hallucinations se produisent. Les exemples incluent :
- Des ensembles de données qui étiquettent les tokens hallucinés en utilisant l'annotation humaine et la perturbation contextuelle, permettant aux modèles de classification de marquer les segments incorrects.
- Des comparaisons basées sur la probabilité qui analysent la divergence entre les probabilités de tokens antérieurs et postérieurs étant donné le contexte fourni.
- Des approches d'étiquetage de séquences qui signalent les segments suspects.
Ces techniques soutiennent l'inspection détaillée des sorties IA, ce qui est utile pour les applications impliquant la création de contenu long.
Détection au niveau de la phrase
Les méthodes au niveau de la phrase évaluent la véracité de déclarations entières. Les exemples incluent :
- Des contrôles de cohérence de soi basés sur l'échantillonnage, où les phrases sont comparées entre plusieurs générations pour détecter l'instabilité.
- L'entropie sémantique est utilisée pour identifier l'incertitude conceptuelle sans nécessiter de données étiquetées.
- Des classificateurs basés sur l'implication qui détectent les affirmations non étayées ou contradictoires.
Ces approches sont courantes dans les outils de détection d'hallucinations qui déterminent si une réponse générée doit être acceptée, révisée ou re-vérifiée.
Détection au niveau du flux de travail
La détection au niveau du flux de travail surveille les pipelines multi-étapes où les hallucinations peuvent émerger progressivement. Les mécanismes courants incluent :
- Graphes de provenance
- Contrôles d'implication au niveau de l'étape
- Validation du raisonnement intermédiaire
- Traçage des dépendances pour les tâches multi-sauts
Ces systèmes aident les organisations à maintenir une surveillance continue, à assurer une amélioration continue et à mettre en œuvre une détection en temps réel dans des chaînes de raisonnement complexes.
Détection d'hallucinations pour la génération augmentée par récupération
La génération augmentée par récupération combine le LLM raisonnement avec des documents externes. De nombreuses hallucinations proviennent de ce contexte car le modèle peut inventer des informations lorsque la récupération est faible ou ambiguë.
Défis de la génération augmentée
- Documents récupérés manquants ou non pertinents
- Sur-reliance sur les priors internes du modèle
- Mauvaise interprétation du contexte
- Sources obsolètes ou de mauvaise qualité
Ces problèmes sont fréquemment identifiés comme des causes profondes de réponses non étayées.
Méthodes utilisées dans la détection d'hallucinations RAG
Une détection efficace dans les environnements RAG utilise plusieurs mécanismes :
- Des modèles d'implication contexte-réponse qui vérifient les liens logiques entre le texte récupéré et les réponses générées.
- Des contrôles de classement et de similarité pour s'assurer que les réponses dépendent de preuves pertinentes.
- Des cycles de vérification itératifs qui affinent les réponses lorsque les preuves sont insuffisantes.
- Des techniques d'ancrage qui mappent chaque affirmation à un passage ou un nœud de graphe de connaissances.
Les équipes s'appuient souvent sur une surveillance en temps réel pour détecter la dérive de la récupération, surveiller les modèles d'hallucination et s'assurer que les réponses restent liées au contexte fourni.
Détection d'hallucinations multimodales
La détection multimodale a gagné en importance alors que de plus en plus de modèles IA incorporent des images, des vidéos et de l'audio. Plusieurs mécanismes sont utilisés :
- Des modèles qui vérifient la présence ou l'absence d'objets dans les images.
- Des systèmes qui vérifient si les légendes vidéo correspondent aux actions représentées.
- Des évaluations de légendage audio qui valident l'alignement avec la source sonore.
Des ensembles de données comme POPE, MHalDetect et FactVC soutiennent les évaluations de l'alignement factuel dans les contextes multimodaux. Ces méthodes renforcent la surveillance lorsque les agents IA opèrent sur plusieurs types d'entrée.
Modèles industriels et meilleures pratiques
Les organisations qui adoptent les meilleures pratiques ci-dessous voient généralement les taux d'hallucination baisser à mesure que la récupération s'améliore, les invites deviennent mieux structurées et des données plus précises sont incorporées :
- Combiner des méthodes telles que des contrôles de cohérence, un score de probabilité et une validation d'implication.
- Intégrer des tableaux de bord de surveillance en temps réel pour suivre le comportement du système au fil du temps.
- Améliorer les invites et vérifier la réponse initiale via l'ingénierie d'invites.
- Utiliser un examen par des experts lorsque la génération de contenu a des implications juridiques, médicales ou financières.
- Exécuter des vérifications automatisées dans les systèmes CI/CD pour maintenir la qualité pendant le développement IA.
- Déployer des plugins de surveillance agentique conçus pour observer les agents IA et détecter les anomalies.
Directions de recherche futures
Plusieurs domaines devraient guider la prochaine étape du progrès :
1. Estimation de l'incertitude au niveau du sens
L'évaluation au niveau sémantique attire l'attention car elle détecte l'instabilité conceptuelle plus fiablement que la probabilité au niveau de surface. Les méthodes futures peuvent incorporer les éléments suivants pour améliorer la sensibilité de la détection d'hallucinations :
- Information mutuelle.
- Accord inter-modèles.
- Variances sémantiques au niveau des clusters
2. Supervision évolutive via raisonnement comparatif
Les approches multi-agents, telles que le débat de modèles ou le contre-interrogatoire, peuvent aider à détecter des défaillances subtiles que les modèles uniques négligent.
3. Cadres multimodaux unifiés
À mesure que les modèles multimodaux gagnent en utilisation, des approches de détection unifiées sont nécessaires pour traiter les hallucinations à travers les images, l'audio et la vidéo.
4. Détection consciente du flux de travail
Le traçage au niveau du système permet l'identification des étapes intermédiaires incorrectes et soutient l'amélioration continue au sein de plus grands pipelines.
5. Ensembles de données d'évaluation plus solides
Des ensembles de données plus difficiles sont nécessaires pour le raisonnement multi-étapes, les tâches adversariales et les scénarios à contexte long, permettant aux systèmes de moins échouer grâce à une simple reconnaissance de modèles.
Méthodologie de l'évaluation
L'évaluation a utilisé un ensemble de données contrôlé de 50 éléments de connaissances tirés de scénarios de questions-réponses factuelles. Chaque élément comprenait un contexte source, une question, une réponse correcte ancrée dans ce contexte et une réponse hallucinée contenant des informations fabriquées. Par exemple, un test a demandé l'emplacement du siège social du groupe Oberoi, où la réponse correcte « Delhi » a été testée contre la réponse hallucinée « Mumbai ».
Chaque élément de connaissances a généré deux cas de test : l'un utilisant la réponse correcte (attendu : aucune hallucination) et l'autre utilisant la réponse hallucinée (attendu : hallucination détectée). Cela a créé une répartition équilibrée 50/50 totalisant 100 cas de test. Les trois outils ont traité les mêmes cas de test séquentiellement, chacun recevant des entrées identiques (contexte, question et sortie).
Nous avons mesuré la latence pour chaque cas de test individuellement pour assurer une comparaison équitable, en évitant les pièges du traitement parallèle ou de l'évaluation par lots qui pourraient fausser les résultats. Les étiquettes de vérité terrain ont été vérifiées manuellement pour assurer l'exactitude du calcul des vrais positifs, des faux positifs, des vrais négatifs et des faux négatifs.
Citer cette recherche
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{ermut2026,
author = {Ermut, Sıla and Şipi, Nazlı},
title = {{Outils de détection d'hallucinations IA: W&B Weave & Comet}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/ai-hallucination-detection}},
note = {AIMultiple. Consulté le 18 Juin 2026}
}Liens de référence
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.