Échecs de l'IA : 10 causes profondes et exemples concrets
Qu’il s’agisse d’un accident de voiture autonome, d’un algorithme biaisé ou d’une panne d’un chatbot de service client, les défaillances des systèmes d’IA déployés peuvent avoir de graves conséquences et soulever d’importantes questions éthiques et sociétales.
En identifiant et en traitant les problèmes sous-jacents, les entreprises peuvent atténuer les risques associés à l'IA et garantir qu'elle est utilisée de manière sûre et éthique, conformémentaux meilleures pratiques en matière d'IA responsable .
Découvrez 10 raisons courantes expliquant les taux élevés d'échec des projets d'IA et explorez des exemples concrets.
Échecs organisationnels et stratégiques
1. Objectifs commerciaux flous
Mettre en œuvre l'IA sans problème métier bien défini ni objectifs commerciaux clairs ne suffit pas pour réussir. Au lieu de partir d'une solution à un problème métier indéfini, les entreprises doivent d'abord identifier et définir leurs problèmes métiers, puis déterminer si les techniques et outils d'IA peuvent contribuer à les résoudre.
Par ailleurs, mesurer les coûts et les avantages potentiels d'un projet d'IA est complexe car :
- Le développement d'un projet d'IA et la construction/l'entraînement d'un modèle d'IA sont de nature expérimentale et peuvent nécessiter un long processus d'essais et d'erreurs.
- Les modèles d'IA tentent de résoudre des problèmes commerciaux probabilistes, ce qui signifie que les résultats peuvent ne pas être les mêmes pour chaque cas d'utilisation.
Un objectif commercial bien défini permet de déterminer clairement si l'IA est l'outil approprié ou s'il existe d'autres outils ou méthodes pour résoudre le problème. Cela peut éviter aux entreprises des coûts inutiles.
2. Systèmes d'IA boîte noire
L'intelligence artificielle « boîte noire » désigne les modèles dont les processus de décision internes sont incompréhensibles pour les humains. Si les utilisateurs peuvent observer les entrées et les sorties de ces systèmes, le raisonnement qui sous-tend les décisions du modèle demeure caché.
Par exemple, un système de recrutement par IA peut classer les candidats en fonction de leurs CV, mais les facteurs et pondérations exacts qui influencent ce classement restent opaques. Ce manque de transparence peut engendrer des échecs, car des biais dans les données d'entraînement peuvent passer inaperçus, les erreurs deviennent difficiles à identifier et à corriger, et les organisations peuvent avoir du mal à expliquer ou à justifier les décisions automatisées.
De ce fait, les systèmes opaques peuvent soulever des questions d'équité, de responsabilité et de confiance. Cependant, l'IA « boîte noire » n'est pas intrinsèquement un échec, car de nombreux modèles de ce type, notamment les systèmes complexes comme les réseaux neuronaux profonds, peuvent se révéler extrêmement précis et performants.
Le principal défi réside dans le fait que, lorsque des problèmes surviennent, leurs causes sont difficiles à identifier, ce qui fait de l'IA « boîte noire » un risque en matière de fiabilité et de gouvernance plutôt qu'un échec en soi.
Par exemple, New Relic propose une solution à ce problème. L'entreprise a annoncé une solution d'observabilité offrant une visibilité complète sur les applications développées avec ChatGPT, permettant ainsi aux entreprises de surveiller et d'optimiser l'apparence et le fonctionnement de leurs services au sein d'interfaces pilotées par l'IA.
Cette solution permet aux équipes d'ingénierie de suivre les performances, l'utilisation et la fiabilité des applications ChatGPT, éliminant ainsi le caractère opaque des expériences d'IA embarquées. 1
3. Manque de collaboration entre les équipes
Faire travailler une équipe de data scientists de manière isolée sur un projet d'IA n'est pas gage de réussite. La réussite d'un projet d'IA repose sur la collaboration entre data scientists, data engineers, informaticiens, designers et responsables métiers. Créer un environnement technique collaboratif permettrait aux entreprises de :
- S'assurer que les résultats du projet d'IA seront bien intégrés à leur architecture technologique globale
- Standardiser le processus de développement de l'IA
- Partager les enseignements et l'expérience, développer les meilleures pratiques
- Déployer des solutions d'IA à grande échelle
Il existe des ensembles de pratiques, appelées DataOps et MLOps, permettant de faciliter la collaboration entre les différentes équipes et de déployer des systèmes d'IA à grande échelle. Par ailleurs, la mise en place d'un centre d'excellence fédéré en IA, où les data scientists de différents domaines d'activité peuvent collaborer, peut améliorer cette collaboration.
4. Manque de talent
Face à cette pénurie de compétences, constituer une équipe de data scientists talentueuse peut s'avérer coûteux et chronophage. Sans une équipe possédant une formation adéquate et une expertise métier, les entreprises ne doivent pas espérer de résultats significatifs avec leur initiative en IA.
Les entreprises doivent analyser les coûts et les avantages de la création d'équipes internes de science des données. Selon leurs objectifs commerciaux et l'envergure de leurs opérations, l'externalisation peut initialement s'avérer une alternative plus rentable à la mise en œuvre d'applications d'IA.
Défaillances liées aux données
Les données sont la ressource clé de tout projet d'IA. Les entreprises doivent élaborer une stratégie de gouvernance des données afin de garantir la disponibilité, la qualité, l'intégrité et la sécurité des données utilisées dans leur projet. Travailler avec des données obsolètes, insuffisantes ou biaisées peut entraîner des résultats erronés, l'échec du projet et un gaspillage des ressources de l'entreprise.
5. Surapprentissage : mémoriser au lieu d’apprendre
Le surapprentissage se produit lorsque les modèles d'IA se spécialisent excessivement dans les données d'entraînement et ne parviennent plus à généraliser à de nouvelles données. Ce défaut d'IA est fréquent dans les modèles d'apprentissage profond utilisés pour la détection de la fraude financière , où l'outil peut ne reconnaître que les schémas de fraude passés et passer à côté des tactiques émergentes.
Le surapprentissage est une cause majeure d'échec des projets d'IA, car les technologies basées sur l'IA doivent s'adapter à des environnements dynamiques plutôt que de se fier à des modèles historiques. La mauvaise qualité des données et le manque d'observabilité de l'IA aggravent souvent ce problème.
6. Négligence des cas limites : Ignorer les scénarios rares
Les cas limites, des scénarios peu fréquents mais critiques, conduisent souvent les systèmes d'IA à prendre de mauvaises décisions. Dans les véhicules autonomes , un chatbot d'IA conçu pour la navigation peut ne pas parvenir à traiter des conditions de conduite inhabituelles.
Négliger les cas limites dans les initiatives d'IA peut entraîner des pertes financières, des risques pour la sécurité et une perte de confiance des clients. Les organisations disposant de vastes modèles de langage et d'apprentissage profond doivent intégrer des données de haute qualité pour améliorer la gestion de ces cas limites.
7. Dépendance corrélative : hypothèses erronées et résultats discriminatoires
Les projets d'IA échouent fréquemment car les modèles confondent corrélation et causalité. Par exemple, un système de recrutement basé sur l'IA pourrait privilégier les candidats d'un code postal spécifique, non pas en raison de leurs compétences, mais à cause de biais inhérents aux données d'entraînement. Cela peut engendrer des discriminations.
8. Biais des données : Renforcement des inégalités et implications éthiques
Les biais dans les données constituent un problème majeur pour les initiatives en intelligence artificielle, notamment dans les modèles d'apprentissage automatique utilisés pour la prise de décision. Un exemple bien connu est celui des modèles d'IA en santé, entraînés principalement sur des données de patients blancs, ce qui conduit à des diagnostics erronés pour les patients non blancs.
Ces biais inhérents aux technologies d'IA peuvent engendrer des problèmes éthiques et juridiques. Les organisations doivent privilégier les bonnes pratiques en matière de science des données afin d'éviter une mauvaise qualité des données et d'améliorer la précision de leurs projets d'IA.
9. Sous-apprentissage : Modèles d’IA manquant de complexité
Le sous-apprentissage se produit lorsque les modèles d'apprentissage automatique sont trop simplistes, ce qui entraîne de mauvaises performances. Un chatbot IA mal conçu, par exemple, peut avoir du mal à différencier les intentions des utilisateurs, ce qui peut conduire à des réponses erronées et à des recommandations incorrectes.
Les projets d'IA échouent lorsque les organisations s'appuient sur des modèles insuffisamment entraînés sans améliorer leur capacité à traiter des schémas complexes. L'importance cruciale de l'observabilité de l'IA et de l'amélioration continue des modèles ne saurait être sous-estimée.
10. Dérive des données : la difficulté de l’IA à s’adapter au changement
Les outils d'IA supposent que les données restent cohérentes dans le temps, mais les changements du monde réel, tels que l'évolution du comportement des clients sur une plateforme de médias sociaux, peuvent entraîner une dérive des données.
Les modèles d'IA utilisés en prévision financière ou en recherche juridique doivent être régulièrement mis à jour pour garantir leur exactitude. Les organisations qui investissent dans les technologies d'IA doivent privilégier l'observabilité de l'IA afin d'assurer la fiabilité des modèles face à l'émergence de millions de nouveaux points de données.
Avant de se lancer dans un projet d'IA, les entreprises doivent s'assurer de disposer de données suffisantes et pertinentes, issues de sources fiables, représentatives de leurs activités, correctement étiquetées et adaptées à l'outil d'IA déployé. À défaut, les outils d'IA peuvent produire des résultats erronés et s'avérer dangereux pour la prise de décision.
Les experts en collecte de données peuvent aider votre entreprise si vous ne disposez pas de données de bonne qualité facilement accessibles.
Outre l'observabilité, certaines organisations adoptent des systèmes de surveillance automatisée qui suivent de manière autonome le comportement des modèles en production. Ces systèmes analysent en continu les entrées, les sorties et le comportement des agents des modèles. Ils analysent la distribution des caractéristiques, les schémas de réponse et les traces d'exécution afin de détecter des problèmes tels que la dérive des données, la dégradation des performances ou les actions anormales des agents.
En cas d'anomalies détectées, les pipelines de surveillance peuvent déclencher des réponses automatisées : alertes, évaluations, processus de réentraînement, restaurations ou notifications aux équipes concernées. En identifiant proactivement les changements dans les données réelles et le comportement des agents, la surveillance automatisée contribue à maintenir les performances, la fiabilité et la sécurité du système dans le temps.
Quels sont quelques exemples d'échecs de projets d'IA ?
Poursuites pour violation de droits d'auteur
La croissance rapide de l'IA générative a déclenché plus de 70 poursuites pour violation de droits d'auteur contre des entreprises d'IA, principalement de la part d'auteurs, d'artistes et d'organismes médiatiques, qui affirment que leurs œuvres protégées par le droit d'auteur ont été utilisées pour entraîner des systèmes d'IA sans autorisation.
Certaines décisions de justice suggèrent que l'entraînement de modèles avec des données obtenues légalement peut être considéré comme une utilisation équitable, tandis que l'utilisation de copies piratées ou non autorisées peut toujours constituer une violation du droit d'auteur.
Par exemple, Bandcamp a annoncé une politique interdisant la musique et les contenus audio générés entièrement ou en grande partie par l'intelligence artificielle.
La plateforme affirme que son objectif est de préserver la créativité humaine et de maintenir une relation directe entre les artistes et les fans, soulignant que la musique est une expression culturelle et sociale plutôt qu'un simple produit numérique.
Conformément aux nouvelles règles, les morceaux générés par IA et l'utilisation d'outils d'IA pour imiter d'autres artistes ou styles sont interdits. Les utilisateurs peuvent signaler toute infraction présumée pour examen. Cette politique vise à garantir que les auditeurs puissent avoir confiance dans la musique diffusée sur Bandcamp et s'assurer qu'elle est bien créée par de vraies personnes, et à protéger les musiciens indépendants de l'influence néfaste des contenus générés par IA. 2
Incidents impliquant des voitures autonomes
Une analyse récente du programme de robotaxis de Tesla a révélé que les véhicules autonomes sont impliqués dans des accidents beaucoup plus souvent que les conducteurs humains.
D'après les rapports de sécurité de Tesla et les données réglementaires, la flotte a enregistré 14 accidents sur environ 1 287 000 kilomètres parcourus, soit environ un accident tous les 92 000 kilomètres. À titre de comparaison, un conducteur humain subit généralement un accident mineur tous les 369 000 kilomètres environ, ce qui suggère que les robotaxis de Tesla ont un taux d'accidents environ quatre fois supérieur, et jusqu'à huit fois supérieur si l'on se base sur les normes de sécurité fédérales. 3
Résumés d'actualités trompeurs d'Apple Intelligence
La BBC a déposé une plainte auprès d'Apple concernant des inexactitudes dans les résumés d'actualités générés par l'IA d'Apple, connus sous le nom d'« Apple Intelligence ». Ces résumés, diffusés sous forme de notifications iPhone, attribuaient par erreur de fausses informations à la BBC.
Un exemple notable concerne une notification affirmant faussement que Luigi Mangione, arrêté pour le meurtre du PDG d'UnitedHealthcare, Brian Thompson, s'était suicidé, une information non relayée par la BBC.
Parmi les erreurs ultérieures, on peut citer une notification annonçant par erreur la victoire du joueur de fléchettes Luke Littler au championnat du monde de fléchettes PDC avant même la tenue de la finale.
Face à ces problèmes, Apple a reconnu que ses fonctionnalités d'IA étaient encore en version bêta et a annoncé son intention de désactiver temporairement les résumés de notifications pour les applications d'actualités et de divertissement. L'entreprise a également indiqué qu'une mise à jour logicielle serait déployée afin de préciser quand les notifications sont générées par l'IA, dans le but de prévenir la désinformation et de garantir l'intégrité de la diffusion de l'information. 4
Échec du chatbot d'Air Canada
Air Canada a fait face à des poursuites judiciaires après que son chatbot IA a mal informé un client concernant les remboursements de billets en cas de deuil. Le chatbot a indiqué à tort qu'il pouvait faire une demande de remboursement dans les 90 jours suivant la réservation, mais la compagnie aérienne a par la suite refusé, invoquant sa politique officielle.
Le client a déposé une plainte, et un tribunal a statué qu'Air Canada était responsable de toutes les informations figurant sur son site Web, ordonnant à la compagnie aérienne d'honorer le remboursement. 5
Les réponses biaisées d'Amazon Alexa
L'assistant vocal d'Amazon, Alexa, a été critiqué pour avoir fourni des réponses apparemment partiales favorisant la vice-présidente Kamala Harris au détriment de l'ancien président Donald Trump.
Lorsque les utilisateurs ont demandé à Alexa pourquoi ils devraient voter pour Harris, l'assistante a mis en avant ses réalisations et son engagement envers les idéaux progressistes. En revanche, interrogée sur Trump, Alexa a refusé de le soutenir, invoquant une politique interdisant de promouvoir des personnalités politiques spécifiques.
Amazon a attribué cet écart à une erreur survenue lors d'une récente mise à jour logicielle visant à améliorer les capacités d'intelligence artificielle d'Alexa. L'entreprise a indiqué que le problème avait été rapidement résolu dès sa détection et a souligné qu'Alexa est conçue pour fournir des informations impartiales, sans favoriser aucun parti politique ni candidat. 6
IBM Watson pour l'oncologie
Le partenariat de IBM avec le département de médecine de l'Université du Texas est un exemple notoire d'échec de projet d'IA. Selon StatNews, des documents internes de IBM révèlent que Watson a fréquemment donné des conseils erronés en matière de traitement du cancer, notamment en prescrivant des médicaments antihémorragiques à un patient souffrant d'hémorragies graves.
Les données d'entraînement de Watson contenaient un petit nombre de données hypothétiques de patients atteints de cancer, et non des données réelles. Selon un rapport de l'administration du système universitaire du Texas, le projet a coûté 62 millions de dollars au MD Anderson Cancer Center sans résultat concret. 7
L'outil de recrutement IA d'Amazon
L'outil de recrutement d'Amazon basé sur l'IA, qui a discriminé les femmes, est un autre exemple flagrant d'échec de l'IA. Entraîné sur un ensemble de données contenant principalement des CV de candidats masculins, cet outil a interprété que les candidates étaient moins intéressantes. 8
Discrimination raciale et sexuelle dans les outils de reconnaissance faciale
Une enquête du Guardian a révélé que les systèmes d'IA de Microsoft, Amazon, et Google, utilisés par les plateformes de médias sociaux pour recommander du contenu, présentent un biais sexiste notable dans leur traitement des corps masculins et féminins.
L'étude a révélé que les images de femmes étaient plus souvent qualifiées d'« osées » que des photos similaires d'hommes. Dans un cas précis, l'IA de Microsoft a classé des images de dépistage du cancer du sein de l'Institut national du cancer des États-Unis comme potentiellement sexuellement explicites. 9
Un autre exemple est que les chercheurs en IA ont constaté que les technologies commerciales de reconnaissance faciale, telles que celles de IBM, Microsoft et d'Amazon, étaient peu performantes sur les femmes à la peau foncée et performantes sur les hommes à la peau claire. 10
Liens de référence
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires.