KI-Fehler: 10 Hauptursachen und Beispiele aus der Praxis
Ob es sich um einen Unfall mit einem selbstfahrenden Auto, einen fehlerhaften Algorithmus oder eine Panne eines Kundenservice-Chatbots handelt – Fehler in eingesetzten KI-Systemen können schwerwiegende Folgen haben und wichtige ethische und gesellschaftliche Fragen aufwerfen.
Durch die Identifizierung und Behebung der zugrunde liegenden Probleme können Unternehmen die mit KI verbundenen Risiken mindern und sicherstellen, dass sie sicher und ethisch im Einklang mitbewährten Verfahren für verantwortungsvolle KI eingesetzt wird.
Entdecken Sie 10 häufige Gründe für die hohe Misserfolgsrate von KI-Projekten und erkunden Sie Beispiele aus der Praxis.
Organisatorische und strategische Versäumnisse
1. Unklare Geschäftsziele
Die Implementierung von KI ohne ein klar definiertes Geschäftsproblem und eindeutige Geschäftsziele reicht nicht für den Erfolg aus. Anstatt von der Lösung eines unbestimmten Geschäftsproblems auszugehen, müssen Unternehmen zunächst ihre Geschäftsprobleme ermitteln und definieren und erst dann entscheiden, ob KI-Techniken und -Tools zu deren Lösung beitragen können.
Darüber hinaus ist die Messung der Kosten und des potenziellen Nutzens eines KI-Projekts eine Herausforderung, weil:
- Die Entwicklung eines KI-Projekts und der Aufbau/das Training eines KI-Modells sind experimenteller Natur und können einen langen Prozess des Ausprobierens und Irrens erfordern.
- KI-Modelle versuchen, probabilistische Geschäftsprobleme zu lösen, was bedeutet, dass die Ergebnisse nicht für jeden Anwendungsfall gleich sein müssen.
Ein klar definiertes Geschäftsziel kann Aufschluss darüber geben, ob KI das richtige Werkzeug ist oder ob es alternative Werkzeuge oder Methoden zur Lösung des jeweiligen Problems gibt. Dadurch können Unternehmen unnötige Kosten vermeiden.
2. Black-Box-KI-Systeme
Black-Box-KI bezeichnet Modelle, deren interne Entscheidungsprozesse für Menschen nicht nachvollziehbar sind. Zwar können Nutzer die Ein- und Ausgaben dieser Systeme beobachten, die Gründe für die Entscheidungen des Modells bleiben jedoch verborgen.
Ein KI-gestütztes Einstellungssystem kann beispielsweise Bewerber anhand ihrer eingereichten Lebensläufe bewerten, doch die genauen Faktoren und Gewichtungen, die diese Bewertung beeinflussen, sind nicht sichtbar. Diese mangelnde Transparenz kann zu potenziellen Fehlern führen, da Verzerrungen in den Trainingsdaten unentdeckt bleiben, Fehler schwer nachzuverfolgen und zu beheben sind und Unternehmen Schwierigkeiten haben können, automatisierte Entscheidungen zu erklären oder zu rechtfertigen.
Daher können intransparente Systeme Bedenken hinsichtlich Fairness, Verantwortlichkeit und Vertrauen aufwerfen. Black-Box-KI ist jedoch nicht per se gescheitert, da viele solcher Modelle, insbesondere komplexe Systeme wie tiefe neuronale Netze, hochpräzise und effektiv sein können.
Die größte Herausforderung besteht darin, dass die Ursachen von Problemen schwer zu identifizieren sind, wenn diese auftreten. Dadurch wird Black-Box-KI eher zu einem Zuverlässigkeits- und Governance-Risiko als zu einem Fehler an sich.
New Relic bietet beispielsweise eine Lösung für diese Herausforderung an. Das Unternehmen hat eine Observability-Lösung vorgestellt, die vollständige Transparenz über Anwendungen bietet, die mit ChatGPT erstellt wurden. So können Unternehmen überwachen und optimieren, wie ihre Dienste in KI-gesteuerten Benutzeroberflächen dargestellt und funktionieren.
Die Lösung ermöglicht es den Entwicklungsteams, Leistung, Nutzung und Zuverlässigkeit von ChatGPT-Apps zu verfolgen und so die „Black-Box“-Natur eingebetteter KI-Anwendungen zu beseitigen. 1
3. Mangelnde Zusammenarbeit zwischen den Teams
Ein isoliert arbeitendes Data-Science-Team ist kein Erfolgsrezept für ein KI-Projekt. Der Aufbau eines erfolgreichen KI-Projekts erfordert die Zusammenarbeit von Data Scientists, Data Engineers, IT-Fachkräften, Designern und Experten aus den Fachabteilungen. Die Schaffung einer kollaborativen technischen Umgebung würde Unternehmen dabei helfen:
- Stellen Sie sicher, dass die Ergebnisse des KI-Projekts gut in die gesamte technologische Architektur integriert werden.
- Standardisierung des KI-Entwicklungsprozesses
- Erkenntnisse und Erfahrungen austauschen, bewährte Verfahren entwickeln
- KI-Lösungen in großem Umfang einsetzen
Es gibt Best Practices, sogenannte DataOps und MLOps , um die Zusammenarbeit zwischen verschiedenen Teams zu verbessern und KI-Systeme in großem Umfang zu operationalisieren. Darüber hinaus kann die Einrichtung eines föderierten KI-Kompetenzzentrums (CoE), in dem Datenwissenschaftler aus verschiedenen Geschäftsbereichen zusammenarbeiten können, die Kooperation weiter optimieren.
4. Mangelndes Talent
Aufgrund dieses Fachkräftemangels kann der Aufbau eines talentierten Data-Science-Teams kostspielig und zeitaufwändig sein. Ohne ein Team mit entsprechender Ausbildung und Branchenexpertise sollten Unternehmen nicht erwarten, mit ihren KI-Initiativen viel zu erreichen.
Unternehmen müssen die Kosten und Vorteile des Aufbaus eigener Data-Science-Teams analysieren. Abhängig von Ihren Geschäftszielen und dem Umfang Ihrer Geschäftstätigkeit kann Outsourcing zunächst eine kostengünstigere Alternative zur Implementierung von KI-Anwendungen darstellen.
Datenbezogene Fehler
Daten sind die wichtigste Ressource jedes KI-Projekts. Unternehmen müssen eine Daten-Governance-Strategie entwickeln, um die Verfügbarkeit, Qualität, Integrität und Sicherheit der in ihren Projekten verwendeten Daten zu gewährleisten. Die Arbeit mit veralteten, unzureichenden oder verzerrten Daten kann zu unbrauchbaren Ergebnissen, zum Scheitern des Projekts und zur Verschwendung von Unternehmensressourcen führen.
5. Überanpassung: Auswendiglernen statt Lernen
Überanpassung tritt auf, wenn KI-Modelle sich zu stark auf Trainingsdaten spezialisieren und nicht mehr in der Lage sind, auf neue Eingaben zu generalisieren. Dieses Versagen der KI ist häufig bei Deep-Learning-Modellen zu beobachten, die zur Erkennung von Finanzbetrug eingesetzt werden. Das Tool erkennt möglicherweise nur vergangene Betrugsmuster und übersieht neue Taktiken.
Überanpassung ist ein Hauptgrund für das Scheitern von KI-Projekten, da KI-gestützte Technologien sich an dynamische Umgebungen anpassen müssen, anstatt auf historischen Mustern zu basieren. Mangelhafte Datenqualität und fehlende Beobachtbarkeit der KI verschärfen dieses Problem oft.
6. Vernachlässigung von Grenzfällen: Seltene Szenarien werden übersehen
Grenzfälle, also seltene, aber kritische Szenarien, führen oft zu Fehlentscheidungen von KI-Systemen. In autonomen Fahrzeugen kann es beispielsweise vorkommen, dass ein für die Navigation entwickelter KI-Chatbot ungewöhnliche Fahrbedingungen nicht richtig verarbeitet.
Die Vernachlässigung von Sonderfällen in KI-Projekten kann zu finanziellen Verlusten, Sicherheitsrisiken und einem Vertrauensverlust bei den Kunden führen. Organisationen mit großen Sprach- und Deep-Learning-Modellen müssen daher hochwertige Daten integrieren, um den Umgang mit Sonderfällen zu verbessern.
7. Korrelationsabhängigkeit: Falsche Annahmen und diskriminierende Ergebnisse
KI-Projekte scheitern häufig, weil Modelle Korrelation mit Kausalität verwechseln. Beispielsweise könnte ein KI-gestütztes Einstellungssystem Bewerber aus einer bestimmten Postleitzahl bevorzugen, nicht aufgrund ihrer Qualifikationen, sondern aufgrund von Verzerrungen in den Trainingsdaten. Dies kann zu diskriminierenden Ergebnissen führen.
8. Datenverzerrung: Verstärkung von Ungleichheit und ethische Implikationen
Datenverzerrungen stellen ein zentrales Problem bei KI-Initiativen dar, insbesondere bei maschinellen Lernmodellen, die für Entscheidungsprozesse eingesetzt werden. Ein bekanntes Beispiel sind KI-Modelle im Gesundheitswesen, die primär mit Daten von weißen Patienten trainiert wurden, was zu fehlerhaften Diagnosen bei nicht-weißen Patienten führt.
Solche in KI-Technologien eingebetteten Verzerrungen können ethische Implikationen und rechtliche Herausforderungen nach sich ziehen. Organisationen müssen sich auf bewährte Verfahren der Datenwissenschaft konzentrieren, um eine mangelhafte Datenqualität zu vermeiden und die Genauigkeit in KI-Projekten zu verbessern.
9. Unteranpassung: KI-Modelle, denen es an Komplexität mangelt
Unteranpassung tritt auf, wenn ML-Modelle zu simpel sind, was zu schlechter Leistung führt. Ein schlecht konzipierter KI-Chatbot kann beispielsweise Schwierigkeiten haben, die Absicht des Nutzers zu erkennen, was zu falschen Aussagen und Empfehlungen führt.
KI-Projekte scheitern, wenn Organisationen auf unzureichend trainierte Modelle setzen, ohne deren Fähigkeit zur Verarbeitung komplexer Muster zu verbessern. Die entscheidende Bedeutung der Beobachtbarkeit von KI und der kontinuierlichen Modellverbesserung darf nicht unterschätzt werden.
10. Datendrift: KIs Schwierigkeiten, sich an Veränderungen anzupassen
KI-Tools gehen davon aus, dass Daten über die Zeit hinweg konsistent bleiben, doch Veränderungen in der realen Welt, wie beispielsweise ein sich wandelndes Kundenverhalten auf einer Social-Media-Plattform, können zu Datenabweichungen führen.
KI-Modelle, die in der Finanzprognose oder der juristischen Recherche eingesetzt werden, müssen regelmäßig aktualisiert werden, um ihre Genauigkeit zu gewährleisten. Organisationen, die in KI-Technologien investieren, müssen der Beobachtbarkeit der KI-Prozesse Priorität einräumen, um sicherzustellen, dass die Modelle auch angesichts von Millionen neuer Datenpunkte zuverlässig bleiben.
Vor Beginn eines KI-Projekts sollten Unternehmen sicherstellen, dass sie über ausreichende und relevante Daten aus zuverlässigen Quellen verfügen, die ihre Geschäftsprozesse abbilden, korrekt gekennzeichnet sind und für das eingesetzte KI-Tool geeignet sind. Andernfalls können KI-Tools fehlerhafte Ergebnisse liefern und bei der Entscheidungsfindung gefährlich sein.
Experten für Datenerfassung können Ihrem Unternehmen helfen, wenn Ihnen keine qualitativ hochwertigen Daten zur Verfügung stehen.
Zusätzlich zur Beobachtbarkeit setzen einige Organisationen auf agentenbasierte Überwachungssysteme , die das Modellverhalten im Produktivbetrieb autonom verfolgen. Diese Systeme überwachen kontinuierlich Modelleingaben, -ausgaben und das Verhalten der Agenten. Sie analysieren Merkmalsverteilungen, Antwortmuster und Ausführungsprotokolle, um Probleme wie Datenabweichungen, Leistungseinbußen oder ungewöhnliche Agentenaktionen zu erkennen.
Werden Anomalien erkannt, können Überwachungspipelines automatisierte Reaktionen auslösen, wie z. B. Warnmeldungen, Überprüfungen, Workflow-Neuschulungen, Rollback-Aktionen oder Benachrichtigungen an die zuständigen Teams. Durch die proaktive Erkennung von Änderungen in realen Daten und im Verhalten von Agenten trägt die agentenbasierte Überwachung dazu bei, die Systemleistung, Zuverlässigkeit und Sicherheit langfristig zu gewährleisten.
Was sind einige Beispiele für gescheiterte KI-Projekte?
Urheberrechtsverletzungsklagen
Das rasante Wachstum der generativen KI hat zu mehr als 70 Urheberrechtsverletzungsklagen gegen KI-Unternehmen geführt, hauptsächlich von Autoren, Künstlern und Medienorganisationen, die behaupten, dass ihre urheberrechtlich geschützten Werke ohne Erlaubnis zum Trainieren von KI-Systemen verwendet wurden.
Einige Gerichtsentscheidungen legten nahe, dass das Training von Modellen mit legal erworbenen Daten als zulässige Nutzung angesehen werden kann, während die Verwendung von Raubkopien oder nicht autorisierten Kopien immer noch gegen das Urheberrecht verstoßen könnte.
Bandcamp hat beispielsweise eine Richtlinie angekündigt, die Musik und Audioinhalte verbietet, die vollständig oder größtenteils von künstlicher Intelligenz erzeugt werden.
Die Plattform erklärt, ihr Ziel sei es, die menschliche Kreativität zu bewahren und eine direkte Beziehung zwischen Künstlern und Fans aufrechtzuerhalten, und betont, dass Musik ein kultureller und sozialer Ausdruck und nicht nur ein digitales Produkt sei.
Die neuen Regeln verbieten KI-generierte Musikstücke und die Verwendung von KI-Tools zur Imitation anderer Künstler oder Stile. Nutzer können mutmaßliche Verstöße zur Überprüfung melden. Ziel der Richtlinie ist es, sicherzustellen, dass Hörer darauf vertrauen können, dass die Musik auf Bandcamp von echten Menschen stammt, und unabhängige Musiker davor zu schützen, von der Masse KI-generierter Inhalte verdrängt zu werden. 2
Vorfälle mit selbstfahrenden Autos
Eine aktuelle Analyse des Robotaxi-Programms von Tesla ergab, dass die autonomen Fahrzeuge deutlich häufiger in Unfälle verwickelt sind als menschliche Fahrer.
Laut Teslas eigenen Sicherheitsberichten und behördlichen Daten verzeichnete die Flotte 14 Unfälle auf einer Fahrstrecke von rund 800.000 Meilen, was etwa einem Unfall alle 57.000 Meilen entspricht. Zum Vergleich: Menschliche Fahrer erleben im Durchschnitt alle 229.000 Meilen einen leichten Unfall. Dies deutet darauf hin, dass Teslas Robotaxis etwa viermal häufiger verunglücken und nach den geltenden Sicherheitsstandards sogar bis zu achtmal häufiger. 3
Apples irreführende Nachrichtenzusammenfassungen (Intelligence)
Die BBC reichte bei Apple eine Beschwerde wegen Ungenauigkeiten in Apples KI-generierten Nachrichtenzusammenfassungen ein, bekannt als „Apple Intelligence“. Diese Zusammenfassungen, die als iPhone-Benachrichtigungen zugestellt wurden, schrieben der BBC fälschlicherweise falsche Informationen zu.
Ein bemerkenswertes Beispiel war eine Meldung, in der fälschlicherweise behauptet wurde, Luigi Mangione, der wegen Mordes an Brian Thompson, dem CEO von UnitedHealthcare, verhaftet worden war, habe Selbstmord begangen – eine Behauptung, über die die BBC nicht berichtete.
Zu den weiteren Fehlern gehörte eine Meldung, in der fälschlicherweise verkündet wurde, dass der Dartspieler Luke Littler die PDC-Weltmeisterschaft im Dartsport gewonnen habe, bevor das Finale überhaupt stattgefunden hatte.
Als Reaktion auf diese Probleme räumte Apple ein, dass sich die KI-Funktionen noch in der Beta-Phase befänden, und kündigte an, die Benachrichtigungszusammenfassungen für Nachrichten- und Unterhaltungs-Apps vorübergehend zu deaktivieren. Das Unternehmen erklärte außerdem, dass ein Software-Update veröffentlicht werde, um klarzustellen, wann Benachrichtigungen KI-generiert sind. Ziel sei es, künftigen Fehlinformationen vorzubeugen und die Integrität der Nachrichtenverbreitung zu wahren. 4
Ausfall des Air Canada Chatbots
Air Canada geriet in rechtliche Schwierigkeiten, nachdem ihr KI-Chatbot einen Kunden bezüglich der Rückerstattung von Flugtickets im Trauerfall falsch informiert hatte. Der Chatbot gab fälschlicherweise an, der Kunde könne innerhalb von 90 Tagen nach der Buchung eine Rückerstattung beantragen, was die Fluggesellschaft später unter Berufung auf ihre tatsächlichen Richtlinien jedoch ablehnte.
Der Kunde reichte eine Beschwerde ein, und ein Gericht entschied, dass Air Canada für alle Informationen auf ihrer Website verantwortlich sei, und ordnete die Rückerstattung an. 5
Voreingenommene Antworten von Amazon Alexa
Amazons Sprachassistentin Alexa geriet in die Kritik, weil sie scheinbar voreingenommene Antworten gab, die Vizepräsidentin Kamala Harris gegenüber Ex-Präsident Donald Trump bevorzugten.
Als Nutzer Alexa fragten, warum sie für Harris stimmen sollten, hob die Assistentin ihre Leistungen und ihr Engagement für progressive Ideale hervor. Im Gegensatz dazu lehnte Alexa auf dieselbe Frage zu Trump eine Wahlempfehlung ab und verwies auf eine Richtlinie, die die Förderung bestimmter politischer Persönlichkeiten untersagt.
Amazon führte diese Diskrepanz auf einen Fehler in einem kürzlich erschienenen Software-Update zurück, das die KI-Fähigkeiten von Alexa verbessern sollte. Das Unternehmen erklärte, das Problem sei nach seiner Entdeckung umgehend behoben worden und betonte, dass Alexa so konzipiert sei, dass sie unvoreingenommene Informationen liefert, ohne eine politische Partei oder einen Kandidaten zu bevorzugen. 6
IBM Watson für Onkologie
Die Partnerschaft von IBM mit der University of Texas MD ist ein bekanntes Beispiel für das Scheitern eines KI-Projekts. Laut StatNews zeigen interne Dokumente von IBM, dass Watson häufig fehlerhafte Empfehlungen zur Krebsbehandlung gab, beispielsweise einem Patienten mit starken Blutungen blutstillende Medikamente verschrieb.
Watsons Trainingsdaten enthielten lediglich eine geringe Anzahl hypothetischer Patientendaten von Krebspatienten anstelle realer Patientendaten. Laut einem Bericht der Universitätsverwaltung von Texas beliefen sich die Projektkosten für das MD Anderson Cancer Center auf 62 Millionen US-Dollar – ohne dass ein Erfolg erzielt wurde. 7
Amazons KI-Recruiting-Tool
Amazons KI-gestütztes Recruiting-Tool, das Frauen diskriminierte, ist ein weiteres bekanntes Beispiel für das Scheitern von KI. Das Tool wurde mit einem Datensatz trainiert, der hauptsächlich Lebensläufe männlicher Bewerber enthielt, und interpretierte dies fälschlicherweise als die Einstellung weiblicher Bewerber. 8
Rassische und sexuelle Diskriminierung bei Gesichtserkennungswerkzeugen
Eine Untersuchung des Guardian ergab, dass KI-Systeme von Amazon und anderen Unternehmen, die von Social-Media-Plattformen zur Empfehlung von Inhalten eingesetzt werden, eine bemerkenswerte geschlechtsspezifische Voreingenommenheit im Umgang mit männlichen und weiblichen Körpern aufweisen.
Die Studie ergab, dass Bilder von Frauen häufiger als „anstößig“ eingestuft wurden als vergleichbare Fotos von Männern. In einem Fall klassifizierte die KI von Microsoft Bilder von Brustkrebs-Screenings des US-amerikanischen National Cancer Institute als potenziell sexuell explizit. 9
Ein weiteres Beispiel: KI-Forscher stellten fest, dass kommerzielle Gesichtserkennungstechnologien, wie etwa die von IBM, Microsoft und Amazon, bei dunkelhäutigen Frauen schlecht, bei hellhäutigen Männern hingegen gut abschnitten. 10
Referenzlinks
Seien Sie der Erste, der kommentiert
Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich.