Falhas da IA: 10 causas principais e exemplos da vida real
Seja um acidente com um carro autônomo, um algoritmo tendencioso ou uma falha em um chatbot de atendimento ao cliente, as falhas em sistemas de IA implantados podem ter consequências graves e levantar importantes questões éticas e sociais.
Ao identificar e abordar os problemas subjacentes, as empresas podem mitigar os riscos associados à IA e garantir que ela seja usada de forma segura e ética, em conformidade comas melhores práticas de IA responsável .
Descubra 10 razões comuns para as altas taxas de fracasso de projetos de IA e explore exemplos do mundo real.
Falhas organizacionais e estratégicas
1. Objetivos de negócios pouco claros
Implementar IA sem um problema de negócio bem definido e objetivos de negócio claros não é suficiente para alcançar o sucesso. Em vez de partir da solução para um problema de negócio indefinido, as empresas devem primeiro determinar e definir os problemas de negócio e, em seguida, decidir se as técnicas e ferramentas de IA podem ajudar a resolvê-los.
Além disso, mensurar os custos e os benefícios potenciais de um projeto de IA é um desafio porque:
- O desenvolvimento de um projeto de IA e a construção/treinamento de um modelo de IA são processos experimentais que podem exigir uma longa jornada de tentativa e erro.
- Os modelos de IA tentam resolver problemas de negócios probabilísticos, o que significa que os resultados podem não ser os mesmos para cada caso de uso.
Um objetivo de negócios bem definido pode fornecer uma ideia clara sobre se a IA é a ferramenta certa ou se existem ferramentas ou métodos alternativos para resolver o problema em questão. Isso pode evitar custos desnecessários para as empresas.
2. Sistemas de IA de caixa preta
A Inteligência Artificial de Caixa Preta refere-se a modelos cujos processos internos de tomada de decisão não são compreensíveis para os humanos. Embora os usuários possam observar as entradas e saídas desses sistemas, o raciocínio por trás das decisões do modelo permanece oculto.
Por exemplo, um sistema de recrutamento com IA pode classificar candidatos a emprego com base em currículos enviados, mas os fatores e pesos exatos que influenciam essas classificações não são visíveis. Essa falta de transparência pode contribuir para possíveis falhas, pois vieses nos dados de treinamento podem permanecer indetectáveis, erros podem se tornar difíceis de rastrear e corrigir, e as organizações podem ter dificuldades para explicar ou justificar decisões automatizadas.
Consequentemente, sistemas opacos podem suscitar preocupações quanto à imparcialidade, à responsabilidade e à confiança. No entanto, a IA de caixa preta não é inerentemente um fracasso, uma vez que muitos desses modelos, especialmente sistemas complexos como redes neurais profundas, podem ser altamente precisos e eficazes.
O principal desafio é que, quando surgem problemas, suas causas são difíceis de identificar, tornando a IA de caixa preta um risco para a confiabilidade e a governança, em vez de uma falha em si.
Por exemplo, a New Relic propõe uma solução para esse desafio. A empresa anunciou uma solução de observabilidade que oferece visibilidade completa dos aplicativos criados no ChatGPT, ajudando as empresas a monitorar e otimizar a aparência e o funcionamento de seus serviços em interfaces baseadas em IA.
A solução permite que as equipes de engenharia monitorem o desempenho, o uso e a confiabilidade dos aplicativos ChatGPT, eliminando a natureza de "caixa preta" das experiências de IA incorporadas. 1
3. Falta de colaboração entre as equipes
Ter uma equipe de ciência de dados trabalhando isoladamente em um projeto de IA não é garantia de sucesso. Construir um projeto de IA bem-sucedido exige a colaboração de cientistas de dados, engenheiros de dados, profissionais de TI, designers e profissionais de negócios. Criar um ambiente técnico colaborativo ajudaria as empresas a:
- Garantir que os resultados do projeto de IA sejam bem integrados à sua arquitetura tecnológica geral.
- Padronizar o processo de desenvolvimento de IA
- Compartilhar aprendizados e experiências, desenvolver melhores práticas.
- Implante soluções de IA em escala
Existem conjuntos de práticas conhecidos como DataOps e MLOps para reduzir a lacuna entre diferentes equipes e operacionalizar sistemas de IA em escala. Além disso, o estabelecimento de um Centro de Excelência (CoE) de IA federado, onde cientistas de dados de diferentes áreas de negócios possam colaborar, pode melhorar a colaboração.
4. Falta de talento
Devido à escassez de profissionais qualificados, criar uma equipe de ciência de dados talentosa pode ser caro e demorado. Sem uma equipe com treinamento adequado e conhecimento do domínio de negócios, as empresas não devem esperar grandes conquistas com suas iniciativas de IA.
As empresas devem analisar os custos e benefícios da criação de equipes internas de ciência de dados. Dependendo dos objetivos de negócios e da escala das operações, a terceirização pode ser inicialmente uma alternativa mais econômica do que a implementação de aplicações de IA.
Falhas relacionadas a dados
Os dados são o recurso fundamental de qualquer projeto de IA. As empresas precisam desenvolver uma estratégia de governança de dados para garantir a disponibilidade, a qualidade, a integridade e a segurança dos dados que serão utilizados em seus projetos. Trabalhar com dados desatualizados, insuficientes ou tendenciosos pode levar a situações de "lixo entra, lixo sai", ao fracasso do projeto e ao desperdício de recursos da empresa.
5. Sobreajuste: Memorizar em vez de aprender
O sobreajuste ocorre quando os modelos de IA se tornam excessivamente especializados em dados de treinamento e não conseguem generalizar para novas entradas. Essa falha da IA é comum em modelos de aprendizado profundo usados na detecção de fraudes financeiras , onde a ferramenta pode reconhecer apenas padrões de fraude passados e não identificar táticas emergentes.
O sobreajuste é um dos principais motivos para o fracasso de projetos de IA, já que as tecnologias baseadas em IA precisam se adaptar a ambientes dinâmicos em vez de se basearem em padrões históricos. A baixa qualidade dos dados e a falta de observabilidade da IA frequentemente agravam esse problema.
6. Negligência em casos extremos: Ignorar cenários raros
Casos extremos, cenários incomuns, porém críticos, frequentemente levam os sistemas de IA a tomar decisões erradas. Em veículos autônomos , um chatbot de IA projetado para navegação pode falhar ao processar condições de direção atípicas.
Ignorar casos extremos em iniciativas de IA pode resultar em perdas financeiras, riscos à segurança e perda da confiança do cliente. Organizações com grandes modelos de linguagem e aprendizado profundo devem integrar dados de alta qualidade para aprimorar o tratamento de casos extremos.
7. Dependência de correlação: Suposições falsas e resultados discriminatórios
Projetos de IA frequentemente falham devido a modelos que confundem correlação com causalidade. Por exemplo, um sistema de recrutamento baseado em IA pode favorecer candidatos de um CEP específico, não por suas habilidades, mas por vieses presentes nos dados de treinamento. Isso pode resultar em consequências discriminatórias.
8. Viés nos dados: reforçando a desigualdade e suas implicações éticas.
O viés nos dados é um problema crítico em iniciativas de IA, particularmente em modelos de aprendizado de máquina usados para tomada de decisões. Um exemplo notório são os modelos de IA na área da saúde treinados principalmente com dados de pacientes brancos, o que leva a diagnósticos imprecisos para pacientes não brancos.
Esses vieses inerentes às tecnologias de IA podem gerar implicações éticas e desafios legais. As organizações devem se concentrar nas melhores práticas de ciência de dados para evitar a baixa qualidade dos dados e melhorar a precisão em projetos de IA.
9. Subajuste: Modelos de IA que carecem de complexidade
O subajuste ocorre quando os modelos de aprendizado de máquina são muito simplistas, resultando em baixo desempenho. Um chatbot de IA mal projetado, por exemplo, pode ter dificuldades para diferenciar a intenção do usuário, resultando em mentiras e recomendações incorretas.
Projetos de IA falham quando as organizações dependem de modelos pouco treinados, sem aprimorar sua capacidade de processar padrões complexos. A importância crucial da observabilidade da IA e da melhoria contínua dos modelos não pode ser negligenciada.
10. Deriva de dados: a dificuldade da IA em se adaptar às mudanças
As ferramentas de IA partem do pressuposto de que os dados permanecem consistentes ao longo do tempo, mas mudanças no mundo real, como a alteração do comportamento do cliente em uma plataforma de mídia social, podem levar à deriva dos dados.
Os modelos de IA usados em previsões financeiras ou pesquisas jurídicas precisam ser atualizados com frequência para manter a precisão. Organizações que investem em tecnologias de IA devem priorizar a observabilidade da IA para garantir que os modelos permaneçam confiáveis à medida que milhões de novos pontos de dados surgem.
Antes de iniciar um projeto de IA, as empresas devem garantir que possuem dados suficientes e relevantes, provenientes de fontes confiáveis, que representem suas operações comerciais, estejam corretamente rotulados e sejam adequados à ferramenta de IA implementada. Caso contrário, as ferramentas de IA podem produzir resultados errôneos e ser perigosas se utilizadas na tomada de decisões.
Especialistas em coleta de dados podem ajudar sua empresa caso você não tenha dados de boa qualidade disponíveis.
Além da observabilidade, algumas organizações estão adotando sistemas de monitoramento de agentes que rastreiam autonomamente o comportamento do modelo em produção. Esses sistemas monitoram continuamente as entradas e saídas do modelo, bem como o comportamento dos agentes em produção. Eles analisam a distribuição de características, os padrões de resposta e os rastreamentos de execução para detectar problemas como desvio de dados, degradação de desempenho ou ações anormais dos agentes.
Quando anomalias são detectadas, os pipelines de monitoramento podem acionar respostas automatizadas, como alertas, verificações de avaliação, retreinamento de fluxos de trabalho, ações de reversão ou notificações para as equipes responsáveis. Ao identificar proativamente mudanças nos dados do mundo real e no comportamento dos agentes, o monitoramento de agentes ajuda a manter o desempenho, a confiabilidade e a segurança do sistema ao longo do tempo.
Quais são alguns exemplos de fracassos em projetos de IA?
Processos judiciais por violação de direitos autorais
O rápido crescimento da IA generativa desencadeou mais de 70 processos por violação de direitos autorais contra empresas de IA, principalmente movidos por autores, artistas e organizações de mídia, que alegam que suas obras protegidas por direitos autorais foram usadas para treinar sistemas de IA sem permissão.
Algumas decisões judiciais sugeriram que o treinamento de modelos com dados obtidos legalmente pode ser considerado uso justo, enquanto o uso de cópias pirateadas ou não autorizadas ainda pode violar a lei de direitos autorais.
Por exemplo, o Bandcamp anunciou uma política que proíbe músicas e áudios gerados total ou em grande parte por inteligência artificial.
A plataforma afirma que seu objetivo é preservar a criatividade humana e manter uma relação direta entre artistas e fãs, enfatizando que a música é uma expressão cultural e social, e não apenas um produto digital.
De acordo com as novas regras, faixas geradas por IA e o uso de ferramentas de IA para imitar outros artistas ou estilos são proibidos, e os usuários podem denunciar suspeitas de violações para análise. A política visa garantir que os ouvintes possam confiar que a música no Bandcamp é criada por pessoas reais e proteger músicos independentes de serem ofuscados por grandes volumes de conteúdo gerado por IA. 2
Incidentes envolvendo carros autônomos
Uma análise recente do programa de robotáxis da Tesla revelou que os veículos autônomos se envolvem em acidentes com muito mais frequência do que os motoristas humanos.
Com base nos próprios relatórios de segurança da Tesla e em dados regulatórios, a frota registrou 14 acidentes em aproximadamente 800.000 milhas percorridas, o que equivale a cerca de um acidente a cada 57.000 milhas. Em comparação, motoristas humanos normalmente sofrem um acidente leve a cada 229.000 milhas, o que sugere que os robôs-táxi da Tesla se envolvem em acidentes cerca de quatro vezes mais frequentemente e até oito vezes mais frequentemente quando se utilizam os parâmetros de segurança federais. 3
Resumos de notícias enganosos da Apple Intelligence
A BBC apresentou uma queixa à Apple relativamente a imprecisões nos resumos de notícias gerados por IA da Apple, conhecidos como “Apple Intelligence”. Estes resumos, entregues como notificações do iPhone, atribuíram erroneamente informações falsas à BBC.
Um exemplo notável envolveu uma notificação falsa afirmando que Luigi Mangione, preso pelo assassinato do CEO da UnitedHealthcare, Brian Thompson, havia cometido suicídio, uma alegação não divulgada pela BBC.
Os erros subsequentes incluíram uma notificação que anunciava incorretamente que o jogador de dardos Luke Littler havia vencido o Campeonato Mundial de Dardos da PDC antes da partida final.
Em resposta a esses problemas, a Apple reconheceu que seus recursos de IA ainda estavam em versão beta e anunciou planos para desativar temporariamente os resumos de notificações para aplicativos de notícias e entretenimento. A empresa também afirmou que uma atualização de software seria lançada para esclarecer quando as notificações são geradas por IA, visando prevenir a desinformação e manter a integridade da disseminação de notícias. 4
Falha no chatbot da Air Canada
A Air Canada enfrentou problemas legais depois que seu chatbot de inteligência artificial informou erroneamente um cliente sobre reembolsos de passagens por falecimento. O chatbot afirmou incorretamente que ele poderia solicitar um reembolso em até 90 dias após a reserva, mas a companhia aérea posteriormente negou o pedido, citando sua política oficial.
O cliente apresentou uma reclamação e um tribunal decidiu que a Air Canada era responsável por todas as informações em seu site, ordenando que a companhia aérea honrasse o reembolso. 5
Respostas tendenciosas da Amazon Alexa
A assistente de voz da Amazon, Alexa, foi alvo de críticas por fornecer respostas aparentemente tendenciosas, favorecendo a vice-presidente Kamala Harris em detrimento do ex-presidente Donald Trump.
Quando os usuários perguntaram à Alexa por que deveriam votar em Harris, a assistente destacou suas realizações e seu compromisso com os ideais progressistas. Por outro lado, quando questionada sobre Trump, a Alexa se recusou a fornecer um endosso, citando uma política contra a promoção de figuras políticas específicas.
A Amazon atribuiu essa discrepância a um erro decorrente de uma atualização recente de software destinada a aprimorar os recursos de IA da Alexa. A empresa afirmou que o problema foi prontamente corrigido assim que detectado e enfatizou que a Alexa foi projetada para fornecer informações imparciais, sem favorecer nenhum partido político ou candidato. 6
IBM Watson para Oncologia
A parceria da IBM com a Universidade do Texas em Maryland é um exemplo notório de fracasso de um projeto de IA. De acordo com o StatNews, documentos internos da IBM mostram que o Watson frequentemente dava conselhos errôneos sobre tratamentos de câncer, como prescrever medicamentos para estancar sangramentos para um paciente com hemorragia grave.
Os dados de treinamento do Watson continham um pequeno número de dados hipotéticos de pacientes com câncer, em vez de dados reais de pacientes. De acordo com um relatório da Administração do Sistema da Universidade do Texas, o projeto custou US$ 62 milhões ao MD Anderson sem que se obtivesse resultados. 7
Ferramenta de recrutamento com IA da Amazon
A ferramenta de recrutamento por IA da Amazon, que discriminou mulheres, é outro exemplo notório de falha da IA. A ferramenta foi treinada em um conjunto de dados contendo principalmente currículos de candidatos do sexo masculino e interpretou que candidatas mulheres eram menos desejáveis. 8
Discriminação racial e sexual em ferramentas de reconhecimento facial
Uma investigação do Guardian descobriu que os sistemas de IA da Microsoft, da Amazon e da Google, usados por plataformas de mídia social para recomendar conteúdo, exibem um viés de gênero notável em sua representação de corpos masculinos e femininos.
O estudo revelou que imagens de mulheres eram rotuladas como "sensuais" com mais frequência do que fotos semelhantes de homens. Em um dos casos, a IA de Microsoft classificou imagens de exames de detecção de câncer de mama do Instituto Nacional do Câncer dos EUA como potencialmente sexualmente explícitas. 9
Outro exemplo é que pesquisadores de IA descobriram que tecnologias comerciais de reconhecimento facial, como as da IBM, da Microsoft e da Amazon, tiveram um desempenho ruim em mulheres de pele escura e um bom desempenho em homens de pele clara. 10
Links de referência
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios.