Comparação das principais ferramentas de reconhecimento de imagem em
Avaliamos o desempenho em situações reais das principais ferramentas de reconhecimento de imagens em nuvem para tarefas de detecção de objetos, comparando suas configurações de API padrão em 5 classes usando 100 imagens. Isso incluiu a comparação de desempenhos, a análise de recursos e a análise das ofertas de serviço em relação aos preços.
Resultados de referência
Visão geral do desempenho com IoU=0,5
As métricas de desempenho de três plataformas de reconhecimento de imagem foram avaliadas com um limiar de Interseção sobre União (IoU) de 0,5, comparando os valores de mAP, pontuação F1, recall e precisão. Embora todas as plataformas tenham alcançado taxas de precisão superiores a 89%, essa metodologia de avaliação revelou diferenças notáveis em seu desempenho de recall e em outras métricas de avaliação.
O mAP (precisão média) é a principal métrica de avaliação a ser considerada para tarefas de detecção de objetos, pois fornece uma medida abrangente da qualidade da detecção em diferentes limiares de confiança e classes de objetos.
Você pode ler mais sobre as métricas .
Precisão média por classe (AP) em IoU=0,5
O Amazon Rekognition, o Cloud Vision e o Azure AI Vision demonstram boas capacidades de detecção de pessoas, mas apresentam dificuldades na identificação de equipamentos de proteção. A precisão diminui significativamente para capacetes em todas as plataformas.
Embora a Amazon e o Azure AI Vision apresentem baixa precisão na detecção de luvas e chapéus, o Azure AI Vision atinge 0% de precisão para ambas as categorias. É importante observar que o Azure AI Vision não detecta objetos pequenos (menos de 5% da imagem) ou dispostos muito próximos uns dos outros, o que pode contribuir para a baixa precisão observada na detecção de luvas e chapéus. 1
Nenhum dos serviços consegue detectar máscaras com sucesso (0% de precisão), o que evidencia uma lacuna crítica em suas capacidades de reconhecimento de objetos quando utilizados nas configurações padrão, sem rotulagem personalizada.
Você pode ler mais sobre as limitações do reconhecimento de imagem .
mAP em diferentes limiares de IoU [0,5:0,05:0,95]
O desempenho de Precisão Média (mAP) do Amazon Rekognition, Cloud Vision e Azure AI Vision varia significativamente com o aumento dos limites de Interseção sobre União (IoU) de 0,5 a 0,95. O Amazon Rekognition mantém um desempenho superior em toda a faixa de avaliação, enquanto os três serviços apresentam a queda esperada na precisão à medida que os critérios de detecção se tornam mais rigorosos.
Possíveis fatores que podem afetar as diferenças de desempenho
As diferenças nos resultados de benchmark entre o Amazon Rekognition, o Cloud Vision e o Azure AI Vision podem ser explicadas por diversos fatores inter-relacionados ligados ao design do modelo, ao foco do produto e à metodologia de avaliação. Essas diferenças não refletem necessariamente a superioridade geral do modelo, mas sim a forma como cada serviço é otimizado e exposto por meio de APIs padrão.
Foco do treinamento do modelo e escopo do produto
- O Amazon Rekognition inclui recursos específicos para EPIs (Equipamentos de Proteção Individual), o que provavelmente resultará em melhor cobertura de treinamento e representações de recursos para objetos como capacetes e luvas.
- Google O Cloud Vision e o Azure AI Vision priorizam tarefas gerais de compreensão de imagens (por exemplo, OCR, pontos de referência, marcas, detecção da web), tornando os EPIs e objetos semelhantes secundários em seus objetivos de treinamento.
- Essas diferenças estão alinhadas com o mAP mais alto e o desempenho mais estável do Amazon Rekognition em limites de IoU mais rigorosos.
Configuração padrão da API e compensações entre precisão e recall.
- Todos os serviços foram avaliados usando as configurações padrão, que normalmente priorizam alta precisão para minimizar falsos positivos.
- Essa escolha de design resulta em altos índices de precisão entre os fornecedores, mas em uma taxa de recuperação significativamente menor, principalmente para objetos menos proeminentes.
- O impacto é mais visível em métricas sensíveis à recordação, como AP e mAP.
Limitações na detecção de objetos pequenos
- Objetos como luvas, chapéus e capacetes geralmente ocupam uma pequena fração da imagem, tornando sua detecção difícil de ser feita com precisão.
- A redução da resolução e a variabilidade de escala em redes neurais convolucionais diminuem a sensibilidade a detalhes minuciosos.
- O Azure AI Vision, que comprovadamente apresenta desempenho inferior em objetos pequenos ou muito próximos uns dos outros, mostra a degradação mais acentuada nessas categorias.
Mapeamento de taxonomia e avaliação de rótulos
- Os rótulos específicos de cada fornecedor precisavam ser mapeados para uma taxonomia unificada de referência.
- Detecções válidas usando rótulos não correspondentes ou mais granulares podem ter sido excluídas da avaliação.
- Esse processo de mapeamento pode afetar negativamente a revocação e a precisão média sem indicar uma falha real na detecção.
Ausência de detecção de máscara
- Nenhum dos serviços avaliados expõe rótulos de objetos relacionados a máscaras em suas APIs padrão.
- Como resultado, todos os fornecedores registraram 0% de precisão para máscaras, refletindo uma limitação estrutural da API em vez de uma fraqueza comparativa.
Sensibilidade e qualidade de localização do IoU
- As diferenças de desempenho aumentam em limites de IoU mais altos, onde é necessário um alinhamento mais rigoroso da caixa delimitadora.
- O Amazon Rekognition mantém um mAP relativamente mais alto nesses limiares, sugerindo uma maior precisão de localização.
Metodologia
Testamos o desempenho desses fornecedores em sua versão padrão (ou seja, sem rotulagem personalizada) em casos reais.
Utilizamos 100 imagens. Redimensionamos as imagens para 512×512 pixels, preservando as regiões essenciais que continham instâncias, visto que o conjunto de dados original apresentava dimensões variáveis.
Queremos executar este teste novamente sem que os fornecedores treinem suas soluções com o conjunto de dados. Portanto, não divulgaremos o conjunto de dados que usamos para este teste de desempenho.
Processamos as respostas das APIs dos provedores de serviços da seguinte forma:
- Os rótulos dos provedores de serviço foram mapeados para as categorias de referência definidas na tabela acima. Os rótulos dos provedores de serviço que não correspondiam a essas categorias de referência foram excluídos da avaliação.
- formatos de caixa delimitadora normalizados de diferentes fornecedores
- IoU calculado entre caixas previstas e caixas reais.
- previsões correspondentes à verdade fundamental com base no limiar de IoU
- Métricas calculadas: precisão, recall, F1 e AP por categoria
- mAP no estilo COCO calculado usando limiares de 0,5 a 0,95
Um exemplo de cálculo de IoU, precisão, recall e F1 é apresentado na figura abaixo:
Métricas de benchmarking
Precisão
A precisão mede a exatidão das previsões positivas feitas pelo modelo. No reconhecimento de imagens, para uma determinada classe (por exemplo, "pessoa"), ela responde à pergunta: "De todas as imagens que o modelo rotulou como contendo uma pessoa, quantas realmente a contêm?". Isso é crucial em cenários onde falsos positivos (rotular incorretamente uma imagem como positiva) são custosos.
Lembrar
A métrica de recall mede a completude das previsões positivas, respondendo à pergunta: "De todas as imagens que realmente contêm a classe, quantas o modelo identificou corretamente?". Isso é vital quando a ausência de uma ocorrência positiva (falso negativo) é crítica.
Pontuação F1
A pontuação F1 é a média harmônica da precisão e da revocação, fornecendo uma medida equilibrada que é especialmente útil quando há uma distribuição desigual de classes (por exemplo, poucas imagens de capacete em comparação com imagens sem capacete). É uma métrica única que captura tanto falsos positivos quanto falsos negativos.
mapa
mAP, ou precisão média, é uma métrica usada principalmente em tarefas de detecção de objetos em reconhecimento de imagens. Ela avalia a acurácia do modelo em diferentes classes, calculando a média da precisão média (AP) de cada classe. A AP, por sua vez, é a área sob a curva de precisão-revocação, que é gerada variando-se o limiar de confiança para as detecções.
Esta ferramenta interativa permite comparar os resultados de detecção entre diferentes fornecedores usando imagens de exemplo do conjunto de dados. Use os botões superiores para selecionar Amazon, Google, Microsoft ou todos os fornecedores. Ative ou desative a verificação de dados com a caixa de seleção. Navegue entre as imagens de teste usando os botões numerados à esquerda. As caixas com código de cores mostram cada detecção com suas respectivas pontuações de confiança.
Melhores APIs de reconhecimento de imagem
Reconhecimento da Amazon
O Amazon Rekognition oferece recursos avançados de reconhecimento de imagem para analisar imagens e dados visuais, incluindo detecção e reconhecimento facial. Ele oferece classificação de imagens, detecção de objetos e marcação de imagens para análise de conteúdo por meio de inteligência artificial.
O Amazon Rekognition integra-se com os serviços da AWS, incluindo S3, Lambda e SageMaker, oferecendo suporte ao treinamento de modelos personalizados para o desenvolvimento de seus próprios modelos. Eles categorizam suas ofertas em recursos do Grupo 1 e do Grupo 2:
- O Grupo 1 concentra-se na detecção facial (CompareFaces, IndexFaces, SearchFaces) para verificação de identidade e inspeção visual de dados faciais.
- O Grupo 2 oferece recursos como análise de conteúdo por meio de moderação, reconhecimento de celebridades, detecção de texto e detecção de EPIs (Equipamentos de Proteção Individual) para dados de imagem, com processamento de imagem que mantém a qualidade da imagem.
Google Visão em Nuvem
O Cloud Vision oferece compreensão de imagens com recursos avançados de reconhecimento de imagens para analisar imagens e extrair dados visuais. Sua tecnologia OCR pode identificar e extrair texto em vários idiomas, permitindo suporte multilíngue para conteúdo diversificado.
O serviço funciona com os serviços da plataforma Cloud, como Cloud Storage, BigQuery e Workspace, oferecendo suporte a várias linguagens de programação para integração. As ofertas da Cloud Vision incluem:
- As principais funcionalidades incluem reconhecimento ótico de caracteres, filtragem de conteúdo, detecção de objetos para inspeção visual, anotação de imagens e detecção de pontos turísticos, logotipos e celebridades.
- As funcionalidades adicionais incluem Detecção Web para encontrar imagens relacionadas online, modelos de aprendizado de máquina personalizados para análises especializadas e suporte para uma ampla variedade de tipos de arquivo para imagens com diferentes níveis de qualidade.
Microsoft Azure AI Vision
O Azure AI Vision oferece recursos de análise de imagens para analisar imagens e extrair dados visuais. Ele oferece reconhecimento óptico de caracteres (OCR) com suporte a vários idiomas para processar textos em diversos idiomas.
Parte dos Serviços Cognitivos do Azure, ele se integra ao Armazenamento do Azure, ao Azure Functions e à Power Platform. Microsoft categoriza suas ofertas em recursos do Grupo 1 e do Grupo 2:
- O Grupo 1 concentra-se na detecção de elementos visuais para classificar imagens, incluindo rostos, objetos, marcas, pontos de referência e recorte de imagens.
- O Grupo 2 oferece funções de descrição de imagem, leitura de texto e geração de legendas que funcionam em vários idiomas.
Microsoft também oferece Remoção de Fundo (prévia), um serviço gratuito separado que usa processamento de imagem avançado para remover automaticamente o fundo de imagens de dados visuais.
Características diferenciadoras dos prestadores de serviços
Visão geral dos preços da API
Computação de borda no reconhecimento de imagens
O reconhecimento de imagem tradicional depende de servidores em nuvem. Você captura uma imagem, a envia para os data centers da AWS ou da Google, aguarda o processamento e recebe os resultados. A computação de borda executa modelos de IA diretamente no dispositivo que captura a imagem, eliminando a comunicação com servidores distantes.
Como funciona a computação de borda
A mudança fundamental reside em onde fica o "cérebro" do seu sistema de reconhecimento de imagem. Em arquiteturas de nuvem, as câmeras inteligentes são essencialmente apenas coletoras de dados. Elas capturam quadros e enviam tudo para análise. A inteligência reside em data centers remotos.
A computação de borda inverte esse modelo. A própria câmera se torna inteligente, equipada com processadores capazes de executar redes neurais localmente. Em vez de transmitir vídeo bruto, esses dispositivos analisam o que veem no local e comunicam apenas informações relevantes: um alerta de que uma pessoa foi detectada, uma notificação de que o estoque está baixo ou um aviso de que um defeito no produto foi encontrado.
Não se trata apenas de velocidade. É uma reformulação fundamental da arquitetura do sistema, passando de "capturar tudo, analisar depois" para "analisar imediatamente, relatar o que importa".
Por que isso é importante para o reconhecimento de imagens?
Velocidade: A IA de borda processa dados onde são gerados, permitindo a tomada de decisões em frações de segundo. Veículos autônomos e robôs de manufatura não podem se dar ao luxo de esperar por requisições à nuvem. Eles precisam de resultados rápidos o suficiente para agir imediatamente.
Privacidade: O processamento local significa que dados sensíveis não precisam de servidores remotos. Radiografias hospitalares permanecem no hospital, imagens de lojas permanecem na loja. Isso é fundamental para a conformidade com o GDPR e as regulamentações de privacidade.
Eficiência de custos: A computação de borda elimina o envio de imagens inteiras para servidores centrais. Apenas as informações essenciais são transmitidas. Em vez de transmitir horas de vídeo para a nuvem, os dispositivos enviam apenas alertas ou metadados relevantes.
Confiabilidade: Os sistemas continuam funcionando mesmo quando as redes falham. Os dispositivos de borda operam de forma independente, garantindo o funcionamento contínuo independentemente da conectividade com a internet. Isso é fundamental para sistemas de segurança e aplicações industriais.
Transformadores de visão no reconhecimento de imagens
O reconhecimento de imagens exige a compreensão do contexto, reconhecendo como elementos distantes em uma imagem se relacionam entre si. Os modelos tradicionais processam imagens pixel por pixel, analisando pequenas vizinhanças e construindo gradualmente a compreensão por meio de camadas. Os Vision Transformers dividem as imagens em patches de tamanho fixo (como blocos de 16×16 pixels) e analisam todos os patches simultaneamente para capturar o contexto global desde a primeira camada de processamento.
Essa mudança é importante para a precisão. Em vez de processar pixels individuais isoladamente, a ViT examina como todos os fragmentos da imagem se relacionam entre si simultaneamente. Em imagens médicas, a ViT correlaciona alterações sutis em uma área do tecido com anomalias em partes distantes, identificando padrões que poderiam parecer benignos quando vistos isoladamente.
As ferramentas de reconhecimento de imagens em nuvem que avaliamos ainda dependem principalmente de modelos baseados em CNN para implantação em produção. Essas arquiteturas comprovadas oferecem detecção e classificação de objetos confiáveis na maioria dos casos de uso. No entanto, à medida que os modelos de visão evoluem, abordagens híbridas que combinam a eficiência tradicional com a compreensão global baseada em Transformers estão surgindo para tarefas que exigem um contexto de imagem abrangente.
Modelos de transformação de visão para reconhecimento de imagens
Google Vision Transformer (ViT) : O modelo Vision Transformer original, treinado no ImageNet para classificação de imagens. Disponível através da Hugging Face com versões pré-treinadas prontas para implantação ou ajuste fino.
O Swin Transformer utiliza processamento hierárquico e um mecanismo de janela deslocada para compreender tanto o contexto global da imagem quanto os detalhes locais. Funciona bem para tarefas de detecção de objetos e segmentação de imagens.
DINOv2 (Meta AI) : Modelo de autoaprendizagem supervisionada que aprende com imagens não rotuladas sem a necessidade de anotações humanas. Produz representações de imagens que funcionam em diferentes tarefas de reconhecimento.
Modelo de Segmentação de Objetos (SAM) : Utiliza a Teoria da Interação Visual (ViT) para identificar e separar objetos em imagens. Consegue reconhecer e segmentar objetos para os quais não foi especificamente treinado.
Casos de uso de software de reconhecimento de imagem
No cenário digital atual, as tecnologias de visão computacional e processamento de imagens transformaram a maneira como as empresas utilizam dados visuais. Algoritmos avançados de classificação de imagens possibilitam ferramentas sofisticadas de reconhecimento de imagens que estão remodelando as operações em diversos setores.
Essas tecnologias de reconhecimento de imagem combinam abordagens poderosas de treinamento de modelos com interfaces intuitivas que permitem aos usuários automatizar tarefas visuais complexas. Desde soluções de visão personalizadas para necessidades específicas de negócios até sistemas de reconhecimento facial para segurança, essas ferramentas podem identificar padrões, objetos e características em imagens.
Inspeção visual
O reconhecimento de imagem permite a inspeção visual automatizada em diversos setores. Esses sistemas identificam objetos, detectam características e verificam a compatibilidade por meio da análise de dados visuais.
Por exemplo, o Chamberlain Group implementou o Amazon Rekognition em seu aplicativo myQ, permitindo que os usuários capturem automaticamente imagens de seus abridores de portas de garagem para verificar a compatibilidade. Essa solução simplificada substituiu um processo manual complexo e aumentou significativamente as taxas de conexão dos usuários. 2
Processamento de documentos
A tecnologia OCR extrai texto de imagens e documentos, automatizando a entrada de dados em vários idiomas. Os sistemas modernos conseguem processar textos manuscritos e layouts complexos, transformando fluxos de trabalho em papel e tornando os documentos pesquisáveis.
Por exemplo, o grupo segurador francês LSA Courtage utiliza a API Cloud Vision (Google) para reconhecer texto em carteiras de habilitação e documentos de registro de veículos. Essa implementação de OCR reduziu o tempo de processamento de documentos em 45% por página e aumentou a produtividade dos analistas de risco em 20%, permitindo o processamento de 1.500 documentos por dia. 3
Você pode consultar nossa avaliação comparativa de OCR para verificar a precisão das diversas ferramentas de OCR para diferentes tipos de documentos.
Monitoramento agrícola
Os agricultores utilizam imagens de drones com reconhecimento de imagem para monitorar a saúde das plantações, detectar doenças e otimizar a irrigação. Ao identificar áreas de estresse hídrico antes do surgimento de sintomas visíveis, os agricultores podem intervir precocemente e reduzir o uso de recursos.
Por exemplo, o Projeto FarmBeats (agora Azure Data Manager for Agriculture) da Microsoft utiliza sensores, drones e aprendizado de máquina para viabilizar a agricultura orientada por dados em ambientes com energia elétrica e conectividade à internet limitadas. O sistema ajuda a aumentar a produtividade agrícola e a reduzir custos, combinando dados visuais com o conhecimento dos agricultores sobre suas terras. 4
Segurança e vigilância
Os sistemas de segurança utilizam reconhecimento facial e detecção de objetos para identificar atividades, controlar o acesso e localizar pessoas. Esses sistemas monitoram imagens de vídeo e alertam a equipe sobre ameaças. Por exemplo, a Sun Finance utiliza o Amazon Rekognition para verificar a identidade do cliente comparando selfies com documentos de identidade, agilizando a verificação, prevenindo fraudes e ampliando a inclusão financeira. 5
Moderação de conteúdo
As plataformas de redes sociais utilizam reconhecimento e legendagem de imagens para filtrar conteúdo inadequado. Esses sistemas identificam imagens problemáticas rapidamente, geram legendas descritivas automaticamente para análise de conteúdo e possibilitam a moderação em larga escala de conteúdo gerado pelo usuário.
Por exemplo, o CoStar Group utiliza o Amazon Rekognition para moderação de conteúdo e análise de vídeo de aproximadamente 150.000 uploads diários de imagens e vídeos para sua plataforma de imóveis comerciais. Essa solução de moderação de conteúdo escaneia imagens, classifica o conteúdo, detecta material indesejado e utiliza tecnologia de legendagem de imagens para compreender o contexto, economizando tempo e garantindo conformidade e dados de alta qualidade. 6
Você pode ler mais sobre as aplicações do reconhecimento de imagem .
Limitações da tecnologia de reconhecimento de imagem
Redução de detalhes em objetos pequenos
Quando os objetos aparecem pequenos nas imagens, eles contêm menos pixels, resultando em dados visuais limitados. Além disso, as CNNs tendem a perder detalhes finos importantes durante o processamento por meio de camadas de subamostragem, o que prejudica significativamente as capacidades de detecção.
Detecções perdidas
Os sistemas de reconhecimento de imagem normalmente priorizam objetos maiores durante as fases de treinamento e análise, resultando em uma maior frequência de objetos pequenos não detectados ou falsos negativos.
Interferência de fundo
Objetos menores são mais vulneráveis a serem obscurecidos por ruído visual, elementos de fundo ou sobreposição de outros elementos, tornando sua identificação mais difícil. Mesmo a oclusão parcial pode afetar desproporcionalmente objetos pequenos, já que eles possuem uma área distinguível menor.
Variabilidade de escala
Objetos que aparecem a diferentes distâncias ou escalas representam dificuldades para modelos que não foram especificamente projetados para detectar detalhes finos em objetos de tamanhos variados.
Demandas computacionais
Técnicas para aprimorar a detecção de objetos pequenos, como extração de características multiescala ou entradas de resolução mais alta, exigem mais poder de processamento, limitando a aplicabilidade em tempo real.
Viés de treinamento
Os conjuntos de dados frequentemente sub-representam objetos pequenos ou carecem de anotações suficientes para eles, reduzindo a generalização do modelo para tais casos em cenários do mundo real.
Perguntas frequentes
O software de reconhecimento de imagem é um tipo de tecnologia de visão computacional que utiliza algoritmos de aprendizado de máquina para analisar dados não estruturados, como imagens digitais e vídeos. Vai além da simples identificação de objetos específicos; sistemas avançados visam à compreensão da cena, interpretando o contexto e as relações dentro de uma imagem para fornecer uma análise mais completa. Isso permite que os computadores vejam e classifiquem informações visuais com eficácia.
Não existe um software de reconhecimento de imagem ou de visão computacional que seja universalmente o melhor. A escolha ideal entre as tecnologias de reconhecimento de imagem depende das suas necessidades específicas. Considere fatores como a precisão necessária, o tipo de tarefas que você precisa executar (como detecção de objetos ou OCR, e até mesmo se você precisa integrar com processamento de linguagem natural para tarefas que combinam compreensão de imagem com análise de texto), facilidade de uso, escalabilidade, orçamento, opções de personalização e a experiência técnica da sua equipe. Testar diferentes opções é a melhor maneira de encontrar as tecnologias de reconhecimento de imagem que melhor oferecem os recursos de visão computacional necessários para a sua aplicação.
Embora o reconhecimento de imagens tenha melhorado significativamente, a precisão não é garantida. Os fatores que impactam o desempenho incluem a qualidade da imagem (iluminação, resolução), a complexidade da cena, as variações na aparência dos objetos e a qualidade dos dados de treinamento usados para os algoritmos de aprendizado profundo. Obter uma compreensão robusta da cena e detectar com precisão objetos específicos pode ser um desafio em dados visuais complexos ou ruidosos.
Links de referência
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios.