Modelos de Linguagem de Visão Comparados ao Reconhecimento de Imagens

Modelos de Linguagem de Visão (VLMs) avançados podem substituir os modelos tradicionais de reconhecimento de imagens? Para descobrir, comparamos 16 modelos líderes em três paradigmas: CNNs tradicionais (ResNet, EfficientNet), VLMs (como GPT-4.1, Gemini 2.5) e APIs de nuvem (AWS, Google, Azure).

A Precisão Média (mAP) serviu como nossa principal métrica de acurácia, complementada por análises de latência, custo e desempenho específico por classe.

Você pode ver a metodologia do benchmark aqui.

Benchmark de acurácia vs latência

Em nosso benchmark, avaliamos os modelos em quatro dimensões: latência, precisão média (mAP), preço e taxa de sucesso. A latência mede o tempo que um modelo leva para processar uma única imagem, enquanto o mAP reflete a acurácia geral de classificação. A taxa de sucesso rastreia se um modelo retornou uma saída JSON válida, particularmente relevante para modelos de linguagem de visão, que interpretam imagens em linguagem natural em vez de dados estruturados.

Modelos tradicionais de reconhecimento de imagens, como EfficientNet, ResNet18, ResNet50, ResNet101 e DenseNet121, mostram consistentemente baixa latência (0.03–0.2 segundos) e acurácia competitiva (mAP 0.75–0.81). Entre eles, DenseNet121 e ResNet18 alcançam as maiores pontuações de mAP (0.81 e 0.80 respectivamente), enquanto EfficientNet segue de perto (0.78). ResNet50 e ResNet101 mostram desempenho moderado dentro deste grupo (0.75 e 0.77), mas todos os modelos tradicionais superam significativamente as ferramentas de reconhecimento de imagem baseadas em nuvem, como AWS Rekognition, Google Cloud Vision e Azure Vision, que alcançam acurácia moderada (mAP 0.61–0.64) com latências entre 2–3.5 segundos. Isso demonstra que os modelos tradicionais dominam tanto em velocidade quanto em precisão.

Para modelos de linguagem de visão, incluindo OpenAI GPT-4.1, Claude Opus 4.1, X-IA Grok 2 Vision, Meta-Llama/LLama-3.2-11B Vision Instruct, e Google Gemini 2.5 Flash, as latências são significativamente maiores, variando de 1 a 12 segundos, com valores de mAP entre 0.60 e 0.75. Google Gemini 2.5 Flash atinge 0.75 de mAP, tornando-se o VLM mais preciso em nosso teste. Entre outros VLMs, GPT-4.1 tem um desempenho forte com mAP de 0.73, seguido por Claude Opus 4.1 (0.71) e X-IA Grok 2 Vision (0.70). GPT-4o-mini mostra desempenho moderado (0.66 mAP), enquanto Meta-Llama Vision Instruct fica significativamente atrás (0.60 mAP).

A maioria dos modelos de linguagem de visão retorna saídas JSON de forma confiável com quase 100% de sucesso, exceto pelo Meta-Llama Vision Instruct, que teve sucesso apenas 36% das vezes, e Gemini 2.5 Pro, que falhou consistentemente (0% de sucesso), limitando severamente sua aplicabilidade prática em pipelines automatizados.

Embora os modelos de linguagem de visão geralmente fiquem atrás dos modelos tradicionais de reconhecimento de imagens em velocidade bruta, os VLMs de melhor desempenho, como Google Gemini 2.5 Flash (0.75 mAP) e GPT-4.1 (0.73 mAP), alcançam uma acurácia de classificação que se aproxima do desempenho das CNNs tradicionais e excede significativamente as APIs de nuvem, como AWS Rekognition e Azure Vision. Em termos de latência, a maioria dos modelos de linguagem de visão se agrupa em torno de 3-4 segundos, exceto Meta-Llama, que é notavelmente mais lento, com 12 segundos, destacando o impacto da arquitetura e otimização do modelo.

No geral, os modelos tradicionais de reconhecimento de imagens ainda se destacam tanto em velocidade quanto em acurácia. Os VLMs, no entanto, mostram-se promissores para raciocínio multimodal e saídas estruturadas, com latência consistentemente mais alta, mas os melhores modelos alcançando uma acurácia que se aproxima das CNNs tradicionais e supera os serviços de reconhecimento de imagem baseados em nuvem.

Desempenho específico por classe: onde os modelos se destacam e onde têm dificuldades

Nossa avaliação usou sete classes sobrepostas que testam diferentes aspectos da detecção de objetos:

• face: Representa apenas a região do rosto. O modelo precisa detectar o rosto de uma pessoa, o que pode ser desafiador devido ao seu pequeno tamanho e detalhes finos.
• head: Cobre a cabeça inteira, excluindo o rosto. Concentra-se em detectar a forma e a estrutura da cabeça.
• head_with_helmet: Representa a cabeça usando um capacete. O modelo deve detectar tanto a cabeça quanto o capacete juntos, testando sua capacidade de reconhecer a relação entre eles.
• helmet: Representa apenas o capacete, independentemente da presença de uma pessoa ou cabeça. Importante para detecção de equipamentos.
• person: Detecta a presença de uma pessoa, com ou sem capacete. Serve como uma classe geral de detecção humana.
• person_no_helmet: Representa uma pessoa que não está usando capacete. O modelo deve identificar tanto a presença humana quanto a ausência do capacete.
• person_with_helmet: Representa uma pessoa usando capacete. Requer distinguir tanto a presença humana quanto o uso do capacete, intimamente relacionado a person_no_helmet.

Essas classes sobrepostas e intimamente relacionadas podem ser desafiadoras para modelos de linguagem de visão, pois eles interpretam informações visuais por meio da linguagem natural, em vez de capturar diretamente diferenças de granulação fina no nível do pixel.

Desempenho das CNNs tradicionais

1. Classe Face
   • Melhor desempenho: EfficientNet e DenseNet121 (100%)
   • Mais baixo: ResNet101 (95%) A detecção de rosto é altamente precisa entre as CNNs, superando a maioria dos VLMs.
2. Classe Head
   • Melhor: ResNet18 e DenseNet121 (69%)
   • Mais baixo: ResNet50 (50%) Desempenho moderado; CNNs têm mais dificuldade com a detecção de cabeça do que com as classes de rosto e capacete.
3. Head e Head_with_helmet
   • Melhor desempenho: EfficientNet e ResNet18 (Head_with_helmet 98%, Head 65–69%)
   • Mais baixo: ResNet50 (Head 50%, Head_with_helmet 96%) As CNNs têm um desempenho muito bom em cabeças com capacete, alcançando 96–98% de acurácia em todos os modelos. A detecção de cabeças sem capacete é mais desafiadora, com menor acurácia (50–69%), indicando que as CNNs distinguem melhor objetos proeminentes, como capacetes, do que regiões menos distintas, como cabeças sem capacete.
4. Classe Person
   • Todos os modelos: 0% de acurácia
5. Person_no_helmet
   • Melhor: DenseNet121 (72%)
   • Mais baixo: ResNet50 (53%) As CNNs lidam com essa classe desafiadora melhor do que os VLMs, destacando sua capacidade de capturar detalhes finos.
6. Person_with_helmet
   • Melhor: EfficientNet (98%)
   • Mais baixo: DenseNet121 (96%) Alta acurácia em todos os modelos; pessoas com capacete são reconhecidas de forma consistente.

Desempenho dos modelos de linguagem de visão

1. Classe Face (detecção de rosto)
   • Melhor desempenho: Claude Opus 4.1 (83%)
   • Mais fraco: Meta-Llama Vision Instruct (4%) e GPT-4o-mini (12%) Os VLMs geralmente têm pior desempenho em objetos pequenos e detalhados, como rostos; Meta-Llama e GPT-4o-mini têm dificuldades com detalhes finos.
2. Head e Head_with_helmet
   • Head: Claude Opus 4.1 (96%) mais alto, Meta-Llama (30%) mais baixo
   • Head_with_helmet: GPT-4.1 (99%) e Gemini 2.5 Flash (98%) mais altos, Meta-Llama (50%) mais baixo Os modelos têm bom desempenho na detecção de cabeça com ou sem capacete; a maioria atinge 90%+ de acurácia, exceto Meta-Llama.
3. Classe Helmet
   • Mais alto: Grok 2 Vision (100%), GPT-4.1 (99%), Gemini 2.5 Flash (98%)
   • Mais baixo: Meta-Llama (52%) Distinguir objetos com e sem capacete é geralmente mais fácil, mas Meta-Llama tem desempenho inferior.
4. Classe Person
   • Todos os modelos alcançam 100%, provavelmente devido a objetos grandes e claros.
5. Person_no_helmet
   • Melhor: GPT-4.1 e Gemini 2.5 Flash (58%)
   • Mais baixo: Meta-Llama (18%) e GPT-4o-mini (29%) Detectar detalhes finos, como a ausência de capacete, é desafiador; alguns modelos se destacam em objetos proeminentes, mas ficam para trás em classes com nuances.
6. Person_with_helmet
   • Mais alto: GPT-4.1 (98%) e Gemini 2.5 Flash (98%)
   • Mais baixo: Meta-Llama (55%) A maioria dos modelos tem um desempenho muito bom aqui.

Desempenho das APIs de nuvem

• Classe Face
  • Melhor: AWS Rekognition (22%)
  • Mais baixo: Google Cloud Vision (0%) A detecção de rosto é geralmente ruim entre as APIs de nuvem; distinções finas como rostos são desafiadoras.
• Head e Head_with_helmet
  • Head: AWS Rekognition (24%) melhor, Azure Vision mais baixo (0%)
  • Head_with_helmet: AWS Rekognition (10%) melhor, Azure Vision (1%) mais baixo A detecção de cabeças, especialmente com ou sem capacete, é limitada; as APIs de nuvem se concentram em objetos mais amplos em vez de detalhes finos.
• Classe Helmet
  • Melhor: AWS Rekognition (94%)
  • Mais baixo: Azure Vision (37%) A detecção de capacete é moderadamente bem-sucedida para algumas APIs (AWS), mas inconsistente entre provedores.
• Classe Person
  • Todos os modelos: 100% Objetos grandes e claros, como pessoas inteiras, são detectados de forma confiável por todas as APIs de nuvem.
• Person_no_helmet
  • Melhor: Azure Vision (78%)
  • Mais baixo: Google Cloud Vision (26%) O desempenho varia amplamente; algumas APIs podem lidar com classes desafiadoras moderadamente bem.
• Person_with_helmet
  • Melhor: AWS Rekognition (94%)
  • Mais baixo: Azure Vision (37%) Pessoas com capacete são detectadas de forma confiável pela AWS, mas de forma inconsistente por outros provedores.

Para rostos, as CNNs alcançam a maior acurácia, seguidas pelos VLMs, enquanto as APIs de nuvem têm desempenho ruim. Nas classes head e head_with_helmet, as CNNs permanecem fortes, os VLMs têm bom desempenho em cabeças com capacete, mas menos consistente em cabeças sem capacete, e as APIs de nuvem têm dificuldades com ambos. Para capacetes, CNNs e VLMs geralmente têm um desempenho muito bom, enquanto as APIs de nuvem mostram sucesso variável. Na classe person, todos os paradigmas detectam pessoas inteiras de forma confiável. Para person_no_helmet, as CNNs superam tanto os VLMs quanto as APIs de nuvem, demonstrando manuseio superior de detalhes finos. Finalmente, para person_with_helmet, CNNs e VLMs mantêm alta acurácia, enquanto as APIs de nuvem mostram desempenho inconsistente dependendo do provedor.

Precisão, revocação e F1-score

Precisão mede quantas das previsões positivas de um modelo estão realmente corretas. Em outras palavras, responde à pergunta: "Das previsões que o modelo rotulou como positivas, quantas são verdadeiramente corretas?"

Revocação mede quantas das instâncias positivas reais o modelo identifica com sucesso. Responde à pergunta: "De todos os casos positivos verdadeiros, quantos o modelo detectou?"

F1-Score é um resumo equilibrado de precisão e revocação. Ele fornece uma métrica única que reflete tanto a acurácia quanto a cobertura, particularmente útil quando você deseja equilibrar precisão e revocação.

Modelos baseados em CNN (ResNet50, ResNet101, DenseNet121) mostram alto desempenho tanto em precisão (0.93–0.95) quanto em revocação (0.91–0.94), resultando em altos F1-scores (0.92–0.93). Isso indica que eles são altamente precisos em suas previsões e capazes de capturar a maioria das instâncias positivas verdadeiras. EfficientNet também mostra um alto F1-score (0.92), oferecendo desempenho consistente e confiável.

As APIs de nuvem (AWS Rekognition, Google Cloud Vision, Azure Vision) têm menor precisão e revocação, com F1-scores variando de 0.32 a 0.58. Isso sugere que, embora os serviços de nuvem sejam otimizados para tarefas de propósito geral, sua acurácia em distinções de classe refinadas é limitada.

Os modelos de linguagem de visão mostram desempenho mais variável. GPT-4.1, X-IA Grok 2 Vision e Claude Opus 4.1 alcançam exatamente 0.76 de F1-score, enquanto Google Gemini 2.5 Flash tem um desempenho ligeiramente melhor com um F1-score de 0.80. Embora esses modelos demonstrem forte desempenho em algumas classes, eles geralmente ficam atrás das CNNs na acurácia geral. Meta-Llama Vision Instruct tem um F1-score de 0.47, com baixa precisão e revocação, o que significa que o modelo tem dificuldades tanto em fazer previsões corretas quanto em capturar positivos verdadeiros.

Razões potenciais por trás das diferenças de desempenho

Vantagem da arquitetura CNN

As CNNs tradicionais são especializadas na extração de características em nível de pixel, permitindo a detecção rápida e precisa de objetos refinados. Suas camadas convolucionais otimizadas e mapas de características hierárquicos permitem baixa latência e alto mAP em tarefas padrão de reconhecimento de imagem.

Sobrecarga multimodal nos VLMs

Os Modelos de Linguagem de Visão processam tanto imagens quanto texto, adicionando etapas de atenção cruzada e alinhamento de incorporação. Isso permite raciocínio e saídas contextuais, mas aumenta o tempo de inferência, levando a uma latência maior em comparação com as CNNs.

Detecção de classe refinada

Classes sobrepostas ou sutis (ex.: person_no_helmet vs person_with_helmet) destacam as diferenças entre os modelos. As CNNs capturam consistentemente esses detalhes, os VLMs têm bom desempenho em objetos proeminentes, mas têm dificuldades com distinções sutis, e as APIs de nuvem se concentram em classes amplas, limitando a acurácia.

Confiabilidade da saída estruturada

A geração inconsistente de JSON afeta o desempenho do VLM. Modelos com baixas taxas de sucesso parecem menos eficazes em pipelines, enquanto CNNs e APIs de nuvem produzem saídas previsíveis e determinísticas.

Então, qual você deve escolher?

CNNs tradicionais são ideais para aplicações de velocidade crítica onde os tempos de resposta em milissegundos importam, como processamento de vídeo em tempo real, veículos autônomos ou sistemas de segurança industrial. Com sua acurácia superior (mAP 0.75–0.81) e inferência ultrarrápida (0.03–0.2s), esses modelos de IA tradicionais se destacam quando você precisa de desempenho confiável e consistente, sem a sobrecarga do processamento de linguagem natural ou complexidade do modelo. As CNNs se concentram em dados visuais e classificação de imagens tarefas como detecção de objetos, oferecendo tanto acurácia de visão quanto eficiência, sem a necessidade de ajuste fino em modelos multimodais.

Modelos de Linguagem de Visão (VLMs) brilham quando você precisa de compreensão contextual e saídas flexíveis. Esses modelos de linguagem de visão funcionam tanto na modalidade visual quanto na textual, permitindo que grandes modelos de linguagem processem entrada de imagem junto com descrições de texto. Perfeitos para aplicações que exigem explicações em linguagem natural, legendagem de imagens, tarefas de raciocínio visual ou até mesmo resposta a perguntas visuais, eles aproveitam codificadores de visão e camadas de atenção cruzada para alinhar pares de imagem e texto no mesmo espaço dimensional. Embora você aceite maior latência (3–12s), as capacidades de raciocínio que eles trazem para a compreensão de imagens, elementos visuais e instruções visuais os tornam ideais para tarefas downstream mais específicas, como moderação de conteúdo inteligente, geração de imagens, raciocínio matemático visual ou assistentes de visão interativos. Ao usar ajuste fino eficiente em parâmetros com dados de treinamento de alta qualidade, os modelos de linguagem de visão (VLMs) tornam-se poderosos modelos de aprendizado de máquina que unificam informações visuais e textuais sob um espaço de incorporação compartilhado.

APIs de nuvem fornecem respostas detalhadas e abrangentes com metadados ricos e pontuações de confiança, tornando-as ideais quando você precisa de informações extensas além da simples classificação. Essas APIs geralmente dependem de componentes de codificador de visão pré-treinados e codificadores visuais treinados em conjuntos de dados de modelos públicos em larga escala de legendas conceituais e fotos relevantes. Melhores para aplicações que exigem saídas JSON estruturadas, caixas delimitadoras, localização de objetos ou compreensão de vídeos longos, são soluções prontas para uso sem a necessidade de treinamento robusto de modelo ou gerenciamento de infraestrutura. Embora sua acurácia seja moderada (mAP 0.61–0.66), elas reduzem detalhes técnicos e custos de infraestrutura, permitindo tarefas como geração automatizada de relatórios, extração de significado semântico e integração de framework unificada com modelos generativos existentes.

Calculadora de preços

Modelos de linguagem de visão (VLMs) – Principais características e vantagens

Raciocínio multimodal

Os Modelos de Linguagem de Visão (VLMs) são modelos multimodais poderosos que podem processar simultaneamente modalidades visuais e textuais, permitindo-lhes interpretar informações visuais e textuais de uma forma mais rica e consciente do contexto. Ao alinhar a entrada de imagem com prompts de linguagem natural, eles permitem tarefas avançadas, como legendagem automática de imagens, detecção de capacetes em imagens de segurança, tarefas de raciocínio visual, resposta a perguntas visuais e até mesmo explicar conteúdo visual em linguagem natural. Ao contrário dos modelos de IA tradicionais que se concentram apenas em dados visuais, os VLMs combinam capacidades de visão com raciocínio de grandes modelos de linguagem, tornando-os ideais para tarefas downstream complexas.

Saída estruturada e geração de JSON

Muitos modelos de linguagem de visão podem gerar saídas estruturadas, como JSON, o que é valioso para pipelines automatizados e aplicações que exigem descrições de texto juntamente com características de imagem. Em nosso benchmark, ChatGPT-5 e Gemini 2.5 Pro falharam consistentemente, enquanto Meta-Llama Vision Instruct teve sucesso apenas cerca de 36% das vezes. Saídas estruturadas são particularmente úteis para assistentes de visão, permitindo tarefas como detecção de objetos, localização de objetos e produção de dados confiáveis para modelos de aprendizado de máquina sem ajuste fino extensivo.

Capacidades de ajuste fino

Os VLMs suportam ajuste fino eficiente em parâmetros com dados de treinamento relativamente pequenos, permitindo adaptação rápida a tarefas de raciocínio visual específicas de domínio. Por exemplo, eles podem ser ajustados para distinguir indivíduos com e sem capacete ou equipamentos de segurança especializados em cenários de entrada de imagem. Ao aproveitar arquiteturas de codificador de visão pré-treinadas e técnicas robustas de treinamento de modelo, eles podem generalizar melhor com menos legendas conceituais ou pares de imagem e texto.

Veja mais dos nossos benchmarks e insights baseados em dados na Pesquisa Google.

Adicionar como fonte preferencial

Limitações dos modelos de linguagem de visão

Latência e velocidade

Em comparação com CNNs tradicionais ou modelos de visão mais simples, os modelos de linguagem de visão normalmente têm maior latência, o que pode limitar aplicações em tempo real, como a compreensão de vídeos longos. Alguns modelos multimodais, como X-IA Grok 2 Vision e Google Gemini 2.5 Flash, estão mais próximos das APIs de nuvem em velocidade, mas Meta-Llama é notavelmente mais lento. A troca vem de seu design de modelo ponta a ponta e camadas de atenção cruzada, que melhoram as capacidades de raciocínio, mas aumentam o tempo de inferência.

Desafios por classe

Os modelos de linguagem de visão às vezes têm dificuldades com classes sobrepostas e reconhecimento de objetos refinados, como diferenciar entre uma "cabeça" e uma "cabeça_com_capacete" ou entre "pessoa_sem_capacete" e "pessoa_com_capacete". Embora alguns modelos tenham bom desempenho nas classes com capacete, eles têm desempenho inferior em outras tarefas de raciocínio visual, como detectar rostos ou elementos visuais sutis. Isso destaca a importância de dados de treinamento de alta qualidade e ajuste fino cuidadoso ao visar tarefas downstream mais específicas.

Confiabilidade da saída estruturada

A consistência das saídas estruturadas, como JSON, varia amplamente. Enquanto alguns VLMs geram saídas válidas de forma confiável, outros falham em casos de uso particulares, limitando sua utilidade em pipelines totalmente automatizados. Mesmo com backbones de codificador de visão pré-treinados e abordagens de espaço de incorporação compartilhado, alguns modelos ainda falham em manter o significado semântico na saída estruturada. Essa inconsistência ressalta a necessidade de treinamento robusto de modelo, fotos relevantes no conjunto de dados e melhorias contínuas nos modelos generativos para as modalidades de visão e linguagem.

Metodologia do benchmark

Conduzimos nossa avaliação abrangente usando o conjunto de dados de detecção de capacete de segurança SHEL5K, utilizando especificamente as primeiras 500 imagens para garantir uma comparação consistente entre todas as arquiteturas de modelo. O conjunto de dados contém sete classes sobrepostas projetadas para testar capacidades de detecção de objetos refinados: face, head, head_with_helmet, helmet, person, person_no_helmet e person_with_helmet.

Pré-processamento de dados

As anotações originais do conjunto de dados SHEL5K foram fornecidas em formato XML. Desenvolvemos um pipeline de pré-processamento para converter essas anotações em um formato CSV multirrótulo adequado para avaliação sistemática:

Cada imagem foi mapeada para seus rótulos de verdade de terreno correspondentes, criando um framework de avaliação padronizado. Para CNNs tradicionais, as imagens foram pré-processadas para uma resolução de 224×224 com normalização padrão. Os modelos de linguagem de visão e as APIs de nuvem receberam imagens em seu formato original para preservar informações contextuais.

Protocolo de avaliação para CNNs tradicionais

As redes neurais convolucionais tradicionais (EfficientNet, variantes ResNet, DenseNet121) passaram por ajuste fino supervisionado usando as melhores práticas estabelecidas:

Configuração de treinamento:

• Arquitetura: Modelos pré-treinados com cabeças de classificação modificadas
• Função de perda: BCEWithLogitsLoss para classificação multirrótulo
• Otimizador: Adam com taxa de aprendizado 1e-4
• Épocas de treinamento: 5
• Divisão de dados: 80% treinamento, 20% validação
• Tamanho do lote: 16

Framework de teste para modelos de linguagem de visão

Os VLMs foram avaliados por meio de prompts cuidadosamente estruturados, projetados para obter respostas consistentes e legíveis por máquina. Nossa abordagem de engenharia de prompt solicitou pontuações de confiança formatadas em JSON para cada classe.

Configuração da API:

• Temperatura: 0.1 (baixa temperatura para consistência)
• Tokens máximos: 800
• Modelos testados via integração com a API OpenRouter
• Análise de JSON com tratamento de erros e validação de formato

Acompanhamento da taxa de sucesso: Monitoramos a porcentagem de respostas JSON válidas, pois os VLMs às vezes geram explicações em linguagem natural em vez de saída estruturada. Essa métrica mostrou-se crucial para avaliar a viabilidade prática de implantação.

Integração de APIs de nuvem e mapeamento de rótulos

As APIs de nuvem apresentaram desafios únicos devido à sua natureza de propósito geral e diferentes taxonomias. Desenvolvemos estratégias de mapeamento abrangentes para cada serviço:

Estratégia de mapeamento de rótulos:

As APIs de nuvem apresentam um desafio fundamental: elas não foram projetadas para nossa taxonomia específica de sete classes. Esses serviços retornam rótulos de propósito geral como "person", "helmet", "construction worker" ou "safety equipment", em vez das combinações precisas que precisamos avaliar (como "person_with_helmet" ou "head_with_helmet").

Para resolver essa limitação, desenvolvemos dicionários de mapeamento abrangentes para cada serviço de nuvem com base em suas saídas. O mapeamento do Azure Computer Vision incluiu 50+ variantes de rótulos cobrindo diferentes maneiras pelas quais a API pode descrever pessoas (person, man, woman, worker, individual), capacetes (helmet, hard hat, safety helmet, cap) e características faciais (face, human face, portrait). Mapeamentos extensos semelhantes foram criados para AWS Rekognition e Google Cloud Vision, cada um adaptado ao vocabulário e padrões de rotulagem específicos daquele serviço.

Lógica de inferência de classes combinadas:

O aspecto mais sofisticado de nossa avaliação de APIs de nuvem envolveu a inferência de classes combinadas que as APIs não reconhecem explicitamente. Implementamos lógica baseada em regras para detectar quando vários elementos básicos aparecem juntos:

Quando tanto "person" quanto "helmet" são detectados na mesma imagem com confiança suficiente, o sistema infere "person_with_helmet" usando a pontuação de confiança mínima entre as duas detecções (abordagem conservadora). Da mesma forma, detectar "head" e "helmet" simultaneamente aciona a classificação "head_with_helmet".

Para classificações negativas, quando uma pessoa é detectada, mas nenhum capacete é encontrado, o sistema infere "person_no_helmet" com confiança ligeiramente reduzida (90% da confiança original da pessoa) para contabilizar a incerteza inerente à inferência negativa.

Essa abordagem reconhece que as APIs de nuvem se destacam na detecção de objetos individuais, mas têm dificuldades com o raciocínio relacional sobre combinações de objetos — uma limitação chave ao avaliar tarefas de classificação refinadas e dependentes de contexto.

Métricas de avaliação e análise estatística

Métricas primárias:

• Precisão Média (mAP): Medida de acurácia primária usando média macro entre classes
• Precisão, Revocação, F1-Score: Média micro para avaliação geral de desempenho
• Acurácia por Classe: Desempenho individual de classe para análise detalhada
• Latência: Tempo de processamento ponta a ponta por imagem
• Taxa de Sucesso: Porcentagem de saídas válidas (particularmente relevante para VLMs)

Seleção de limiar: Um limiar de classificação de 0.5 foi aplicado consistentemente em todos os modelos, com VLMs usando pontuações de confiança e modelos tradicionais usando logits ativados por sigmoide.

Robustez estatística: Cada modelo foi avaliado em conjuntos de imagens idênticos com pré-processamento consistente para garantir uma comparação justa. As medições de latência foram calculadas como média de várias execuções para contabilizar a variação do sistema.

Controles experimentais e limitações

Controles implementados:

• Conjunto de teste de 500 imagens idêntico para todos os modelos
• Métricas e limiares de avaliação consistentes
• Tratamento de erros padronizado e procedimentos de timeout
• Rotação de múltiplas chaves de API para lidar com limites de taxa

Cite este benchmark

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Şipi, Nazlı},
  title  = {{Modelos de Linguagem de Visão Comparados ao Reconhecimento de Imagens}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/vision-language-models}},
  note   = {AIMultiple. Acessado em 30 Junho 2026}
}

Cem Dilmegani

Analista Principal

Siga-nos

Cem tem sido o analista principal do AIMultiple desde 2017. O AIMultiple informa centenas de milhares de empresas (de acordo com o similarWeb), incluindo 60% das empresas da Fortune 500 todos os meses. O trabalho de Cem foi citado por publicações globais de destaque, incluindo Business Insider, Forbes, Washington Post, empresas globais como Deloitte, HPE e ONGs como o Fórum Econômico Mundial e organizações supranacionais como a Comissão Europeia. Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor de tecnologia. Ele aconselhou empresas em suas decisões de tecnologia na McKinsey & Company e na Altman Solon por mais de uma década. Ele também publicou um relatório da McKinsey sobre digitalização. Ele liderou a estratégia de tecnologia e aquisições de uma empresa de telecomunicações, reportando-se ao CEO. Ele também liderou o crescimento comercial da empresa de tecnologia profunda Hypatos, que alcançou uma receita recorrente anual de 7 dígitos e uma avaliação de 9 dígitos partindo do zero em 2 anos. O trabalho de Cem na Hypatos foi coberto por publicações de tecnologia de destaque como TechCrunch e Business Insider. Cem fala regularmente em conferências internacionais de tecnologia. Ele se formou na Universidade Bogazici como engenheiro de computação e possui um MBA pela Columbia Business School.

Ver perfil completo

Pesquisado por

Nazlı Şipi

Pesquisadora de IA

Siga-nos

Nazlı é analista de dados na AIMultiple. Ela tem experiência anterior em análise de dados em diversos setores, onde trabalhou na transformação de conjuntos de dados complexos em insights acionáveis.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário