Comparar Modelos de Visão Grandes: GPT-4o vs YOLOv8n

Modelos de visão grandes (LVMs, na sigla em inglês) podem automatizar e melhorar tarefas visuais como deteção de defeitos, diagnóstico médico e monitorização ambiental.

Avaliámos três modelos de deteção de objetos: YOLOv8n, DETR e GPT-4o Vision, em 1000 imagens cada, medindo métricas como mAP@0.5, velocidade de inferência, FLOPs e número de parâmetros. Para garantir uma comparação justa, todas as imagens foram redimensionadas para 800×800 píxeis e avaliadas usando pré-processamento, limiares de confiança e critérios de correspondência baseados em IoU idênticos.

Benchmark de deteção de objetos: GPT-4o (Vision), YOLOv8n, DETR

mAP@0.5: Precisão Média no limiar de Interseção sobre a União (IoU) de 0.5, medindo a exatidão da deteção de objetos ao equilibrar verdadeiros positivos e falsos positivos.

Latência (ms): O tempo médio de processamento por imagem, medido em milissegundos, indica a velocidade do modelo.

Resultados do Benchmark

As capacidades de deteção de objetos do GPT-4o permanecem limitadas em comparação com modelos especializados como o YOLOv8n e o DETR.

Precisão:

• DETR: mAP@0.5 = 0.55
• YOLOv8n: 0.20
• GPT-4o: 0.02

Estes resultados indicam que o GPT-4o ainda não é adequado para tarefas práticas de deteção de objetos.

Latência:

• YOLOv8n: 365 ms
• DETR: 3145 ms
• GPT-4o: 5150 ms

O YOLOv8n oferece a inferência mais rápida, mas menor precisão, enquanto o DETR alcança melhor precisão à custa de um processamento mais lento.

Todos os modelos foram avaliados usando imagens de entrada 800×800 para consistência. As contagens de parâmetros e FLOPS estavam disponíveis para YOLOv8n e DETR, mas não para o GPT-4o, impedindo uma comparação completa da eficiência computacional.

Complexidade do Modelo:

• DETR: 41.52M parâmetros, 59.56 GFLOPS
• YOLOv8n: 3.15M parâmetros, 6.83 GFLOPS

Isto mostra a eficiência do YOLOv8n para aplicações em tempo real, enquanto o DETR troca velocidade por maior precisão e maior exigência computacional. A falta de detalhes arquiteturais para o GPT-4o limita uma análise de eficiência mais profunda.

Consulte a nossa metodologia do benchmark.

Possíveis razões por trás das diferenças de desempenho

Os três modelos mostraram diferentes níveis de precisão e velocidade porque são construídos para diferentes propósitos e processam informação visual de maneiras distintas. O GPT-4o é um modelo de linguagem grande multimodal que aceita tanto texto como imagens, enquanto o YOLOv8n e o DETR são sistemas de deteção de objetos que operam apenas em imagens.

O GPT-4o interpreta entradas visuais através de um pipeline de raciocínio orientado pela linguagem. Pode descrever cenas e identificar objetos, mas não é projetado para desenhar bounding boxes ou realizar localização espacial de alta precisão.

Os seus outputs dependem de raciocínio multimodal em vez de mecanismos específicos de deteção. Isto torna-o mais lento e menos preciso para tarefas de deteção.

O YOLOv8n e o DETR usam arquiteturas explicitamente criadas para deteção de objetos. Geram bounding boxes diretamente em vez de raciocinar sobre elas.

O YOLOv8n é otimizado para velocidade com uma estrutura leve, enquanto o DETR é um detetor baseado em transformer que processa imagens de forma diferente do YOLO e visa previsões mais precisas.

Ambos os modelos focam-se exclusivamente em entradas visuais e seguem objetivos de treino que mapeiam padrões de imagem para localizações de objetos.

As principais diferenças incluem:

• Tipo de entrada
  • GPT-4o: imagem e texto
  • YOLOv8n e DETR: apenas imagem
• Função primária
  • GPT-4o: compreensão e raciocínio multimodal
  • YOLOv8n e DETR: deteção de objetos
• Mecanismo de output
  • GPT-4o: não desenha bounding boxes inerentemente
  • YOLOv8n e DETR: preveem bounding boxes diretamente

Como o YOLOv8n e o DETR foram desenvolvidos exclusivamente para deteção de objetos, eles naturalmente têm melhor desempenho em benchmarks focados em precisão e latência.

O design multimodal amplo e não centrado em deteção do GPT-4o resulta em mAP mais baixo e tempos de inferência mais altos quando avaliado no mesmo cenário.

Avaliação detalhada de modelos de visão grandes

OpenAI GPT-4o (Vision)

O GPT-4o (Vision) é uma extensão multimodal do GPT-4 da OpenAI, projetada para processar e gerar respostas a partir de texto e imagens.

Esta capacidade permite que o GPT-4o interprete conteúdo visual juntamente com informação textual, permitindo uma gama de aplicações que requerem a compreensão e análise de imagens.

• Interpretação de imagem: O GPT-4o pode analisar e descrever o conteúdo de imagens, incluindo a identificação de objetos, interpretação de cenas e extração de informação textual de elementos visuais. Isto torna-o útil para tarefas como legendagem de imagens e sumarização de conteúdo.
• Análise de dados visuais: O modelo pode interpretar gráficos e diagramas, fornecendo insights e explicações com base em dados visuais. Esta funcionalidade é benéfica para aplicações de análise de dados e educação.
• Compreensão de conteúdo multimodal: O GPT-4o pode fornecer respostas mais abrangentes ao combinar entradas de texto e imagem. Também pode melhorar aplicações em análise de redes sociais e moderação de conteúdo. Por exemplo, pode avaliar sentimento ou detetar desinformação em publicações que incluem tanto texto como imagens.

Apesar das suas capacidades avançadas, o GPT-4o pode por vezes produzir outputs imprecisos ou não confiáveis. Pode interpretar mal elementos visuais, ignorar detalhes ou gerar informação incorreta, exigindo verificação humana para tarefas críticas.

O modelo também pode refletir vieses presentes nos seus dados de treino, levando a interpretações distorcidas ou reforçando estereótipos. Isto é uma preocupação em aplicações sensíveis onde a imparcialidade é crucial, incluindo inferência demográfica ou moderação de conteúdo.

OpenAI Sora

O Sora é um modelo de texto-para-vídeo criado pela OpenAI. Gera pequenos clipes de vídeo a partir de prompts do utilizador e também pode estender vídeos existentes. A sua tecnologia subjacente é uma adaptação do modelo DALL-E 3.

O Sora é um transformer de difusão, um modelo de difusão latente de remoção de ruído que usa um Transformer. Os vídeos são inicialmente gerados num espaço latente através da remoção de ruído de “patches” 3D e depois convertidos para o espaço padrão usando um descompressor de vídeo.

A re-legendagem é usada para melhorar o processo de treino, no qual um modelo de vídeo-para-texto gera legendas detalhadas para os vídeos.

Com os desenvolvimentos mais recentes, os utilizadores podem agora gerar vídeos com resolução até 1080p, com uma duração máxima de 20 segundos, e em formatos widescreen, vertical ou quadrado. Também podem incorporar os seus próprios ativos para estender, remisturar e combinar conteúdo existente ou criar novos vídeos a partir de prompts de texto.

Figura 1: Exemplo de geração de vídeo do Sora usando o prompt: “Uma tomada ampla e serena de uma família de mamutes lanosos num deserto aberto”.¹

Landing AI LandingLens

O LandingLens simplifica o desenvolvimento e a implementação de modelos de visão computacional. Atende a várias indústrias sem exigir conhecimentos profundos de IA ou programação complexa.

A plataforma padroniza soluções de aprendizagem profunda, reduzindo o tempo de desenvolvimento e permitindo o dimensionamento global fácil de projetos. Sem afetar a velocidade de produção, os utilizadores podem construir os seus próprios modelos de aprendizagem profunda e otimizar a precisão da inspeção.

Oferece uma interface de utilizador passo-a-passo que simplifica o processo de desenvolvimento.

Figura 2: O diagrama ilustra o fluxo de trabalho de IA do LandingLens, onde imagens de entrada são processadas em dados, usadas para treinar modelos, implementadas via cloud, edge ou Docker e continuamente melhoradas através de feedback.²

Stable Diffusion

O Stable Diffusion é um modelo de aprendizagem profunda projetado para criar imagens de alta qualidade a partir de descrições textuais:

• O Stable Diffusion é baseado em difusão. O processo começa por adicionar ruído aleatório a uma imagem, e o modelo aprende depois a reconstruir a original, revertendo este ruído.
• Este processo permite que o modelo gere imagens totalmente novas, refinando a entrada ruidosa ao longo de vários passos até que uma imagem clara e coerente surja.

O Stable Diffusion utiliza um modelo de difusão latente para melhorar a eficiência. Em vez de trabalhar diretamente com imagens de alta resolução, comprime-as primeiro num espaço latente de menor dimensão usando um autoencoder variacional (VAE).

Esta abordagem reduz significativamente as exigências computacionais, permitindo a execução em hardware de consumo com GPUs.

Aplicações:

Além de gerar imagens a partir de texto, o Stable Diffusion pode ser usado para várias tarefas criativas, tais como:

• Inpainting: Restaurar ou preencher partes em falta de uma imagem.
• Outpainting: Expandir as bordas de uma imagem para adicionar mais conteúdo.
• Tradução Imagem-para-Imagem: Converter uma imagem existente para um estilo diferente ou modificar a sua aparência com base numa entrada de texto.

Midjourney

O Midjourney é um gerador de arte que converte descrições de texto em imagens de alta qualidade.

Capacidades

O Midjourney Versão 7 apresenta uma arquitetura completamente reconstruída com melhorias significativas em qualidade e funcionalidade.

Geração de imagem: O V7 produz imagens ampliadas a 2048 x 2048 píxeis com precisão de prompt excecional e qualidade quase fotográfica. As principais melhorias incluem texturas mais ricas, renderização precisa de elementos complexos como mãos e rostos, e compreensão sofisticada de iluminação e composição.

Geração de vídeo: Cria clipes de vídeo de 5 a 21 segundos com alta consistência entre frames. O sistema gera aproximadamente 60 segundos de vídeo a partir de seis imagens em cerca de três horas, visando aplicações profissionais em marketing, produção cinematográfica e criação de conteúdo.

Capacidades 3D: A geração de texto-para-3D usando modelação do tipo NeRF cria objetos volumétricos e cenas imersivas. Estas funcionalidades suportam o desenvolvimento de jogos, visualização de produtos e aplicações arquiteturais.

Figura 3: Funcionalidade de edição de imagem do Midjourney.³

DeepMind Flamingo

O Flamingo da DeepMind é um modelo de visão-linguagem projetado para compreender e raciocinar sobre imagens e vídeos usando exemplos de treino mínimos (aprendizagem com poucos exemplos). Aqui estão algumas das principais características:

• Aprendizagem multimodal com poucos exemplos: O Flamingo pode realizar novas tarefas eficientemente com apenas alguns exemplos, ao contrário dos modelos de IA tradicionais que requerem extensos datasets rotulados.
• Mecanismo Perceiver Resampler: O Flamingo usa um “Perceiver Resampler” para processar entradas visuais eficientemente. Comprime dados de imagem e vídeo num formato que pode ser integrado num grande modelo de linguagem pré-treinado.
• Alinhamento Visão-Linguagem com Camadas de Atenção Cruzada Controlada: Camadas especiais de Atenção Cruzada Controlada ajudam o Flamingo a alinhar e integrar dados visuais com raciocínio textual. Esta aplicação pode ser importante para compreender conversas baseadas em imagens.

O Flamingo usa processamento frame a frame, dividindo vídeos em frames-chave e extraindo informação para analisar elementos visuais de forma eficiente.

As suas respostas sensíveis ao contexto ajudam a gerar legendas, descrições e respostas com base na progressão de eventos dentro de um vídeo para garantir uma compreensão coerente do conteúdo.

Além disso, o Flamingo exibe raciocínio temporal para compreender sequências, relações de causa e efeito e interações complexas ao longo do tempo. Isto torna-o altamente eficaz para análise de vídeo e tarefas de raciocínio multimodal.

OpenAI’s CLIP (Contrastive Language–Image Pretraining)

O CLIP é uma rede neural treinada numa variedade de imagens e legendas de texto.

Este modelo pode realizar várias tarefas de visão, incluindo classificação zero-shot, ao compreender imagens no contexto da linguagem natural.

O CLIP é treinado em 400 milhões de pares (imagem, texto) para efetivamente colmatar a lacuna entre tarefas de visão computacional e processamento de linguagem natural. Isto ajuda o CLIP a fazer previsões de legendas ou sumários de imagem sem ser explicitamente treinado para estas tarefas específicas.

Figura 4: Identificação de imagem pelo CLIP de vários datasets.⁴

Google’s Vision Transformer (ViT)

O Vision Transformer aplica a arquitetura transformer originalmente usada em processamento de linguagem natural a tarefas de reconhecimento de imagem.

Processa imagens de maneira semelhante a como os transformers processam sequências de palavras e tem mostrado eficácia na aprendizagem de características relevantes de dados de imagem para tarefas de classificação e análise.

No Vision Transformer, as imagens são tratadas como uma sequência de patches. Cada patch é achatado num único vetor, semelhante a como as word embeddings são usadas em transformers para texto.

Esta abordagem permite que o ViT aprenda a estrutura da imagem e preveja rótulos de classe de forma independente.

Modelos de fundação nativos de vídeo

Os modelos de fundação nativos de vídeo representam uma mudança fundamental em relação às abordagens tradicionais de visão computacional. Ao contrário dos sistemas anteriores que processavam vídeos como sequências de frames independentes, estes modelos tratam o tempo como uma dimensão integral dos dados visuais.

Principais inovações arquiteturais

O Sora da OpenAI exemplifica esta evolução através da sua arquitetura de transformer de difusão:

• Patches espaciotemporais 3D: Processa dados de vídeo de forma holística em vez de frame a frame
• Consistência temporal: Mantém a qualidade visual e a coerência narrativa ao longo das sequências
• Dependências de longo alcance: Captura relações de causa e efeito e padrões de movimento
• Geração consciente da física: Compreende movimentos realistas e interações de objetos

Aplicações atuais

Criação de conteúdo:

• Edição de vídeo e síntese de cena automatizadas
• Transferência de estilo com consistência temporal
• Geração de vídeo narrativo a partir de prompts de texto

Imagiologia médica:

• Análise de movimento cardíaco em ecocardiogramas
• Visualização do fluxo sanguíneo em angiografia
• Avaliação dinâmica do comportamento dos tecidos

Segurança e vigilância:

• Reconhecimento e rastreamento de atividades
• Deteção de Anomaly ao longo do tempo
• Análise de comportamento sensível ao contexto

Desafios restantes

Apesar do progresso, várias limitações persistem:

• Custo computacional: A geração de vídeo de longa duração permanece intensiva em recursos
• Plausibilidade física: Cenários complexos podem produzir física irrealista
• Consistência de personagem: Manter a identidade ao longo de sequências extensas é difícil
• Requisitos de treino: Datasets de vídeo em grande escala com anotações são escassos e caros

Inferência no dispositivo e otimização na borda

A implementação na borda permite que modelos de visão sejam executados localmente em smartphones, dispositivos IoT e sistemas embarcados, eliminando a dependência da infraestrutura de cloud.

Por que a implementação na borda é importante

Benefícios de privacidade:

• Dados visuais sensíveis nunca saem do dispositivo
• Crítico para cuidados de saúde, vigilância e aplicações pessoais
• Conformidade com regulamentos de proteção de dados

Vantagens de desempenho:

• Latência quase zero sem viagens de ida e volta na rede
• Processamento em tempo real para RA e sistemas autónomos
• Operação confiável em ambientes offline

Eficiência de custos:

• Consumo de largura de banda reduzido
• Custos de computação em cloud mais baixos
• Custos operacionais contínuos mínimos

Técnicas de compressão de modelos

Tornar os modelos de visão grandes viáveis em dispositivos de borda requer otimização sofisticada:

• Quantização: Reduz a precisão de inteiros de 32 bits para 8 bits ou 4 bits
  • Tamanho do modelo menor
  • Perda de precisão mínima
• Poda: Remove parâmetros e conexões redundantes
  • Cria redes esparsas
  • Mantém o desempenho com menos computações
• Destilação de conhecimento: Transfere conhecimento de modelos grandes para pequenos

O que é um modelo de visão grande (LVM)?

Os modelos de visão grandes (LVMs) são projetados para processar, analisar e interpretar dados visuais, como imagens ou vídeos. Caracterizam-se pelo seu extenso número de parâmetros, frequentemente na ordem dos milhões ou milhares de milhões. Isto permite-lhes aprender padrões, características e relações intrincadas em conteúdo visual.

Tal como os modelos de linguagem grandes (LLMs) para texto, os LVMs são treinados em vastos datasets, o que lhes confere capacidades de reconhecimento de objetos, geração de imagem, compreensão de cena e raciocínio multimodal (integrando informação visual e textual).

Estes modelos podem suportar aplicações em áreas como condução autónoma, imagiologia médica, criação de conteúdo e realidade aumentada.

Estrutura e design

Os modelos de visão grandes são construídos usando arquiteturas avançadas de redes neuronais. Originalmente, as Redes Neuronais Convolucionais (CNNs) eram predominantes no processamento de imagem devido à sua capacidade de lidar eficientemente com dados de píxeis e detetar padrões hierárquicos.

Recentemente, os modelos transformer, que foram inicialmente projetados para processamento de linguagem natural, também foram adaptados para muitas tarefas de visão diferentes, oferecendo desempenho melhorado em alguns cenários.

Treino

Treinar modelos de visão grandes envolve alimentá-los com dados visuais, como imagens ou vídeos da internet, juntamente com rótulos ou anotações relevantes na nova abordagem de modelação sequencial. Os treinadores rotulam bibliotecas de imagens para alimentar os modelos.

Por exemplo, em tarefas de classificação de imagem, cada imagem é rotulada com a classe a que pertence. O modelo aprende ajustando os seus parâmetros para minimizar a diferença entre as suas previsões e os rótulos reais.

Este processo requer poder computacional significativo e um dataset grande e diversificado para garantir que o modelo possa generalizar bem para dados novos e não vistos.

Figura 3: Diagrama de treino de modelos de visão grandes na OpenAI.⁵

Confira os serviços de recolha de dados de imagem para saber mais sobre dados de treino para classificação de imagem.

Não perca os nossos benchmarks e insights baseados em dados. O botão abre o Google; selecionar a AIMultiple confirma que deseja ver a AIMultiple com mais frequência nos resultados de pesquisa do Google.

Adicionar como fonte preferencial

Características principais dos modelos de visão grandes

Model Type refere-se à arquitetura e princípios de design de um modelo de visão. Define como o modelo processa e interpreta dados visuais, se integra múltiplas modalidades (ex.: texto e imagens) e que mecanismos subjacentes (ex.: transformers, aprendizagem contrastiva, difusão) emprega para extrair representações significativas:

• LLM Multimodal Baseado em Transformer: Uma arquitetura de modelo que combina transformers com capacidades multimodais. Permite o processo de compreender entradas visuais e textuais simultaneamente. É treinado usando datasets em grande escala para realizar raciocínio complexo em vários tipos de dados.
• Aprendizagem Contrastiva: Uma técnica usada no treino de modelos para diferenciar entre pontos de dados semelhantes e dissimilares. Este processo envolve maximizar a similaridade de entradas relacionadas enquanto minimiza a similaridade de entradas não relacionadas. Isto é frequentemente usado em aprendizagem auto-supervisionada para melhorar a representação de características.
• Plataforma de Visão de IA: Este sistema fornece infraestrutura, ferramentas e modelos pré-treinados para várias tarefas de visão computacional, como reconhecimento de imagem, deteção de objetos e segmentação. Tipicamente inclui capacidades de treino, implementação e inferência de modelos.
• Transformer: Uma arquitetura de aprendizagem profunda que utiliza mecanismos de auto-atenção para processar dados de entrada. Permite que os modelos capturem dependências de longo alcance, tornando-a eficaz para tarefas de linguagem natural e relacionadas com visão.
• Modelo de Difusão: Um modelo generativo que remove gradualmente o ruído de uma entrada ruidosa inicial e a refina passo a passo para produzir um output claro e estruturado. É comumente usado para geração de imagem e aprimoramento.

Objetivo de treino: O objetivo ou função de otimização que guia como um modelo aprende a partir dos dados. Determina como o modelo ajusta os seus parâmetros internos durante o treino para melhorar o desempenho em tarefas específicas. Estes são prever o próximo ponto de dados (autoregressivo), distinguir entradas semelhantes/dissimilares (aprendizagem contrastiva) ou classificar imagens em categorias:

• Autoregressivo: Uma abordagem de treino onde um modelo prevê o próximo ponto de dados numa sequência com base em entradas previamente observadas. Isto é frequentemente usado em modelação de linguagem e modelos de visão generativos.
• Aprendizagem Contrastiva: Um objetivo de aprendizagem auto-supervisionada onde o modelo aprende distinguindo entre pares de dados semelhantes e dissimilares. Ajuda a melhorar a capacidade de capturar representações significativas sem rótulos explícitos.
• Aprendizagem Supervisionada: Um paradigma de aprendizagem onde o modelo é treinado usando dados rotulados, o que significa que cada entrada está associada a um output correto correspondente. Esta abordagem é amplamente usada em tarefas como classificação e segmentação.
• Classificação de Imagem: Um objetivo de treino específico onde um modelo aprende a categorizar imagens em classes predefinidas com base em características visuais. O processo de treino envolve a otimização de uma função de perda para maximizar a precisão da classificação.
• Difusão com Remoção de Ruído: Uma abordagem de aprendizagem generativa onde um modelo é treinado para recuperar imagens limpas a partir de entradas ruidosas. Este processo envolve reverter um processo de adição progressiva de ruído para melhorar a reconstrução e geração de imagem.

Suporte a Fine-tuning: A capacidade de um modelo ser adaptado a tarefas específicas através de treino em datasets menores e específicos do domínio, retendo o conhecimento da sua fase de pré-treino.

O fine-tuning ajuda a melhorar o desempenho em aplicações especializadas.

Aprendizagem Zero-shot/Few-shot: A capacidade de um modelo realizar tarefas com poucos ou nenhuns dados de treino específicos da tarefa.

A aprendizagem zero-shot permite a inferência em categorias não vistas, enquanto a aprendizagem com poucos exemplos (few-shot) permite a adaptação com exemplos rotulados mínimos.

Suporte Multimodal: A capacidade de um modelo processar e integrar informação de múltiplas modalidades (ex.: texto, imagens, áudio).

Open-source vs. Proprietário: Modelos open-source têm código e pesos publicamente disponíveis, permitindo modificação e implementação pela comunidade.

Modelos proprietários são propriedade e controlados por entidades privadas, podendo limitar o acesso e a personalização.

Implementação na Borda: A capacidade de um modelo ser executado em dispositivos de borda (ex.: telemóveis, dispositivos IoT) em vez de depender de servidores baseados em cloud.

A implementação na borda ajuda a reduzir a latência, melhora a privacidade e permite o processamento em tempo real em ambientes com recursos limitados.

Quais são os casos de uso dos modelos de visão grandes?

Saúde e imagiologia médica

• Diagnóstico de doenças: Detetar doenças a partir de imagiologia médica, como raios-X, ressonâncias magnéticas ou tomografias computorizadas, para identificar tumores, fraturas ou anomalias.
• Patologia: Analisar amostras de tecido em patologia para detetar sinais de cancro.
• Oftalmologia: Diagnosticar doenças a partir de imagens da retina.

Veículos autónomos e robótica

• Navegação e deteção de obstáculos: Ajudar veículos autónomos e drones a navegar e evitar obstáculos interpretando dados visuais em tempo real.
• Robótica no fabrico: Ajudar robôs em tarefas de triagem, montagem e inspeção de qualidade.

Segurança e vigilância

• Monitorização de atividade: Analisar feeds de vídeo para detetar comportamento incomum ou suspeito.
• Reconhecimento facial: Usado em sistemas de segurança para verificação de identidade e rastreamento. Por exemplo, o Amazon Rekognition é um serviço baseado em cloud oferecido pela Amazon Web Services (AWS) que fornece funcionalidades de análise de imagem e vídeo, como deteção e reconhecimento facial, identificação de objetos e cenas e extração de texto. Pode analisar emoções, faixas etárias e atividades, o que seria útil para personalização e segurança.

Veja o vídeo abaixo para ver o Amazon Rekognition em ação.⁶

Retalho e eCommerce

• Pesquisa visual: Permitir que os clientes pesquisem produtos usando imagens em vez de texto.
• Gestão de inventário: Automatizar a monitorização e gestão de inventário através de reconhecimento visual.

Agricultura

• Monitorização e análise de culturas: Monitorizar a saúde e o crescimento das culturas usando imagens de drones ou satélites.
• Deteção de pragas: Identificar pragas e doenças que afetam as culturas.

Monitorização ambiental

• Rastreamento de vida selvagem: Identificar e rastrear a vida selvagem para apoiar os esforços de conservação.
• Análise de uso e cobertura do solo: Monitorizar as mudanças no uso do solo e na cobertura vegetal ao longo do tempo.

Criação de conteúdo e entretenimento

• Edição de filme e vídeo: Automatizar processos de edição de vídeo e pós-produção.
• Desenvolvimento de jogos: Melhorar a criação realista de ambientes e personagens.
• Aprimoramento de foto e vídeo: Melhorar a qualidade de imagens e vídeos.
• Moderação de conteúdo: Detetar e sinalizar automaticamente conteúdo visual inadequado ou prejudicial.

Quais são os desafios dos modelos de visão grandes?

Recursos computacionais

Treinar e implementar estes modelos requer poder computacional e memória significativos, o que pode torná-los intensivos em recursos.

Requisitos de dados

Eles precisam de datasets vastos e diversificados para treino. Recolher, rotular e processar datasets tão grandes pode ser desafiante e caro. No entanto, empresas de crowdsourcing podem ajudar a lidar com isto.

Viés e justiça

Os modelos podem herdar vieses presentes nos seus dados de treino, levando a resultados injustos ou antiéticos, particularmente em aplicações sensíveis como reconhecimento facial.

Interpretabilidade e explicabilidade

Compreender como estes modelos tomam decisões pode ser difícil, o que preocupa em aplicações onde a transparência é crítica. Confira IA explicável para aprender como este processo funciona e como serve a ética da IA.

Generalização

Embora tenham um bom desempenho em dados semelhantes ao seu conjunto de treino, podem ter dificuldades com tipos de dados completamente novos ou diferentes.

Preocupações de privacidade

Usar grandes modelos visuais, especialmente em vigilância e reconhecimento facial, levanta preocupações significativas de privacidade.

Desafios regulatórios e éticos

Garantir que estes modelos cumpram os padrões legais e éticos é cada vez mais importante, particularmente à medida que se tornam mais integrados na sociedade.

Metodologia do benchmark de deteção de objetos

Neste benchmark, os desempenhos dos modelos de deteção de objetos YOLOv8n, DETR (DEtection TRansformer) e GPT-4o Vision foram comparados no dataset de validação COCO 2017. Foram usadas 1000 imagens por modelo para a comparação. Todas as imagens foram redimensionadas para 800×800 píxeis para garantir dimensões de entrada consistentes em todos os modelos.

O modelo YOLOv8n foi carregado com pesos pré-treinados (yolov8n.pt) do repositório Ultralytics e a inferência foi realizada usando o método predict() através da API YOLO da Ultralytics. O modelo DETR foi carregado com a arquitetura detr_resnet50 da biblioteca Facebook Research, e os seus outputs, originalmente normalizados no formato [center_x, center_y, width, height], foram reescalonados e convertidos para o formato de coordenadas [x1, y1, x2, y2]. Um limiar de confiança de 0.5 foi aplicado aos resultados de ambos os modelos.

O modelo GPT-4o Vision foi avaliado usando a API da OpenAI para capacidades de deteção de objetos. Para este modelo, as imagens do dataset de validação COCO foram descarregadas, as anotações foram carregadas e cada imagem foi convertida para o formato apropriado (redimensionada para 800×800 píxeis) antes de ser enviada para a API. Apenas as deteções pertencentes às classes COCO foram solicitadas em formato JSON, e as previsões retornadas pela API foram avaliadas usando o mesmo limiar de confiança (0.5) e formato de coordenadas.

Na avaliação, as bounding boxes previstas pelos modelos foram comparadas com as caixas de verdade fundamental calculando a Interseção sobre a União (IoU), com IoU ≥ 0.5 considerado uma correspondência de verdadeiro positivo. A Precisão Média (AP) foi calculada para cada classe, e a média de todas as classes foi reportada como a métrica mAP@0.5. Além da precisão, os tempos de inferência foram medidos e comparados. Adicionalmente, a complexidade do modelo foi analisada com base em FLOPs e contagens totais de parâmetros.

Para garantir uma comparação justa, todas as inferências dos modelos foram realizadas no mesmo hardware (GPU/CPU idêntico). Os mesmos passos de pré-processamento, redimensionamento de todas as imagens para 800×800 píxeis e aplicação da normalização necessária, foram aplicados em todos os modelos. Para o pós-processamento, as previsões foram convertidas para o mesmo formato de coordenadas, um limiar de confiança de 0.5 foi consistentemente aplicado e critérios de cálculo de IoU uniformes foram adotados durante a avaliação.

Dentro desta estrutura, os modelos YOLOv8n, DETR e GPT-4o Vision foram comparados em termos de desempenho de deteção de objetos e velocidade; ajustes e métodos adicionais foram empregados para avaliar as capacidades do GPT-4o Vision em relação aos modelos atuais de deteção de objetos.

Cite este benchmark

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Ermut, Sıla},
  title  = {{Comparar Modelos de Visão Grandes: GPT-4o vs YOLOv8n}},
  year   = {2026},
  month  = apr,
  howpublished    = {\url{https://aimultiple.com/large-vision-models}},
  note   = {AIMultiple. Acessado em 24 Abril 2026}
}

Links de referência

1.

Sora is here | OpenAI

2.

LandingLens: Deep-Learning Computer Vision Software Platform - LandingAI

LandingAI

3.

How to use Midjourney | Zapier

Zapier

4.

CLIP: Connecting text and images | OpenAI

5.

CLIP: Connecting text and images | OpenAI

6.

Image recognition software, ML image analysis, and video analysis – Amazon Rekognition – AWS

Cem Dilmegani

Analista Principal

Siga-nos

Cem é o analista principal da AIMultiple desde 2017. A AIMultiple fornece informações para centenas de milhares de empresas (segundo o SimilarWeb), incluindo 55% das empresas da Fortune 500, todos os meses. O trabalho de Cem foi citado por importantes publicações globais, como Business Insider, Forbes e Washington Post, além de empresas globais como Deloitte e HPE, ONGs como o Fórum Econômico Mundial e organizações supranacionais como a Comissão Europeia. Você pode ver mais empresas e recursos renomados que mencionaram a AIMultiple. Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor na área. Ele assessorou empresas em suas decisões tecnológicas na McKinsey & Company e na Altman Solon por mais de uma década. Também publicou um relatório da McKinsey sobre digitalização. Liderou a estratégia de tecnologia e a área de compras de uma empresa de telecomunicações, reportando-se diretamente ao CEO. Além disso, liderou o crescimento comercial da empresa de tecnologia avançada Hypatos, que atingiu uma receita recorrente anual de sete dígitos e uma avaliação de nove dígitos, partindo de zero, em apenas dois anos. O trabalho de Cem no Hypatos foi noticiado por importantes publicações de tecnologia, como TechCrunch e Business Insider. Cem participa regularmente como palestrante em conferências internacionais de tecnologia. Ele se formou em engenharia da computação pela Universidade Bogazici e possui um MBA pela Columbia Business School.

Ver perfil completo

Pesquisado por

Sıla Ermut

Analista do setor

Siga-nos

Sıla Ermut é analista de mercado na AIMultiple, com foco em marketing por e-mail e vídeos de vendas. Anteriormente, trabalhou como recrutadora em empresas de gestão de projetos e consultoria. Sıla possui mestrado em Psicologia Social e bacharelado em Relações Internacionais.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário