Modelos de Embedding Multimodal: Apple vs Meta vs OpenAI

Modelos de embedding multimodal se destacam na identificação de objetos, mas têm dificuldade com relações. Os modelos atuais têm dificuldade para distinguir “telefone em cima de um mapa” de “mapa em cima de um telefone”. Fizemos benchmark de 7 modelos líderes nos conjuntos MS-COCO e Winoground para medir essa limitação específica.

Para garantir uma comparação justa, avaliamos cada modelo em condições idênticas usando hardware NVIDIA A40 e precisão bfloat16. Essa configuração determinística revela quais modelos realmente entendem a estrutura da cena e quais são apenas sofisticados correspondentes de palavras-chave.

Resultados do benchmark de modelos de embedding multimodal

Métricas explicadas

• T2I R@1 (recall@1 de texto para imagem): Dada uma legenda, o modelo consegue classificar a imagem correta como número um entre 5.000 candidatas? Essa é a métrica de recuperação mais difícil, pois não há crédito parcial para o segundo lugar.
• I2T R@1 (recall@1 de imagem para texto): Dada uma imagem, o modelo consegue classificar qualquer uma das cinco legendas de referência como número um entre 25.000? As pontuações são cerca de 20 pontos percentuais maiores que T2I porque há cinco respostas válidas em vez de uma.
• Imagem Winoground: Dadas duas imagens e duas legendas que diferem apenas na estrutura (“telefone em cima de um mapa” versus “mapa em cima de um telefone”), o modelo consegue associar corretamente os dois pares? A chance aleatória é de 25 por cento.

Principais descobertas

• Apple DFN5B-H alcança a maior acurácia de recuperação (50.1 por cento em T2I R@1) e a maior pontuação de raciocínio composicional (35.2 por cento no Winoground).
• O raciocínio composicional continua fraco em todos os modelos. Mesmo o desempenho da Apple, de 35.2 por cento, mal ultrapassa a linha de base aleatória de 25 por cento.
• OpenAI CLIP mostra sua idade, ficando atrás dos modelos modernos por 10 a 16 pontos percentuais, apesar de ter uma arquitetura semelhante.

Nota: As pontuações I2T são aproximadamente 20 pontos percentuais maiores que T2I devido a um artefato de protocolo. Cada imagem tem cinco legendas válidas, enquanto cada legenda mapeia para apenas uma imagem válida. Consulte a seção metodologia do benchmark de embedding multimodal para obter detalhes.

Como funcionam os modelos de embedding multimodal

Antes de mergulhar nos detalhes do benchmark, é essencial entender o que esses modelos realmente fazem e onde eles falham.

O mecanismo central

Um modelo de embedding multimodal converte imagens e texto em vetores numéricos, que são listas de números que ocupam o mesmo espaço geométrico. Conceitos semelhantes se agrupam, enquanto conceitos diferentes ficam mais distantes.

Para pesquisar, você calcula qual vetor de imagem está mais próximo do seu vetor de texto. É por isso que a busca baseada em embedding é rápida: você está comparando números, não “entendendo” o significado em um sentido humano.

Onde ele falha

Veja o que acontece com legendas composicionalmente diferentes:

Os vetores são quase idênticos. Ambas as legendas contêm os mesmos conceitos: {telefone, mapa, em cima}. O modelo codifica o que está presente, mas perde como as coisas se relacionam.

Este é o problema da sacola de palavras. O modelo vê os mesmos “ingredientes” e produz embeddings semelhantes, mesmo que as cenas sejam completamente diferentes. Em uma, o telefone está em cima. Na outra, o mapa está. A estrutura relacional desaparece durante a codificação.

Tarefas de avaliação: Recuperação vs raciocínio

MS-COCO: Encontrar uma agulha em um palheiro

A configuração:
Uma galeria de 5.000 imagens contém agrupamentos de conteúdo semelhante, incluindo centenas de cenas ao ar livre, dezenas de veículos e inúmeras áreas e estruturas de armazenamento. Cada imagem tem cinco legendas diferentes escritas por anotadores diferentes, totalizando 25.000 legendas.

A consulta: “Uma motocicleta estacionada sob uma estrutura de madeira com outros itens.”

A imagem:

A mesma imagem também pode ser descrita como:

• “Motocicleta preta embaixo de uma cobertura ao ar livre.”
• “Motocicleta estacionada sob área coberta em pátio cercado.”

Cada legenda é testada separadamente, e o modelo deve encontrar a imagem correta independentemente de como ela é formulada.

A tarefa:
Encontrar a única imagem específica que corresponda. Não uma motocicleta qualquer, não uma estrutura de madeira qualquer, mas esta cena exata entre 5.000 candidatas.

A métrica: Recall@1
Binária e implacável. Imagem correta classificada em #1 = Acerto. Classificada em #2 = Erro. Sem crédito parcial.

Winoground: Entendendo quem fez o quê com quem

A configuração:
400 pares adversariais. Cada um contém 2 imagens e 2 legendas que diferem apenas na estrutura composicional.

A consulta:

• Legenda A: “há um telefone em cima de um mapa”
• Legenda B: “há um mapa em cima de um telefone“
  

Ambas as legendas contêm exatamente os mesmos conceitos: {telefone, mapa, em cima}. A única diferença é qual objeto está em cima de qual.

A imagem:

A tarefa:
Associe ambas as legendas às imagens corretas simultaneamente. A legenda A deve corresponder à imagem A (telefone apoiado no mapa), e a legenda B deve corresponder à imagem B (mapa exibido no telefone). Sem crédito parcial: acertar apenas uma conta como falha.

A métrica: Image Score
Binária e implacável. Ambos os pares associados corretamente = Acerto. Um ou zero corretos = Erro. A chance aleatória é de 25%.

Mais exemplos do Winoground:

Por que os modelos falham na composição

As baixas pontuações do Winoground (30-40% vs. 25% de linha de base aleatória) indicam que os modelos atuais têm dificuldade com esse tipo específico de raciocínio composicional. No entanto, várias ressalvas se aplicam:

• Tamanho de amostra pequeno: O Winoground contém apenas 400 exemplos, gerando intervalos de confiança de aproximadamente ±5 pontos percentuais. Isso o torna útil como indicador, mas não como prova definitiva das capacidades composicionais.
• Escopo de tarefa específico, mas diverso: O Winoground testa vários tipos de raciocínio composicional, incluindo relações espaciais (em cima/acima/abaixo), trocas agente-paciente (quem faz o quê com quem), ligação de atributos (atribuições de cor/tamanho), quantificadores (mais/menos, contagem), coordenação de ações (senta/fica de pé), ordenação temporal (antes/depois), negação (com/sem) e ambiguidade de escopo. Essa diversidade torna o Winoground uma sonda eficaz da compreensão composicional em vários fenômenos linguísticos.

Análise técnica & recomendações de implantação

Qualidade dos dados supera a escala do modelo

Apple, LAION e MetaCLIP usam o mesmo backbone ViT-H/14 (630M parâmetros).

A vantagem da Apple de +3.8pp parece derivar principalmente de sua abordagem de Data Filtering Network (DFN).

• Curadoria automatizada: Em vez de usar apenas legendas sintéticas, a Apple treinou um modelo professor para filtrar agressivamente os dados de treinamento. O modelo aprendeu a identificar e descartar pares imagem-texto ruidosos do enorme conjunto da web.
  
• A implicação: Na fronteira, as melhorias vêm da qualidade da curadoria (escolher os dados certos) em vez de apenas síntese ou escala bruta.

A implicação: na fronteira, as melhorias vêm de dados melhores, não de arquiteturas maiores.

Entendendo o nível de desempenho de 50%

O MS-COCO foi projetado com imagens distintas e curadas, onde cada legenda descreve uma cena específica. Embora existam pequenas ambiguidades (por exemplo, duas cenas semelhantes de estacionamento), os criadores do dataset selecionaram intencionalmente imagens visualmente distinguíveis.

A acurácia de 50% reflete modelos que genuinamente falham em classificar a imagem correta em primeiro lugar, não uma penalização injusta por selecionar alternativas igualmente válidas.

Por que o OpenAI CLIP fica atrás por 10-16pp

O CLIP-L da OpenAI (2021) pontua 34.4% em T2I R@1, enquanto modelos modernos com arquiteturas ViT semelhantes alcançam 44-50%. Essa lacuna de 10-16 pontos percentuais reflete três anos de progresso:

Embora os princípios arquitetônicos centrais tenham permanecido semelhantes (vision transformers com aprendizado contrastivo), os modelos modernos dobraram de tamanho. No entanto, a maior parte dos ganhos de desempenho veio de melhorias na curadoria de dados e nas técnicas de treinamento, e não apenas da inovação arquitetônica.

ColPali: Trocando Velocidade por Flexibilidade Arquitetônica

O ColPali representa uma abordagem arquitetônica diferente: em vez de codificar cada imagem em um único vetor, ele produz 1.030 embeddings de patch usando interação tardia. Essa escolha de design cria várias compensações:

Vantagens:

• Recuperação mais simétrica: O ColPali apresenta uma lacuna de apenas 3.9pp entre I2T (48.8%) e T2I (44.9%), em comparação com lacunas de 16-24pp em modelos densos. Isso sugere que ele codifica a estrutura da imagem de forma mais uniforme.
• Flexibilidade arquitetônica: A interação tardia permite correspondência refinada entre tokens de texto e patches de imagem, o que pode beneficiar domínios especializados.

Desvantagens:

• Sobrecarga de armazenamento: Cada imagem requer 1.030 vetores em vez de 1, aumentando o tamanho do índice em ~1000×.
• Desempenho geral inferior: O ColPali ocupa a 4 posição em nosso benchmark (44.9% T2I), ficando atrás dos melhores modelos densos por 5.2pp (vs. Apple DFN5B-H com 50.1%).

Custo computacional: Requer tamanhos de lote 4× menores (4 vs. 32) devido à sobrecarga de memória de 1.030 embeddings por imagem. Isso se traduz em indexação mais lenta e custos de servir mais altos em escala.

Qual modelo você deve usar?

Metodologia do benchmark de embedding multimodal

Hardware & software

• GPU: NVIDIA A40 (48GB VRAM) via RunPod
• Precisão: bfloat16
• Framework: PyTorch 2.4.0, CUDA 12.1
• Bibliotecas: transformers==4.44.0, datasets==2.20.0

Modelos avaliados

Utilizamos os seguintes pesos de modelo específicos do Hugging Face Hub. Todos os modelos foram carregados em precisão bfloat16 diretamente desses repositórios, sem modificação.

Protocolo de inferência

Os modelos densos (CLIP/SigLIP) foram avaliados com tamanho de lote 32, pois um único vetor por imagem permite alto paralelismo. O ColPali usou tamanho de lote 4, porque seus 1.030 embeddings de patch por imagem exigem significativamente mais memória.

Protocolo de avaliação

• Zero-Shot: Modelos avaliados prontos para uso usando pesos do Hugging Face. Sem fine-tuning.
• Determinístico: Semente aleatória fixada em 42. Mesma ordem de dataset para todos os modelos.
• Divisões padrão: teste yerevann/coco-karpathy (5.000 imagens), validação facebook/winoground.

A lacuna I2T vs. T2I

As pontuações I2T são consistentemente ~20pp maiores que T2I devido à probabilidade estatística, não a erro do modelo.

• T2I (texto para imagem): O modelo deve encontrar 1 imagem específica entre 5.000. (Conjunto alvo = 1).
• I2T (imagem para texto): O modelo pode corresponder a qualquer uma das 5 legendas válidas associadas a essa imagem. (Conjunto alvo = 5).

Como a tarefa I2T oferece cinco respostas “corretas” distintas para cada consulta, a taxa de sucesso é naturalmente inflacionada em comparação com o mapeamento estrito um-para-um exigido na T2I.

Não perca os nossos benchmarks e insights baseados em dados. O botão abre o Google; selecionar a AIMultiple confirma que deseja ver a AIMultiple com mais frequência nos resultados de pesquisa do Google.

Adicionar como fonte preferencial

Limitações

Tamanho da amostra do Winoground

400 amostras geram intervalos de confiança de ~±5pp a 35% de acurácia. Os resultados são indicativos, não definitivos. Benchmarks maiores (ARO, SugarCrepe) existem, mas exigem infraestrutura diferente.

Apenas Zero-Shot

Sem fine-tuning de domínio. Aplicações médicas, jurídicas ou de satélite podem ter melhorias de 5-10pp com treinamento específico de domínio.

Limitações do dataset: 

MS-COCO e Winoground testam aspectos específicos da compreensão multimodal. O desempenho nesses benchmarks não garante resultados semelhantes em tarefas específicas de domínio ou em outros testes de raciocínio composicional.

Leitura adicional

Explore outros benchmarks de RAG, como:

• Modelos de Embedding: OpenAI vs Gemini vs Cohere
• Melhor banco de dados vetorial para RAG: Qdrant vs Weaviate vs Pinecone
• Benchmark de RAG agêntico: roteamento entre múltiplos bancos de dados e geração de consultas
• 11 Modelos de Embedding de Código Aberto para RAG

Cite esta pesquisa

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{sari2026,
  author = {Sarı, Ekrem},
  title  = {{Modelos de Embedding Multimodal: Apple vs Meta vs OpenAI}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/multimodal-embeddings}},
  note   = {AIMultiple. Acessado em 14 Agosto 2026}
}

Ekrem Sarı

Pesquisador de IA

Siga-nos

Ekrem é Pesquisador de IA e Analista de Dados na AIMultiple. Ele projeta e executa benchmarks práticos para sistemas de IA e LLM.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário