Modelos de Incorporação Multimodal: Apple vs Meta vs OpenAI
Modelos de incorporação multimodal se destacam na identificação de objetos, mas lutam com relacionamentos. Os modelos atuais têm dificuldade em distinguir “telefone em um mapa” de “mapa em um telefone”. Avaliamos 7 modelos líderes em MS-COCO e Winoground para medir essa limitação específica.
Para garantir uma comparação justa, avaliamos cada modelo sob condições idênticas usando hardware NVIDIA A40 e precisão bfloat16. Essa configuração determinística revela quais modelos realmente entendem a estrutura da cena e quais são simplesmente correspondentes de palavras-chave sofisticados.
Resultados do benchmark de modelos de incorporação multimodal
Métricas explicadas
- T2I R@1 (Recuperação Texto-para-Imagem@1): Dada uma legenda, o modelo consegue classificar a imagem correta como número um entre 5.000 candidatos? Esta é a métrica de recuperação mais difícil porque não há crédito parcial por classificar em segundo lugar.
- I2T R@1 (Recuperação Imagem-para-Texto@1): Dada uma imagem, o modelo consegue classificar qualquer uma das cinco legendas de verdade como número um entre 25.000? As pontuações são aproximadamente 20 pontos percentuais mais altas que T2I porque há cinco respostas válidas em vez de uma.
- Imagem Winoground: Dadas duas imagens e duas legendas que diferem apenas na estrutura (“telefone em um mapa” versus “mapa em um telefone”), o modelo consegue corresponder corretamente ambos os pares? A chance aleatória é de 25 por cento.
Principais descobertas
- Apple DFN5B-H alcança a maior precisão de recuperação (50,1 por cento T2I R@1) e a maior pontuação de raciocínio composicional (35,2 por cento no Winoground).
- O raciocínio composicional permanece baixo em todos os modelos. Mesmo o desempenho de 35,2 por cento da Apple mal supera a linha de base aleatória de 25 por cento.
- OpenAI CLIP mostra sua idade, ficando atrás dos modelos modernos por 10 a 16 pontos percentuais, apesar de ter uma arquitetura semelhante.
Nota: As pontuações I2T são aproximadamente 20 pontos percentuais mais altas que T2I devido a um artefato de protocolo. Cada imagem tem cinco legendas válidas, enquanto cada legenda mapeia para apenas uma imagem válida. Consulte a seção metodologia do benchmark de incorporação multimodal para detalhes.
Como os modelos de incorporação multimodal funcionam
Antes de mergulhar nos detalhes do benchmark, é essencial entender o que esses modelos realmente fazem e onde eles falham.
O mecanismo central
Um modelo de incorporação multimodal converte imagens e texto em vetores numéricos, que são listas de números que ocupam o mesmo espaço geométrico. Conceitos semelhantes se agrupam, enquanto conceitos dissimilares estão mais afastados.
Para pesquisar, você calcula qual vetor de imagem está mais próximo do seu vetor de texto. É por isso que a pesquisa baseada em incorporação é rápida: você está comparando números, não “entendendo” o significado em um sentido humano.
Onde ele falha
Veja o que acontece com legendas composicionalmente diferentes:
Os vetores são quase idênticos. Ambas as legendas contêm os mesmos conceitos: {telefone, mapa, em}. O modelo codifica o que está presente, mas perde como as coisas se relacionam.
Este é o problema do saco de palavras. O modelo vê os mesmos “ingredientes” e produz incorporações semelhantes, mesmo que as cenas sejam completamente diferentes. Em uma, o telefone está em cima. Na outra, o mapa está. A estrutura relacional desaparece durante a codificação.
Tarefas de avaliação: Recuperação vs raciocínio
MS-COCO: Encontrar uma agulha em um palheiro
A Configuração:
Uma galeria de 5.000 imagens contém clusters de conteúdo semelhante, incluindo centenas de cenas ao ar livre, dezenas de veículos e numerosas áreas e estruturas de armazenamento. Cada imagem tem cinco legendas diferentes escritas por diferentes anotadores, totalizando 25.000 legendas.
A Consulta: “Uma motocicleta estacionada sob uma estrutura de madeira com outros itens.”
A imagem:
A mesma imagem também pode ser descrita como:
- “Motocicleta preta sentada embaixo de uma marquise ao ar livre.”
- “Motocicleta estacionada sob área coberta em quintal cercado.”
Cada legenda é testada separadamente, e o modelo deve encontrar a imagem correta, independentemente de como ela é formulada.
A tarefa:
Encontre a única imagem específica que corresponde. Não qualquer motocicleta, não qualquer estrutura de madeira, mas esta cena exata entre 5.000 candidatos.
A métrica: Recall@1
Binária e impiedosa. Imagem correta classificada como #1 = Acerto. Classificada como #2 = Erro. Sem crédito parcial.
Winoground: Entendendo quem fez o quê para quem
A Configuração:
400 pares adversariais. Cada um contém 2 imagens e 2 legendas que diferem apenas na estrutura composicional.
A Consulta:
- Legenda A: “há um telefone em um mapa”
- Legenda B: “há um mapa em um telefone“
Ambas as legendas contêm os mesmos conceitos exatos: {telefone, mapa, em}. A única diferença é qual objeto está em cima do qual.
A imagem:
A Tarefa:
Corresponder ambas as legendas às suas imagens corretas simultaneamente. A Legenda A deve corresponder à Imagem A (telefone descansando no mapa), e a Legenda B deve corresponder à Imagem B (mapa exibido no telefone). Sem crédito parcial: acertar apenas um conta como falha.
A Métrica: Pontuação da Imagem
Binária e impiedosa. Ambos os pares correspondidos corretamente = Acerto. Um ou zero corretos = Erro. A chance aleatória é de 25%.
Mais exemplos do Winoground:
Por que os modelos falham na composição
As baixas pontuações do Winoground (30-40% vs. linha de base aleatória de 25%) indicam que os modelos atuais lutam com esse tipo específico de raciocínio composicional. No entanto, várias ressalvas se aplicam:
- Tamanho da amostra pequeno: Winoground contém apenas 400 exemplos, gerando intervalos de confiança de aproximadamente ±5 pontos percentuais. Isso o torna útil como indicador, mas não prova definitiva de capacidades composicionais.
- Escopo de tarefa específico, mas diversificado: Winoground testa vários tipos de raciocínio composicional, incluindo relações espaciais (em/acima/abaixo), trocas agente-paciente (quem faz o quê para quem), vinculação de atributos (atribuições de cor/tamanho), quantificadores (mais/menos, contagem), coordenação de ação (senta/levanta), ordenação temporal (antes/depois), negação (com/sem) e ambiguidade de escopo. Essa diversidade torna o Winoground uma sonda eficaz de compreensão composicional em múltiplos fenômenos linguísticos.
Análise técnica e recomendações de implantação
Qualidade dos dados supera a escala do modelo
Apple, LAION e MetaCLIP usam a mesma espinha dorsal ViT-H/14 (630M parâmetros).
A vantagem de +3,8pp da Apple parece derivar principalmente de sua abordagem de Rede de Filtragem de Dados (DFN).
- Curação Automatizada: Em vez de apenas usar legendas sintéticas, a Apple treinou um modelo professor para filtrar agressivamente os dados de treinamento. O modelo aprendeu a identificar e descartar pares de imagem-texto ruidosos do enorme pool da web.
- A implicação: Na fronteira, as melhorias vêm da qualidade da curadoria (escolhendo os dados certos) em vez de apenas síntese ou escala bruta.
A implicação: na fronteira, as melhorias vêm de melhores dados, não de arquiteturas maiores.
Entendendo o nível de desempenho de 50%
MS-COCO foi projetado com imagens distintas e curadas onde cada legenda descreve uma cena específica. Embora existam ambiguidades menores (por exemplo, duas cenas semelhantes de estacionamento), os criadores do conjunto de dados selecionaram intencionalmente imagens visualmente distinguíveis.
A precisão de 50% reflete modelos falhando genuinamente em classificar a imagem correta primeiro, não penalização injusta por selecionar alternativas igualmente válidas.
Por que OpenAI CLIP fica atrás por 10-16pp
O CLIP-L (2021) da OpenAI pontua 34,4% T2I R@1, enquanto modelos modernos usando arquiteturas ViT semelhantes alcançam 44-50%. Essa lacuna de 10-16 pontos percentuais reflete três anos de progresso:
Embora os princípios arquitetônicos centrais tenham permanecido semelhantes (transformadores de visão com aprendizado contrastivo), os modelos modernos dobraram de tamanho. No entanto, a maioria dos ganhos de desempenho veio de melhorias na curadoria de dados e técnicas de treinamento, em vez de inovação arquitetônica apenas.
ColPali: Trocando Velocidade por Flexibilidade Arquitetônica
ColPali representa uma abordagem arquitetônica diferente: em vez de codificar cada imagem em um único vetor, ele produz 1.030 incorporações de patch usando interação tardia. Essa escolha de design cria várias compensações:
Vantagens:
- Recuperação mais simétrica: ColPali mostra apenas uma lacuna de 3,9pp entre I2T (48,8%) e T2I (44,9%), comparado a lacunas de 16-24pp em modelos densos. Isso sugere que ele codifica a estrutura da imagem de forma mais uniforme.
- Flexibilidade arquitetônica: A interação tardia permite correspondência granular entre tokens de texto e patches de imagem, o que pode beneficiar domínios especializados.
Desvantagens:
- Custo de armazenamento: Cada imagem requer 1.030 vetores em vez de 1, aumentando o tamanho do índice em ~1000×.
- Desempenho geral mais baixo: ColPali ocupa o 4º lugar em nosso benchmark (44,9% T2I), ficando atrás dos principais modelos densos por 5,2pp (vs. Apple DFN5B-H em 50,1%).
Custo computacional: Requer lotes 4× menores (4 vs. 32) devido ao custo de memória de 1.030 incorporações por imagem. Isso se traduz em indexação mais lenta e custos de serviço mais altos em escala.
Qual Modelo Você Deve Usar?
Adicionar como fonte preferencialMetodologia do benchmark de incorporação multimodal
Hardware e software
- GPU: NVIDIA A40 (48GB VRAM) via RunPod
- Precisão: bfloat16
- Framework: PyTorch 2.4.0, CUDA 12.1
- Bibliotecas:
transformers==4.44.0,datasets==2.20.0
Modelos avaliados
Utilizamos as seguintes pesos de modelo específicos do Hub Hugging Face. Todos os modelos foram carregados em precisão bfloat16 diretamente desses repositórios sem modificação.
Protocolo de inferência
Modelos densos (CLIP/SigLIP) foram avaliados com tamanho de lote 32, já que um único vetor por imagem permite alto paralelismo. ColPali usou tamanho de lote 4, pois suas 1.030 incorporações de patch por imagem requerem significativamente mais memória.
Protocolo de avaliação
- Zero-Shot: Modelos avaliados prontos para uso usando pesos Hugging Face. Sem fine-tuning.
- Determinístico: Semente aleatória fixada em 42. Mesma ordem de conjunto de dados para todos os modelos.
- Divisões Padrão: yerevann/coco-karpathy test (5.000 imagens), facebook/winoground validation.
A lacuna I2T vs. T2I
As pontuações I2T são consistentemente ~20pp mais altas que T2I devido à probabilidade estatística, não erro do modelo.
- T2I (Texto-para-Imagem): O modelo deve encontrar 1 imagem específica entre 5.000. (Pool de destino = 1).
- I2T (Imagem-para-Texto): O modelo pode corresponder a qualquer uma das 5 legendas válidas associadas àquela imagem. (Pool de destino = 5).
Como a tarefa I2T oferece cinco respostas ‘corretas’ distintas para cada consulta, a taxa de sucesso é naturalmente inflada em comparação com o mapeamento um-para-um estrito exigido em T2I.
Limitações
Tamanho da amostra Winoground
400 amostras geram intervalos de confiança de ~±5pp em 35% de precisão. Os resultados são indicativos, não definitivos. Benchmarks maiores (ARO, SugarCrepe) existem, mas requerem infraestrutura diferente.
Apenas Zero-Shot
Sem fine-tuning de domínio. Aplicações médicas, legais ou de satélite poderiam ver melhorias de 5-10pp com treinamento específico de domínio.
Limitações do conjunto de dados:
MS-COCO e Winoground testam aspectos específicos da compreensão multimodal. O desempenho nesses benchmarks não garante resultados semelhantes em tarefas específicas de domínio ou outros testes de raciocínio composicional.
Conclusão
Os modelos atuais de incorporação multimodal são bons em reconhecimento de objetos, mas lutam com raciocínio composicional.
Para recuperação padrão (“encontrar fotos de motocicletas”), qualquer modelo top-3 funciona bem. Para consultas relacionais (“telefone em um mapa” vs. “mapa em um telefone”), espere no máximo 30-40% de precisão.
Com base em nossas descobertas e tendências atuais de pesquisa, várias abordagens podem melhorar o desempenho:
- Qualidade dos dados sobre escala: A vantagem de +3,8pp da Apple usando a mesma arquitetura ViT-H sugere que a curadoria de dados de treinamento contribui significativamente, embora isso seja baseado em uma única comparação.
- Dados de treinamento composicionais: Incluir negativos difíceis com variações relacionais durante o treinamento poderia teoricamente melhorar a sensibilidade composicional, embora isso permaneça amplamente não testado em escala.
- Arquiteturas híbridas: Pipelines de duas etapas (recuperação densa → reclassificação de interação tardia) combinam velocidade com precisão, embora nosso benchmark mostre que isso ainda não supera modelos densos nessas tarefas.
Até que os paradigmas de treinamento mudem, a compreensão composicional permanece uma fronteira aberta.
Leitura adicional
Explore outros benchmarks RAG, como:
- Modelos de Incorporação: OpenAI vs Gemini vs Cohere
- Top Banco de Dados Vetorial para RAG: Qdrant vs Weaviate vs Pinecone
- Benchmark Agentic RAG: roteamento de banco de dados múltiplo e geração de consulta
- 11 Modelos de Incorporação de Código Aberto para RAG
Cite esta pesquisa
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{Modelos de Incorporação Multimodal: Apple vs Meta vs OpenAI}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/multimodal-embeddings}},
note = {AIMultiple. Acessado em 20 Maio 2026}
}
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.