Modelos de incrustación multimodal: Apple vs Meta vs OpenAI
Los modelos de incrustación multimodal sobresalen en la identificación de objetos, pero tienen dificultades con las relaciones. Los modelos actuales luchan por distinguir «teléfono sobre un mapa» de «mapa sobre un teléfono». Evaluamos 7 modelos líderes en MS-COCO y Winoground para medir esta limitación específica.
Para garantizar una comparación justa, evaluamos cada modelo en condiciones idénticas utilizando hardware NVIDIA A40 y precisión bfloat16. Esta configuración determinista revela qué modelos realmente entienden la estructura de la escena y cuáles son simplemente buscadores de palabras clave sofisticados.
Resultados de la evaluación de modelos de incrustación multimodal
Explicación de las métricas
- T2I R@1 (Recuperación de texto a imagen@1): Dada una descripción, ¿puede el modelo clasificar la imagen correcta como número uno entre 5.000 candidatos? Esta es la métrica de recuperación más difícil porque no hay puntos parciales por clasificar en segundo lugar.
- I2T R@1 (Recuperación de imagen a texto@1): Dada una imagen, ¿puede el modelo clasificar cualquiera de las cinco descripciones de referencia como número uno entre 25.000? Las puntuaciones son aproximadamente 20 puntos porcentuales más altas que T2I porque hay cinco respuestas válidas en lugar de una.
- Imagen de Winoground: Dadas dos imágenes y dos descripciones que difieren solo en estructura («teléfono sobre un mapa» frente a «mapa sobre un teléfono»), ¿puede el modelo emparejar correctamente ambos pares? La probabilidad aleatoria es del 25 por ciento.
Hallazgos clave
- Apple DFN5B-H logra la mayor precisión de recuperación (50,1 por ciento T2I R@1) y la mayor puntuación de razonamiento composicional (35,2 por ciento en Winoground).
- El razonamiento composicional sigue siendo deficiente en todos los modelos. Incluso el rendimiento del 35,2 por ciento de Apple apenas supera la línea base aleatoria del 25 por ciento.
- OpenAI CLIP muestra su edad, quedando por detrás de los modelos modernos entre 10 y 16 puntos porcentuales a pesar de tener una arquitectura similar.
Nota: Las puntuaciones I2T son aproximadamente 20 puntos porcentuales más altas que T2I debido a un artefacto del protocolo. Cada imagen tiene cinco descripciones válidas, mientras que cada descripción se asigna a solo una imagen válida. Consulte la sección metodología de la evaluación de incrustación multimodal para obtener detalles.
Cómo funcionan los modelos de incrustación multimodal
Antes de profundizar en los detalles de la evaluación, es esencial entender qué hacen realmente estos modelos y dónde fallan.
El mecanismo central
Un modelo de incrustación multimodal convierte tanto imágenes como texto en vectores numéricos, que son listas de números que ocupan el mismo espacio geométrico. Los conceptos similares se agrupan juntos, mientras que los conceptos disímiles están más separados.
Para buscar, se calcula qué vector de imagen está más cerca de su vector de texto. Por eso la búsqueda basada en incrustaciones es rápida: se están comparando números, no «comprendiendo» el significado en un sentido humano.
Donde falla
Observe lo que sucede con descripciones composicionalmente diferentes:
Los vectores son casi idénticos. Ambas descripciones contienen los mismos conceptos: {teléfono, mapa, sobre}. El modelo codifica lo que está presente pero pierde cómo se relacionan las cosas.
Este es el problema de la bolsa de palabras. El modelo ve los mismos «ingredientes» y produce incrustaciones similares, aunque las escenas sean completamente diferentes. En una, el teléfono está encima. En la otra, el mapa. La estructura relacional desaparece durante la codificación.
Tareas de evaluación: Recuperación vs razonamiento
MS-COCO: Encontrar una aguja en un pajar
La configuración:
Una galería de 5.000 imágenes contiene grupos de contenido similar, incluidas cientos de escenas al aire libre, docenas de vehículos y numerosas áreas y estructuras de almacenamiento. Cada imagen tiene cinco descripciones diferentes escritas por diferentes anotadores, para un total de 25.000 descripciones.
La consulta: «Una motocicleta estacionada bajo una estructura de madera con otros artículos».
La imagen:
La misma imagen también podría describirse como:
- «Motocicleta negra sentada debajo de un alero al aire libre».
- «Motocicleta estacionada bajo un área cubierta en un patio cercado».
Cada descripción se prueba por separado y el modelo debe encontrar la imagen correcta independientemente de cómo esté redactada.
La tarea:
Encontrar la imagen específica única que coincide. No cualquier motocicleta, no cualquier estructura de madera, sino esta escena exacta entre 5.000 candidatos.
La métrica: Recuperación@1
Binaria e implacable. Imagen correcta clasificada como #1 = Acierto. Clasificada como #2 = Fallo. Sin puntos parciales.
Winoground: Entender quién hizo qué a quién
La configuración:
400 pares adversarios. Cada uno contiene 2 imágenes y 2 descripciones que difieren solo en la estructura composicional.
La consulta:
- Descripción A: «hay un teléfono sobre un mapa»
- Descripción B: «hay un mapa sobre un teléfono»
Ambas descripciones contienen exactamente los mismos conceptos: {teléfono, mapa, sobre}. La única diferencia es qué objeto está encima de cuál.
La imagen:
La tarea:
Emparejar ambas descripciones con sus imágenes correctas simultáneamente. La descripción A debe coincidir con la imagen A (teléfono descansando sobre mapa) y la descripción B debe coincidir con la imagen B (mapa mostrado en teléfono). Sin puntos parciales: acertar solo uno cuenta como fallo.
La métrica: Puntuación de imagen
Binaria e implacable. Ambos pares emparejados correctamente = Acierto. Uno o cero correctos = Fallo. La probabilidad aleatoria es del 25%.
Más ejemplos de Winoground:
Por qué los modelos fallan en la composición
Las bajas puntuaciones de Winoground (30-40% frente a una línea base aleatoria del 25%) indican que los modelos actuales tienen dificultades con este tipo específico de razonamiento composicional. Sin embargo, se aplican varias advertencias:
- Tamaño de muestra pequeño: Winoground contiene solo 400 ejemplos, lo que genera intervalos de confianza de aproximadamente ±5 puntos porcentuales. Esto lo hace útil como indicador pero no como prueba definitiva de capacidades composicionales.
- Alcance de tarea específico pero diverso: Winoground prueba múltiples tipos de razonamiento composicional, incluidas relaciones espaciales (sobre/arriba/abajo), intercambios de agente-paciente (quién hace qué a quién), vinculación de atributos (asignaciones de color/tamaño), cuantificadores (más/menos, conteo), coordinación de acciones (sienta/se para), ordenamiento temporal (antes/después), negación (con/sin) y ambigüedad de alcance. Esta diversidad hace que Winoground sea una sonda efectiva de comprensión composicional a través de múltiples fenómenos lingüísticos.
Análisis técnico y recomendaciones de implementación
La calidad de los datos supera la escala del modelo
Apple, LAION y MetaCLIP utilizan la misma columna vertebral ViT-H/14 (630M de parámetros).
La ventaja de +3,8pp de Apple parece derivar principalmente de su enfoque de Red de Filtrado de Datos (DFN).
- Curación automatizada: En lugar de solo usar descripciones sintéticas, Apple entrenó un modelo maestro para filtrar agresivamente los datos de entrenamiento. El modelo aprendió a identificar y descartar pares de imagen-texto ruidosos del enorme pool de la web.
- La implicación: En la frontera, las mejoras provienen de la calidad de la curación (elegir los datos correctos) en lugar de solo la síntesis o la escala bruta.
La implicación: en la frontera, las mejoras provienen de mejores datos, no de arquitecturas más grandes.
Comprendiendo el nivel de rendimiento del 50%
MS-COCO fue diseñado con imágenes distintas y curadas donde cada descripción describe una escena específica. Aunque existen ambigüedades menores (por ejemplo, dos escenas similares de estacionamiento), los creadores del conjunto de datos seleccionaron intencionalmente imágenes visualmente distinguibles.
La precisión del 50% refleja que los modelos realmente fallan al clasificar la imagen correcta primero, no una penalización injusta por seleccionar alternativas igualmente válidas.
Por qué OpenAI CLIP se queda atrás por 10-16pp
El CLIP-L (2021) de OpenAI obtiene un 34,4% en T2I R@1, mientras que los modelos modernos que utilizan arquitecturas ViT similares logran entre 44-50%. Esta brecha de 10-16 puntos porcentuales refleja tres años de progreso:
Aunque los principios arquitectónicos centrales permanecieron similares (transformadores de visión con aprendizaje contrastivo), los modelos modernos duplicaron su tamaño. Sin embargo, la mayoría de las ganancias de rendimiento provino de una mejor curación de datos y técnicas de entrenamiento en lugar de la innovación arquitectónica por sí sola.
ColPali: Intercambiando velocidad por flexibilidad arquitectónica
ColPali representa un enfoque arquitectónico diferente: en lugar de codificar cada imagen en un solo vector, produce 1.030 incrustaciones de parches utilizando interacción tardía. Esta elección de diseño crea varias compensaciones:
Ventajas:
- Recuperación más simétrica: ColPali muestra solo una brecha de 3,9pp entre I2T (48,8%) y T2I (44,9%), en comparación con brechas de 16-24pp en modelos densos. Esto sugiere que codifica la estructura de la imagen de manera más uniforme.
- Flexibilidad arquitectónica: La interacción tardía permite un emparejamiento fino entre tokens de texto y parches de imagen, lo que puede beneficiar dominios especializados.
Desventajas:
- Overhead de almacenamiento: Cada imagen requiere 1.030 vectores en lugar de 1, aumentando el tamaño del índice en ~1000×.
- Rendimiento general más bajo: ColPali ocupa el 4º lugar en nuestra evaluación (44,9% T2I), quedando por detrás de los principales modelos densos por 5,2pp (frente a Apple DFN5B-H con 50,1%).
Costo computacional: Requiere tamaños de lote 4× más pequeños (4 vs 32) debido al overhead de memoria de 1.030 incrustaciones por imagen. Esto se traduce en una indexación más lenta y costos de servicio más altos a escala.
¿Qué modelo debe usar?
Añadir como fuente preferidaMetodología de la evaluación de incrustación multimodal
Hardware y software
- GPU: NVIDIA A40 (48GB VRAM) a través de RunPod
- Precisión: bfloat16
- Framework: PyTorch 2.4.0, CUDA 12.1
- Bibliotecas:
transformers==4.44.0,datasets==2.20.0
Modelos evaluados
Utilizamos las siguientes pesos de modelo específicas del Hub de Hugging Face. Todos los modelos se cargaron en precisión bfloat16 directamente desde estos repositorios sin modificación.
Protocolo de inferencia
Los modelos densos (CLIP/SigLIP) se evaluaron con un tamaño de lote de 32, ya que un solo vector por imagen permite alto paralelismo. ColPali usó un tamaño de lote de 4, ya que sus 1.030 incrustaciones de parche por imagen requieren significativamente más memoria.
Protocolo de evaluación
- Cero disparos: Modelos evaluados fuera de la caja utilizando pesos de Hugging Face. Sin ajuste fino.
- Determinista: Semilla aleatoria fijada en 42. Mismo orden de conjunto de datos para todos los modelos.
- Divisiones estándar: yerevann/coco-karpathy test (5.000 imágenes), facebook/winoground validation.
La brecha entre I2T y T2I
Las puntuaciones I2T son consistentemente ~20pp más altas que T2I debido a la probabilidad estadística, no a errores del modelo.
- T2I (Texto a imagen): El modelo debe encontrar 1 imagen específica entre 5.000. (Pool objetivo = 1).
- I2T (Imagen a texto): El modelo puede emparejar cualquiera de las 5 descripciones válidas asociadas con esa imagen. (Pool objetivo = 5).
Debido a que la tarea I2T ofrece cinco respuestas «correctas» distintas para cada consulta, la tasa de éxito se infla naturalmente en comparación con el mapeo uno a uno estricto requerido en T2I.
Limitaciones
Tamaño de muestra de Winoground
400 muestras generan intervalos de confianza de ~±5pp con una precisión del 35%. Los resultados son indicativos, no definitivos. Existen conjuntos de datos de referencia más grandes (ARO, SugarCrepe) pero requieren infraestructura diferente.
Solo cero disparos
Sin ajuste fino de dominio. Las aplicaciones médicas, legales o satelitales podrían ver mejoras de 5-10pp con entrenamiento específico del dominio.
Limitaciones del conjunto de datos:
MS-COCO y Winoground prueban aspectos específicos de la comprensión multimodal. El rendimiento en estos conjuntos de datos de referencia no garantiza resultados similares en tareas específicas del dominio u otras pruebas de razonamiento composicional.
Conclusión
Los modelos actuales de incrustación multimodal son buenos en el reconocimiento de objetos, pero tienen dificultades con el razonamiento composicional.
Para recuperación estándar («encuentra fotos de motocicletas»), cualquier modelo de los 3 primeros funciona bien. Para consultas relacionales («teléfono sobre un mapa» frente a «mapa sobre un teléfono»), espere una precisión de 30-40% como máximo.
Basado en nuestros hallazgos y tendencias actuales de investigación, varios enfoques pueden mejorar el rendimiento:
- Calidad de los datos sobre escala: La ventaja de +3,8pp de Apple utilizando la misma arquitectura ViT-H sugiere que la curación de datos de entrenamiento contribuye significativamente, aunque esto se basa en una sola comparación.
- Datos de entrenamiento composicionales: Incluir negativos difíciles con variaciones relacionales durante el entrenamiento podría teóricamente mejorar la sensibilidad composicional, aunque esto sigue siendo en gran medida no probado a escala.
- Arquitecturas híbridas: Pipelines de dos etapas (recuperación densa → reordenamiento de interacción tardía) combinan velocidad con precisión, aunque nuestra evaluación muestra que esto aún no supera a los modelos densos en estas tareas.
Hasta que cambien los paradigmas de entrenamiento, la comprensión composicional sigue siendo una frontera abierta.
Lectura adicional
Explore otros conjuntos de datos de referencia de RAG, como:
- Modelos de incrustación: OpenAI vs Gemini vs Cohere
- Mejor base de datos vectorial para RAG: Qdrant vs Weaviate vs Pinecone
- Evaluación de RAG agéntico: enrutamiento de múltiples bases de datos y generación de consultas
- 11 modelos de incrustación de código abierto para RAG
Cita esta investigación
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Sarı, Ekrem},
title = {{Modelos de incrustación multimodal: Apple vs Meta vs OpenAI}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/multimodal-embeddings}},
note = {AIMultiple. Recuperado el 20 de Mayo de 2026}
}
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.