Modelos Multimodales Grandes (LMMs) vs LLMs
Evaluamos el rendimiento de los Modelos Multimodales Grandes (LMMs) en tareas de razonamiento financiero utilizando un conjunto de datos cuidadosamente seleccionado. Al analizar un subconjunto de muestras financieras de alta calidad, evaluamos las capacidades de los modelos para procesar y razonar con datos multimodales en el ámbito financiero.
La sección de metodología ofrece información detallada sobre el conjunto de datos y el marco de evaluación empleado.
Explore modelos multimodales grandes y compárelos con modelos de lenguaje grandes.
¿Por qué los modelos obtuvieron resultados diferentes?
La variación en las tasas de éxito refleja diferencias en cómo cada modelo procesa las tareas financieras multimodales. Dado que la evaluación utiliza muestras del conjunto de datos FinMME, que requieren integrar texto y elementos visuales financieros como gráficos y documentos estructurados, el rendimiento depende en gran medida de la arquitectura del modelo, la calidad del entrenamiento y la alineación multimodal.
Arquitectura del modelo y diseño de parámetros
Los modelos difieren en cómo combinan codificadores de texto e imagen, la cantidad de parámetros activos y la complejidad de su enrutamiento experto.
- Llama 4 Maverick, por ejemplo, utiliza un diseño experto más amplio, lo que permite un razonamiento más sólido.
- Los modelos más pequeños o centrados en la eficiencia tienen menos parámetros alineados con el razonamiento multimodal, lo que limita el rendimiento.
Estas distinciones arquitectónicas afectan la capacidad de cada modelo para interpretar relaciones numéricas, estructuras de gráficos y elementos visuales específicos del dominio.
Cobertura de los datos de entrenamiento
Algunos modelos se entrenan con conjuntos de datos multimodales extensos, mientras que otros confían principalmente en datos de uso general.
- Los modelos de las familias Claude 4 y Qwen 2.5 incorporan datos visuales y textuales a gran escala, lo que mejora su capacidad para alinear señales numéricas y visuales.
- Los modelos entrenados con corpus multimodales más limitados tienen dificultades con gráficos financieros y diagramas estructurados.
Los datos de entrenamiento influyen directamente en la fiabilidad con la que un modelo maneja los conceptos financieros intermodales.
Ajuste fino para el razonamiento intermodal
La evaluación requiere coordinación entre la interpretación de imágenes y el razonamiento basado en texto.
- Se describe que los modelos Claude 4 son sólidos en tareas que involucran gráficos y diagramas.
- Los modelos sin un ajuste fino intermodal específico pueden detectar correctamente las características visuales, pero fallan al conectarlas con el lenguaje o la lógica financiera.
La estrategia de ajuste fino de un modelo afecta su capacidad para fusionar señales textuales y visuales durante el análisis.
Capacidad de manejo del contexto
Las muestras financieras a menudo contienen múltiples elementos que deben leerse juntos, como gráficos de varias partes o descripciones extensas.
- Los modelos con ventanas de contexto más amplias pueden retener relaciones a lo largo de entradas largas.
- Los modelos más limitados pueden pasar por alto dependencias, lo que reduce la precisión en tareas que requieren rastrear múltiples componentes visuales y textuales.
El tamaño de la ventana de contexto influye en qué tan bien un modelo mantiene la alineación entre los detalles cuantitativos y visuales.
Tamaño del modelo y prioridades de eficiencia
Algunos modelos se diseñan deliberadamente para un despliegue ligero en lugar de un razonamiento de alta complejidad.
- Phi-4 multimodal y modelos similares priorizan la eficiencia, limitando la profundidad del procesamiento multimodal.
- Los modelos más grandes mantienen una mayor capacidad para tareas de razonamiento que implican una comprensión detallada de gráficos.
Este equilibrio se traduce en puntuaciones más bajas para los modelos más pequeños.
Diferencias en la comprensión visual
La evaluación incluye tareas que requieren una lectura precisa de gráficos, identificación de objetos en documentos financieros y extracción de detalles visuales.
- Los modelos con canales visuales avanzados, como las variantes Qwen 2.5-VL, gestionan estas tareas de manera más eficaz.
- Otros pueden manejar bien imágenes genéricas, pero tienen un rendimiento inconsistente con elementos visuales financieros estructurados.
La fuerza del razonamiento visual afecta en gran medida los resultados en muestras de estilo FinMME.
Características del conjunto de datos de evaluación
El conjunto de datos se centra en el razonamiento financiero multimodal en lugar de tareas de uso general.
- Los modelos entrenados o ajustados para tareas financieras, numéricas o basadas en gráficos obtienen mejores resultados.
- Los modelos generalistas sin exposición al dominio muestran una menor precisión en conjuntos de datos financieros.
La especialización del conjunto de datos hace que el rendimiento sea más sensible a la calidad del razonamiento intermodal.
¿Qué son los modelos multimodales grandes de código abierto?
LMMs de código abierto con su número de estrellas en GitHub:
El gráfico muestra que la popularidad en GitHub de varios LMMs de código abierto ha ido en aumento, y algunos modelos experimentan una rápida adopción poco después de su lanzamiento.
La serie Janus de DeepSeek ganó miles de estrellas en GitHub en cuestión de días tras el lanzamiento de Janus-Pro el 27 de enero de 2025, superando a sus competidores, que tardaron meses en alcanzar cifras similares. Este rápido ascenso se debió al éxito de Janus-Pro y estuvo influenciado por el impulso creado por DeepSeek-R1.
- Gemma 3 de Google: Gemma 3 es una familia de modelos abiertos ligeros y de última generación derivados de la tecnología Gemini 2.0. Estos modelos ofrecen capacidades avanzadas de razonamiento textual y visual, una ventana de contexto de 128k tokens, soporte para llamadas a funciones y versiones cuantizadas para un rendimiento optimizado. Incluye ShieldGemma 2 para seguridad de imágenes y admite diversas herramientas y opciones de despliegue.1
- Janus-Pro de DeepSeek: Janus-Pro es una versión avanzada del modelo Janus, diseñado para comprender y generar texto e imágenes. Presenta una estrategia de entrenamiento optimizada, datos de entrenamiento ampliados y un tamaño de modelo mayor, lo que mejora sus capacidades multimodales.2
- Qwen2.5-VL de Alibaba: Qwen2.5-VL de Alibaba es una extensión multimodal del modelo de lenguaje Qwen2.5, diseñado para la comprensión tanto de texto como de imágenes. Cuenta con un preentrenamiento a gran escala (hasta 18T tokens), una ventana de contexto extendida (hasta 128K tokens), un mejor seguimiento de instrucciones y un sólido soporte multilingüe, lo que lo hace adecuado para tareas como la generación de subtítulos de imágenes y la respuesta visual a preguntas. 3
- Basándose en la serie Qwen2.5-VL, Alibaba optimizó y liberó en código abierto Qwen2.5-VL-32B-Instruct, un modelo VL de 32B que incorpora una comprensión y razonamiento mejorados de imágenes con gran detalle. Esto se traduce en un rendimiento mejorado y análisis detallados en tareas como el análisis de imágenes, el reconocimiento de contenido y la deducción lógica visual.4
- CLIP (Contrastive Language–Image Pretraining) de OpenAI: CLIP está diseñado para comprender imágenes en el contexto del lenguaje natural. Puede realizar tareas como la clasificación de imágenes sin entrenamiento específico (zero-shot), clasificando con precisión imágenes incluso en categorías para las que no ha sido entrenado explícitamente al comprender descripciones textuales.5
- Basándose en la serie Qwen2.5-VL, Alibaba optimizó y liberó en código abierto Qwen2.5-VL-32B-Instruct, un modelo VL de 32B que incorpora una comprensión y razonamiento mejorados de imágenes con gran detalle. Esto se traduce en un rendimiento mejorado y análisis detallados en tareas como el análisis de imágenes, el reconocimiento de contenido y la deducción lógica visual.6
- Flamingo de DeepMind: Flamingo está diseñado para aprovechar las fortalezas tanto del lenguaje como de la comprensión visual, lo que le permite realizar tareas que requieren interpretar e integrar información de texto e imágenes.7
Figura 1: Un ejemplo tomado de Chip Huyen8
¿Cuáles son los principales LMMs?
Características generales de interfaz de usuario y API de los LLMs de propósito general
Los proveedores se seleccionan entre los LLMs multimodales más populares, basándose en la comparabilidad, la disponibilidad de datos y la actualidad.
LMMs con su precio por token:
Para seleccionar el modelo más adecuado, considere factores como su presupuesto, las capacidades y el nivel de rendimiento requeridos, y el volumen esperado de tokens de entrada/salida necesarios para su caso de uso específico.
Lea más sobre precios de LLM.
¿Cuáles son los últimos avances en modelos multimodales?
Los avances recientes en modelos multimodales han introducido nuevas capacidades y eficiencias en el desarrollo de IA.
Modelos de base multimodales centrados en video
Los modelos de base multimodales centrados en video están yendo más allá de generar descripciones o resúmenes de alto nivel y están aprendiendo a localizar explícitamente evidencia dentro de los videos.
En lugar de decir qué sucede, pueden identificar cuándo sucede (marcas de tiempo) y dónde sucede (cuadros delimitadores alrededor de objetos o regiones).
Este cambio hacia el anclaje espaciotemporal hace que la comprensión de video sea más precisa y verificable. También permite tareas como encontrar momentos exactos, rastrear objetos, editar videos usando lenguaje natural y apoyar la robótica y los sistemas críticos para la seguridad.
Por ejemplo, Vidi9 es un proyecto de código abierto de ByteDance centrado en modelos multimodales grandes para comprensión y edición de video.
El repositorio alberga el código y los recursos para una familia de modelos (p. ej., Vidi-7B, Vidi1.5-9B, Vidi2 y Vidi2.5) que toman visión, audio y texto como entradas para realizar tareas como:
- Recuperación temporal (encontrar los segmentos de tiempo en un video que coinciden con una consulta de texto)
- Anclaje espaciotemporal (localizar objetos con cuadros delimitadores)
- Respuesta a preguntas sobre video
Lanzamiento multimodal de frontera Mistral 3
Mistral IA ha desarrollado una nueva familia de modelos de IA de código abierto llamada Mistral 3. El conjunto Mistral 3 comprende tanto modelos multimodales/multilingües de nivel frontera como modelos más pequeños y eficientes diseñados para ejecutarse en una variedad de dispositivos, desde la nube hasta el borde, e incluso en una sola GPU.
Publicados bajo una licencia de código abierto permisiva (Apache 2.0), estos modelos buscan democratizar el acceso a la IA avanzada, permitir la personalización y la flexibilidad de despliegue, y fortalecer la posición de Europa en el desarrollo de la IA, donde existen preocupaciones sobre el retraso frente a EE. UU. y China en tecnologías de vanguardia.10
Modelos de lenguaje-visión MoE de código abierto
Kimi-VL (de Moonshot IA) es un modelo multimodal de visión-lenguaje de código abierto construido con una arquitectura de Mezcla de Expertos (MoE), que funciona en tareas que combinan texto, imágenes y video manteniendo la eficiencia computacional.
Tiene un backbone de 16 mil millones de parámetros totales, pero normalmente activa ~2.8 mil millones de parámetros durante la inferencia, lo que ayuda a equilibrar la capacidad con el costo.
Kimi-VL está diseñado para el razonamiento multimodal avanzado, la comprensión de contextos largos (hasta ~128 K tokens) y las interacciones de tipo agente, y compite bien con modelos más grandes en benchmarks como comprensión de video, reconocimiento óptico de caracteres (OCR), razonamiento matemático y tareas con múltiples imágenes.
Variantes como Kimi-VL-A3B-Thinking están ajustadas adicionalmente para tareas de cadena de pensamiento y razonamiento, mientras que el codificador visual MoonViT admite comprensión de entrada de alta resolución.
Figura 2: Diseño de la arquitectura Kimi-VL.11
La serie Claude 4 de Anthropic
La serie Claude 4 de Anthropic integra una comprensión visual avanzada con su motor de razonamiento basado en texto, incorporando la visión directamente en los flujos de trabajo de resolución de problemas.
Los modelos Claude 4 demuestran un sólido rendimiento en benchmarks de razonamiento multimodal como MMMU, particularmente en la interpretación de gráficos, diagramas y datos visuales complejos. Una característica distintiva de Claude Opus 4.1 es su capacidad para evaluar cualidades estéticas dentro de las imágenes, yendo más allá del reconocimiento hacia evaluaciones más matizadas.
Estas capacidades, combinadas con las funciones agénticas de Claude, hacen que la serie sea eficaz para tareas como sintetizar investigaciones a partir de informes con texto y elementos visuales mixtos o ayudar en el diseño de interfaces mediante el análisis de maquetas visuales.
Gemini 3 de Google
Google lanzó Gemini 3 en noviembre de 2025, con Gemini 3 Pro disponible de inmediato y el modo Gemini 3 Deep Think desplegándose para los suscriptores de Google IA Ultra poco después. Gemini 3 es posicionado por Google como su modelo multimodal más inteligente y capaz, con soporte nativo para texto, imágenes, video, audio y código dentro de una sola arquitectura.
Gemini 3 Pro se entrega con una ventana de contexto de 1 millón de tokens y logra sólidos resultados en benchmarks multimodales, incluyendo 81% en MMMU-Pro y 87.6% en Video-MMMU. Encabezó el LMArena Leaderboard en el lanzamiento con una puntuación de 1501 Elo, y obtuvo 91.9% en GPQA Diamond para razonamiento a nivel de posgrado y 76.2% en SWE-bench Verified para tareas de codificación agéntica.
Gemini 3 Deep Think es un modo de razonamiento mejorado que mejora aún más el rendimiento en las tareas más exigentes, obteniendo 41.0% en el Último Examen de la Humanidad (sin herramientas) y 45.1% en ARC-AGI-2. Junto con Gemini 3, Google también lanzó Google Antigravity, una plataforma de desarrollo agéntica que empareja Gemini 3 con el modelo Gemini 2.5 Computer Use para el control del navegador y el modelo de edición de imágenes Nano Banana, permitiendo flujos de trabajo de desarrollo de software de extremo a extremo en los que el modelo puede planificar, codificar y validar tareas de forma autónoma.12
GPT-5 de OpenAI
GPT-5 introduce una multimodalidad nativa mejorada en texto, voz, imagen y video. A diferencia de los sistemas anteriores que dependían en gran medida de complementos, GPT-5 integra estas modalidades dentro de una arquitectura unificada, lo que resulta en una interacción más fluida. El modelo se adapta con flexibilidad a varios tipos de entrada y puede transitar entre ellos.
Una característica notable es su modo de voz en tiempo real, que puede ajustar el tono, el ritmo y el estilo según las instrucciones del usuario. Esto crea una experiencia conversacional más natural y adaptativa. El procesamiento visual también ha mejorado, reduciendo las alucinaciones en la interpretación o generación de imágenes, diagramas y gráficos. Otro avance radica en sus capacidades de memoria, que permiten al sistema recordar entradas anteriores y mantener el contexto durante interacciones prolongadas.
Estas mejoras hacen que GPT-5 sea particularmente valioso para interfaces multimodales accesibles, especialmente para personas con discapacidades sensoriales.
Modelos multimodales centrados en robótica de Google DeepMind
Google DeepMind ha desarrollado Gemini Robotics y Gemini Robotics-ER, modelos diseñados para integrar visión, lenguaje y acción dentro de sistemas robóticos. Estos modelos permiten a los robots realizar tareas en entornos no estructurados, como doblar papel o desenroscar tapas de botellas.
Una característica clave de estos modelos es su mecanismo de seguridad. Antes de ejecutar acciones, el sistema realiza comprobaciones integradas para minimizar los riesgos y garantizar el manejo adecuado de las tareas. Este enfoque aborda uno de los desafíos significativos en robótica: unir el razonamiento avanzado de IA con una ejecución segura y confiable en el mundo real.
Llama 4 Scout y Llama 4 Maverick de Meta IA
Llama 4 Scout es un modelo multimodal con 17 mil millones de parámetros activos y 16 expertos. Este modelo supera a los modelos Llama de la generación anterior y está diseñado para funcionar en una sola GPU H100. Cuenta con una ventana de contexto de 10 millones de tokens para procesar grandes cantidades de información. Los resultados de los benchmarks indican que Llama 4 Scout logra mejores resultados que Gemma 3, Gemini 2.0 Flash-Lite y Mistral 3.1 en una variedad de benchmarks ampliamente reportados.
Llama 4 Maverick es un modelo multimodal con 17 mil millones de parámetros activos y 128 expertos. Este modelo se presenta como un líder en su clase, superando a GPT-4o y Gemini 2.0 Flash en una variedad de benchmarks. Logra un rendimiento comparable al de DeepSeek v3 en razonamiento y codificación, mientras utiliza menos parámetros activos. Una versión experimental de chat de Llama 4 Maverick alcanzó una puntuación ELO de 1417 en la plataforma LMArena.
Generación de imágenes 4o de OpenAI
El último modelo de generación de imágenes de OpenAI, integrado en GPT-4o, unifica la creación textual y visual en un solo sistema. Esta capacidad multimodal permite que GPT-4 genere imágenes basándose en su conocimiento textual y en el contexto de la conversación, creando una interacción entre el lenguaje y lo visual.
A través de la generación en múltiples turnos, los usuarios pueden refinar imágenes de forma conversacional, como se muestra en las figuras a continuación. El modelo se basa en las entradas de texto previas y en las imágenes cargadas para mantener la coherencia. Al analizar los elementos visuales proporcionados por el usuario y aprender en contexto, GPT-4o se adapta a detalles específicos, mejorando su capacidad para producir imágenes conscientes del contexto.
Figura 3: Solicitando la creación de un dibujo utilizando referencias e indicando características de texto para la imagen.
Figura 4: Solicitando la creación de una foto a partir del dibujo y colocándola en una escena.13
Qwen3-VL de Alibaba
La serie Qwen3-VL de Alibaba, lanzada a partir de septiembre de 2025, se basa en el modelo de lenguaje Qwen3 añadiendo capacidades más profundas de percepción y razonamiento visual. La familia incluye variantes densas desde 2B hasta 32B parámetros y variantes de Mezcla de Expertos de hasta 235B parámetros totales (22B activos), todas publicadas bajo la licencia Apache 2.0.
Las características clave incluyen una ventana de contexto nativa de 256K (ampliable a 1 millón de tokens), OCR multilingüe ampliado a 32 idiomas, anclaje de objetos en 2D y 3D para razonamiento espacial e IA encarnada, comprensión de video de larga duración con indexación a nivel de segundos y capacidades de agente visual para el control de interfaces gráficas.
Las variantes Thinking están ajustadas para razonamiento STEM y multimodal, mientras que las variantes Instruct se dirigen a tareas generales de visión-lenguaje como el análisis de documentos, la extracción de gráficos y la respuesta visual a preguntas.
Gemma 3 de Google
Google Gemma 3 se basa en la tecnología de sus modelos Gemini 2.0. Se presenta en cuatro tamaños (1B, 4B, 12B y 27B) para diferentes requisitos de hardware y ofrece una ventana de contexto de 128k tokens. Gemma 3 funciona bien en configuraciones de un solo acelerador e incluye razonamiento textual y visual, llamadas a funciones y soporte para más de 35 idiomas, con preentrenamiento para más de 140. Las versiones cuantizadas reducen el tamaño del modelo y las necesidades de cómputo. El sistema ShieldGemma 2 proporciona clasificación de seguridad de contenido.
Phi-4-multimodal de Microsoft
Microsoft Phi-4-multimodal es un modelo de 5.6B parámetros que procesa voz, visión y texto en una arquitectura unificada. Utiliza el aprendizaje intermodal para interacciones sensibles al contexto entre diferentes tipos de entrada. El modelo maneja múltiples formatos de entrada sin requerir sistemas de procesamiento separados y está diseñado para el despliegue en dispositivos y la computación en el borde. Las aplicaciones incluyen IA para teléfonos inteligentes, sistemas automotrices y servicios multilingües.
¿Qué es un modelo multimodal grande (LMM)?
Un modelo multimodal grande es un tipo avanzado de modelo de inteligencia artificial que puede procesar y comprender múltiples tipos de modalidades de datos. Estos datos multimodales pueden incluir texto, imágenes, audio, video y potencialmente otros. La característica clave de un modelo multimodal es su capacidad para integrar e interpretar información de estas diferentes fuentes de datos, a menudo simultáneamente.
Estos pueden entenderse como versiones más avanzadas de los modelos de lenguaje grandes (LLMs) que pueden trabajar con texto y también con diversos tipos de datos. Además, las salidas de los modelos de lenguaje multimodal están diseñadas para ser textuales, visuales, auditivas, etc.
Los modelos de lenguaje multimodal se consideran el siguiente paso hacia el logro de la inteligencia artificial general.
¿Qué es un agente de IA multimodal?
Los agentes de IA multimodales son sistemas diseñados para interactuar con el mundo utilizando varios tipos de datos, incluyendo imágenes, videos y texto, lo que les permite operar tanto en entornos digitales como físicos. Los modelos multimodales son el componente central de estos agentes, permitiéndoles percibir y comprender información de fuentes diversas.
Por ejemplo, modelos como Magma utilizan la comprensión de visión-lenguaje y la inteligencia espacial, logradas mediante técnicas como Set-of-Mark y Trace-of-Mark durante el preentrenamiento en conjuntos de datos multimodales.
Esto permite al agente realizar tareas que van desde comprender contenido de video y responder preguntas hasta navegar por interfaces de usuario y controlar robots, demostrando las capacidades versátiles que los modelos multimodales aportan a los agentes de IA al aprovechar diferentes modalidades de datos. La siguiente ilustración muestra a Magma planificando trayectorias de robot para realizar tareas, mostrando su inteligencia espacial en acción.14
¿Cuál es la diferencia entre LMMs y LLMs?
1. Modalidades de datos
- LMMs: Están diseñados para comprender y procesar múltiples tipos de entradas de datos, o modalidades. Esto incluye texto, imágenes, audio, video y, a veces, otros tipos de datos como datos sensoriales. La capacidad clave de los LMMs es su capacidad para integrar y dar sentido a estos diferentes formatos de datos, a menudo simultáneamente.
- LLMs: Estos modelos están especializados en procesar y generar datos textuales. Se entrenan principalmente con grandes corpus de texto y son expertos en comprender y generar lenguaje humano en una variedad de contextos. No procesan inherentemente datos no textuales como imágenes o audio.
2. Aplicaciones y tareas
- LMMs: Debido a su naturaleza multimodal, estos modelos pueden aplicarse a tareas que requieren comprender e integrar información a través de diferentes tipos de datos. Por ejemplo, un LMM podría analizar un artículo de noticias (texto), sus fotografías adjuntas (imágenes) y videoclips relacionados para obtener una comprensión integral.
- LLMs: Sus aplicaciones se centran en tareas que involucran texto, como redactar artículos, traducir idiomas, responder preguntas, resumir documentos y crear contenido basado en texto.
¿Cuáles son las modalidades de datos de los modelos multimodales grandes?
Texto
Esto incluye cualquier forma de contenido escrito, como libros, artículos, páginas web y publicaciones en redes sociales. El modelo puede comprender, interpretar y generar contenido textual, incluyendo tareas de procesamiento de lenguaje natural como traducción, resumen y respuesta a preguntas.
Imágenes
Estos modelos pueden analizar y generar datos visuales. Esto incluye comprender el contenido y el contexto de fotografías, ilustraciones y otras representaciones gráficas. Tareas como la clasificación de imágenes, la detección de objetos y la generación de imágenes a partir de descripciones textuales entran en esta categoría.
Audio
Esto abarca grabaciones de sonido, música y lenguaje hablado. Los modelos pueden entrenarse para reconocer voz, música, sonidos ambientales y otras entradas auditivas. Pueden transcribir el habla, comprender comandos hablados e incluso generar voz o música sintética.
Video
Combinando elementos visuales y auditivos, el procesamiento de video implica comprender imágenes en movimiento y sus sonidos acompañantes. Esto puede incluir analizar contenido de video, reconocer acciones o eventos en videos y generar videoclips.
Si bien la mayoría de los modelos grandes de lenguaje multimodal actuales pueden procesar texto e imágenes, las investigaciones futuras buscan incluir entradas de datos de audio y video.
Añadir como fuente preferida¿Cómo se entrenan los modelos multimodales grandes?
El entrenamiento de modelos multimodales grandes (LMMs) difiere significativamente del entrenamiento de modelos de lenguaje grandes (LLMs) en varios aspectos clave:
1. Recopilación y preparación de datos
- LLMs: Se centran en datos de texto de libros, sitios web y fuentes escritas, con énfasis en la diversidad lingüística para las fuentes de datos de entrenamiento de LLM.
- LMMs: Requieren datos de texto, imágenes, audio y video. La recopilación es más compleja debido a los formatos variados. La anotación y alineación de datos entre modalidades son esenciales.
2. Diseño de la arquitectura del modelo
- LLMs: Utilizan arquitecturas de transformador optimizadas para el procesamiento secuencial de texto.
- LMMs: Emplean arquitecturas más complejas que integran múltiples tipos de redes neuronales (CNNs para imágenes, transformers para texto) con mecanismos para conectar estas modalidades.
3. Preentrenamiento
- LLMs: Se preentrenan con corpus de texto utilizando técnicas como el modelado de lenguaje enmascarado.
- LMMs: Se preentrenan con múltiples tipos de datos, aprendiendo a correlacionar texto con imágenes o a comprender secuencias de video.
4. Ajuste fino
- LLMs: Ajuste fino en conjuntos de datos de texto especializados para tareas específicas.
- LMMs: Requieren ajuste fino tanto en conjuntos de datos específicos de modalidad como en conjuntos de datos intermodales para establecer relaciones entre diferentes tipos de datos.
5. Evaluación e iteración
- LLMs: Las métricas de evaluación se centran en tareas de comprensión y generación de lenguaje, incluyendo fluidez, coherencia y relevancia.
- LMMs: Se evalúan con métricas más amplias que cubren el reconocimiento de imágenes, el procesamiento de audio y las capacidades de integración intermodal.
¿Cómo funcionan los LMMs?
Los modelos multimodales grandes comparten similitudes con los modelos de lenguaje grandes en su proceso de entrenamiento, diseño y funcionamiento. Utilizan la misma arquitectura de transformador y estrategias de entrenamiento. Los modelos multimodales grandes se entrenan con:
- Datos de texto
- Millones o miles de millones de imágenes con descripciones de texto
- Videoclips
- Fragmentos de audio
- Otros datos de entrada, como código
Este entrenamiento implica el aprendizaje simultáneo de múltiples modalidades de datos, lo que permite al modelo:
- Reconocer una foto de un gato
- Identificar una palabra en un clip de audio
- Comprender conceptos y detalles sensoriales más allá del texto
De esta manera, los usuarios pueden cargar:
- Una imagen para:
- Obtener una descripción de lo que está sucediendo
- Usar la imagen como parte de un prompt para generar texto o imágenes
- Hacer preguntas de seguimiento sobre elementos específicos de la imagen
- Traducir el texto de la imagen a un idioma diferente (p. ej., un menú)
Figura 5: Cargando una imagen de un gato en ChatGPT para describirla.
- Gráficos y tablas para:
- Hacer preguntas de seguimiento complicadas sobre lo que muestran
- Maqueta de diseño para:
- Obtener el código HTML y CSS necesario para crearla.
Figura 6: Solicitando la imagen al estilo de película de Wes Anderson. ChatGPT introduce el prompt en un modelo de generación de imágenes (como DALL·E), que interpreta la solicitud y produce la imagen estilizada.
Después del proceso de entrenamiento, los modelos pueden incorporar estereotipos poco saludables e ideas tóxicas. Para refinarlos, se pueden utilizar técnicas como:
- Aprendizaje por refuerzo con retroalimentación humana (RLHF)
- Modelos de IA supervisores
- Red teaming (prueba de la robustez del modelo).
Además, las herramientas de gobernanza de IA y las herramientas de IA responsable, que funcionan como soluciones de cumplimiento de IA, también pueden permitir la optimización del inventario de IA, ayudando a prevenir el sesgo de IA y otros dilemas éticos. Aquí hay un ejemplo de cómo estas herramientas abordan las preocupaciones de derechos de autor de la IA generativa:
Figura 7: ChatGPT rechaza mi solicitud debido a las pautas de la política de contenido para proteger los derechos de autor.
El objetivo es desarrollar un sistema multimodal funcional capaz de manejar:
- Síntesis de texto a imagen
- Subtitulado de imágenes
- Recuperación de imágenes basada en texto
- Respuesta visual a preguntas.
De esta manera, la IA multimodal puede integrar varias modalidades, proporcionando capacidades avanzadas para tareas que involucran tanto lenguaje como visión.
¿Cuáles son las limitaciones de los modelos de lenguaje grandes?
- Requisitos de datos y sesgo: Estos modelos requieren conjuntos de datos masivos y diversos para el entrenamiento. Sin embargo, la disponibilidad y calidad de dichos conjuntos de datos puede ser un desafío. Además, si los datos de entrenamiento contienen sesgos, es probable que el modelo los herede y posiblemente los amplifique, lo que lleva a resultados injustos o poco éticos.
- Recursos computacionales: Entrenar y ejecutar modelos multimodales grandes requiere importantes recursos computacionales, lo que los hace costosos y menos accesibles para organizaciones más pequeñas o investigadores independientes.
- Interpretabilidad y explicabilidad: Como ocurre con los modelos de IA complejos, entender cómo toman decisiones puede ser difícil. Esta falta de transparencia puede ser un problema crítico, especialmente en aplicaciones sensibles como la atención médica o la aplicación de la ley.
- Integración de modalidades: Integrar eficazmente diferentes tipos de datos (como texto, imágenes y audio) de manera que realmente se comprendan los matices de cada modalidad es extremadamente desafiante. Es posible que el modelo no siempre capte con precisión el contexto o las sutilezas de la comunicación humana que provienen de la combinación de estas modalidades.
- Generalización y sobreajuste: Si bien estos modelos se entrenan con vastos conjuntos de datos, pueden tener dificultades para generalizar a datos o escenarios nuevos no vistos que difieran significativamente de sus datos de entrenamiento. Por el contrario, pueden sobreajustarse a los datos de entrenamiento, capturando ruido y anomalías como patrones.
Para obtener más información, explore los desafíos y riesgos asociados con los modelos generativos y de lenguaje.
Metodología de benchmark para LMMs
Evaluamos el rendimiento de los Modelos Multimodales Grandes (LMMs) utilizando un subconjunto del conjunto de datos FinMME15 , un benchmark integral diseñado para evaluar las capacidades de razonamiento multimodal financiero. FinMME comprende más de 11,000 muestras financieras de alta calidad en 18 dominios financieros y 6 clases de activos, proporcionando un marco sólido para evaluar LMMs en el ámbito financiero.
Para esta evaluación, utilizamos una selección curada de 100 muestras del conjunto de datos FinMME para analizar la capacidad de los modelos para procesar y razonar con datos financieros multimodales.
Descargo de responsabilidad
Esta evaluación utilizó un subconjunto curado de 100 muestras de un conjunto de datos más amplio para evaluar los LMMs. Para una evaluación integral del rendimiento del modelo, se deben considerar todas las muestras en el conjunto de datos de referencia completo.
Conclusión
Los modelos multimodales grandes (LMMs) integran diversos tipos de datos, como texto, imágenes, audio y video, superando así las capacidades solo de texto de los modelos de lenguaje grandes (LLMs). Con avances como Meta IA’s Llama 4, OpenAI’s GPT-4o y Qwen2.5-VL de Alibaba, los LMMs permiten aplicaciones más ricas, desde el razonamiento visual hasta la generación de imágenes contextuales.
Sin embargo, su complejidad, altas demandas computacionales y los desafíos relacionados con la integración de datos y la mitigación de sesgos siguen siendo obstáculos. A medida que los LMMs evolucionan, allanan el camino hacia agentes de IA más versátiles, acercándonos a la inteligencia artificial general. Para las organizaciones e investigadores, seleccionar el modelo adecuado implica lograr un equilibrio entre el rendimiento, el costo y las necesidades específicas del caso de uso.
Cita este benchmark
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Modelos Multimodales Grandes (LMMs) vs LLMs}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/large-multimodal-models}},
note = {AIMultiple. Recuperado el 22 de Mayo de 2026}
}Enlaces de referencia
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.