Modelos grandes multimodales (LMM) frente a LLMs
Evalúamos el rendimiento de los Modelos grandes multimodales (LMM) en tareas de razonamiento financiero utilizando un conjunto de datos cuidadosamente seleccionado. Al analizar un subconjunto de muestras financieras de alta calidad, evaluamos las capacidades de los modelos para procesar y razonar con datos multimodales en el ámbito financiero.
La sección de metodología proporciona información detallada sobre el conjunto de datos y el marco de evaluación empleados.
Explore modelos grandes multimodales y compárelos con modelos grandes de lenguaje.
¿Por qué los modelos tuvieron rendimientos diferentes?
La variación en las tasas de éxito refleja diferencias en cómo cada modelo procesa tareas multimodales financieras. Dado que el benchmark utiliza muestras del conjunto de datos FinMME, que requieren integrar texto y elementos visuales financieros como gráficos y documentos estructurados, el rendimiento depende fuertemente de la arquitectura del modelo, la calidad del entrenamiento y la alineación multimodal.
Arquitectura del modelo y diseño de parámetros
Los modelos difieren en cómo combinan codificadores de texto e imagen, en la cantidad de parámetros activos y en la complejidad de su enrutamiento de expertos.
- Llama 4 Maverick, por ejemplo, utiliza un diseño basado en expertos más amplio, lo que permite un razonamiento más sólido.
- Los modelos más pequeños o enfocados en eficiencia tienen menos parámetros alineados al razonamiento multimodal, lo que limita su rendimiento.
Estas distinciones arquitectónicas afectan la capacidad de cada modelo para interpretar relaciones numéricas, estructuras de gráficos y elementos visuales específicos del dominio.
Cobertura de datos de entrenamiento
Algunos modelos están entrenados con grandes conjuntos de datos multimodales, mientras que otros dependen principalmente de datos de propósito general.
- Los modelos de las familias Claude 4 y Qwen 2.5 incorporan grandes volúmenes de datos visuales y textuales, mejorando su capacidad para alinear señales numéricas y visuales.
- Los modelos entrenados con corpus multimodales más limitados tienen dificultades con gráficos financieros y diagramas estructurados.
Los datos de entrenamiento influyen directamente en la confiabilidad con que un modelo maneja conceptos financieros cruzados entre modalidades.
Ajuste fino para razonamiento cruzado entre modalidades
El benchmark requiere coordinación entre la interpretación de imágenes y el razonamiento basado en texto.
- Se describe que los modelos Claude 4 tienen buen desempeño en tareas que involucran gráficos y diagramas.
- Los modelos sin ajuste fino específico para tareas cruzadas entre modalidades pueden detectar características visuales correctamente, pero fallar al conectarlas con lenguaje o lógica financiera.
La estrategia de ajuste fino de un modelo afecta su capacidad para fusionar señales textuales y visuales durante el análisis.
Capacidad de manejo del contexto
Las muestras financieras a menudo contienen múltiples elementos que deben leerse juntos, como gráficos de varias partes o descripciones extensas.
- Los modelos con ventanas de contexto más amplias pueden mantener relaciones a lo largo de entradas largas.
- Los modelos más limitados pueden perder dependencias, reduciendo la precisión en tareas que requieren rastrear múltiples componentes visuales y textuales.
El tamaño de la ventana de contexto influye en cómo de bien un modelo mantiene la alineación entre detalles cuantitativos y visuales.
Tamaño del modelo y prioridades de eficiencia
Algunos modelos están diseñados deliberadamente para despliegues ligeros en lugar de razonamiento de alta complejidad.
- Phi-4 multimodal y modelos similares priorizan la eficiencia, limitando la profundidad del procesamiento multimodal.
- Los modelos más grandes mantienen una mayor capacidad para tareas de razonamiento que implican una comprensión detallada de gráficos.
Este compromiso resulta en puntuaciones más bajas para modelos más pequeños.
Diferencias en la comprensión visual
La evaluación incluye tareas que requieren lectura precisa de gráficos, identificación de objetos en documentos financieros y extracción de detalles visuales.
- Los modelos con tuberías visuales avanzadas, como las variantes Qwen 2.5-VL, manejan estas tareas más eficazmente.
- Otros pueden manejar imágenes genéricas bien, pero tener un desempeño inconsistente con elementos visuales financieros estructurados.
La fortaleza en el razonamiento visual afecta fuertemente los resultados en muestras del estilo FinMME.
Características del conjunto de datos de evaluación
El conjunto de datos se centra en el razonamiento financiero multimodal en lugar de tareas de propósito general.
- Los modelos entrenados o ajustados para tareas financieras, numéricas o basadas en gráficos tienen mejor desempeño.
- Los modelos generalistas sin exposición al dominio muestran menor precisión en conjuntos de datos financieros.
La especialización del conjunto de datos hace que el rendimiento sea más sensible a la calidad del razonamiento cruzado entre modalidades.
¿Qué son los modelos grandes multimodales de código abierto?
LMM de código abierto con su número de estrellas en GitHub:
El gráfico muestra que la popularidad en GitHub de varios LMM de código abierto ha ido en aumento, con algunos modelos experimentando una adopción rápida poco después de su lanzamiento.
Janus-Series de DeepSeek obtuvo miles de estrellas en GitHub en pocos días tras el lanzamiento de Janus-Pro el 27 de enero de 2025, superando a sus competidores, que tardaron meses en alcanzar números similares. Este rápido ascenso no solo se debió al éxito de Janus-Pro, sino también a la inercia creada por DeepSeek-R1.
- Gemma 3 por Google: Gemma 3 es una familia de modelos abiertos ligeros y de vanguardia derivados de la tecnología Gemini 2.0. Estos modelos ofrecen capacidades avanzadas de razonamiento textual y visual, una ventana de contexto de 128 mil tokens, soporte para llamadas de funciones y versiones cuantizadas para un rendimiento optimizado. Incluye ShieldGemma 2 para la seguridad de imágenes y soporta diversas herramientas y opciones de despliegue.1
- Janus-Pro por DeepSeek: Janus-Pro es una versión avanzada del modelo Janus, diseñado para entender y generar texto e imágenes. Cuenta con una estrategia de entrenamiento optimizada, datos de entrenamiento ampliados y un tamaño de modelo mayor, mejorando sus capacidades multimodales.2
- Qwen2.5-VL por Alibaba: Qwen2.5-VL de Alibaba es una extensión multimodal del modelo de lenguaje Qwen2.5, diseñada para entender texto e imagen. Cuenta con preentrenamiento a gran escala (hasta 18 billones de tokens), una ventana de contexto extendida (hasta 128 mil tokens), mejor seguimiento de instrucciones y sólido soporte multilingüe, lo que lo hace adecuado para tareas como generación de descripciones de imágenes y respuesta a preguntas visuales. 3
- Partiendo de la serie Qwen2.5-VL, Alibaba optimizó y liberó como código abierto Qwen2.5-VL-32B-Instruct, un modelo VL de 32B que incorpora una comprensión y razonamiento visual más detallados. Esto resulta en un mejor rendimiento y análisis detallado en tareas como análisis de imágenes, reconocimiento de contenido y deducción lógica visual.4
- CLIP (Contrastive Language–Image Pretraining) por OpenAI: CLIP está diseñado para entender imágenes en el contexto del lenguaje natural. Puede realizar tareas como clasificación de imágenes sin entrenamiento previo, donde puede clasificar imágenes con precisión incluso en categorías para las que no fue entrenado explícitamente, entendiendo descripciones textuales.5
- Partiendo de la serie Qwen2.5-VL, Alibaba optimizó y liberó como código abierto Qwen2.5-VL-32B-Instruct, un modelo VL de 32B que incorpora una comprensión y razonamiento visual más detallados. Esto resulta en un mejor rendimiento y análisis detallado en tareas como análisis de imágenes, reconocimiento de contenido y deducción lógica visual.6
- Flamingo por DeepMind: Flamingo está diseñado para aprovechar las fortalezas del entendimiento del lenguaje y visual, haciéndolo capaz de realizar tareas que requieren interpretar e integrar información de texto e imágenes.7
Figura 1: Un ejemplo tomado de Chip Huyen8
¿Cuáles son los principales LMM?
Características de interfaz de usuario y API de LLMs de propósito general
Los proveedores se seleccionan entre los LLMs multimodales más populares según comparabilidad, disponibilidad de datos y actualidad.
LMM con su precio por token:
Para seleccionar el modelo más adecuado, considere factores como su presupuesto, las capacidades y nivel de rendimiento requeridos, y el volumen esperado de tokens de entrada/salida necesarios para su caso de uso específico.
Lea más sobre la fijación de precios de LLM.
¿Cuáles son los últimos avances en modelos multimodales?
Los avances recientes en modelos multimodales han introducido nuevas capacidades y eficiencias en el desarrollo de IA.
Modelos fundamentales multimodales centrados en video
Los modelos fundamentales multimodales centrados en video están avanzando más allá de generar descripciones o resúmenes generales y están aprendiendo a localizar explícitamente evidencia dentro de videos.
En lugar de decir qué sucede, pueden identificar cuándo sucede (marcas de tiempo) y dónde sucede (cuadros delimitadores alrededor de objetos o regiones).
Este cambio hacia el anclaje espacio-temporal hace que la comprensión de video sea más precisa y verificable. También permite tareas como encontrar momentos exactos, rastrear objetos en el tiempo, editar videos usando lenguaje natural y apoyar sistemas robóticos y críticos para la seguridad.
Por ejemplo, Vidi9 es un proyecto de código abierto de ByteDance enfocado en modelos grandes multimodales para comprensión y edición de video.
El repositorio aloja el código y recursos para una familia de modelos (por ejemplo, Vidi-7B, Vidi1.5-9B, Vidi2 y Vidi2.5) que toman visión, audio y texto como entradas para realizar tareas como:
- Recuperación temporal (encontrar segmentos de tiempo en un video que coincidan con una consulta textual)
- Anclaje espacio-temporal (localizar objetos en el tiempo con cuadros delimitadores)
- Respuesta a preguntas sobre video
Lanzamiento frontera multimodal Mistral 3
Mistral AI ha desarrollado una nueva familia de modelos de IA de código abierto llamada Mistral 3. La suite Mistral 3 comprende modelos multimodales/multilingües de nivel frontera y modelos más pequeños y eficientes diseñados para funcionar en una variedad de dispositivos, desde la nube hasta el borde, e incluso en una sola GPU.
Lanzados bajo una licencia de código abierto permisiva (Apache 2.0), estos modelos buscan democratizar el acceso a IA avanzada, permitir personalización y flexibilidad de despliegue, y fortalecer la posición de Europa en el desarrollo de IA, donde existen preocupaciones por quedarse atrás frente a EE. UU. y China en tecnologías de vanguardia.10
Modelos de lenguaje y visión de código abierto con mezcla de expertos (MoE)
Kimi-VL (de Moonshot AI) es un modelo multimodal de lenguaje y visión de código abierto construido con una arquitectura de Mezcla de Expertos (MoE), que realiza tareas que combinan texto, imágenes y video manteniendo el cálculo eficiente.
Tiene un total de 16 mil millones de parámetros, pero típicamente activa solo ~2.8 mil millones durante la inferencia, lo que ayuda a equilibrar capacidad y costo.
Kimi-VL está diseñado para razonamiento multimodal avanzado, comprensión de contexto largo (hasta ~128 mil tokens) e interacciones estilo agente, y compite bien con modelos más grandes en benchmarks como comprensión de video, reconocimiento óptico de caracteres (OCR), razonamiento matemático y tareas con múltiples imágenes.
Variantes como Kimi-VL-A3B-Thinking están aún más ajustadas para tareas de razonamiento en cadena de pensamiento, mientras que el codificador visual MoonViT permite comprensión de entradas de alta resolución.
Figura 2: Diseño de la arquitectura Kimi-VL.11
La serie Claude 4 de Anthropic
La serie Anthropic’s Claude 4 integra una comprensión visual avanzada con su motor de razonamiento basado en texto, incorporando la visión directamente en flujos de trabajo de resolución de problemas.
Los modelos Claude 4 demuestran un buen rendimiento en benchmarks de razonamiento multimodal como MMMU, especialmente en la interpretación de gráficos, diagramas y datos visuales complejos. Una característica distintiva de Claude Opus 4.1 es su capacidad para evaluar cualidades estéticas dentro de imágenes, yendo más allá del reconocimiento hacia evaluaciones más matizadas.
Estas capacidades, combinadas con las funciones agente de Claude, hacen que la serie sea efectiva para tareas como sintetizar investigaciones a partir de informes con texto y visuales mixtos o ayudar en el diseño de interfaces mediante el análisis de maquetas visuales.
El Gemini 3 de Google
Google lanzó Gemini 3 en noviembre de 2025, con Gemini 3 Pro disponible inmediatamente y el modo Gemini 3 Deep Think disponible poco después para suscriptores de Google AI Ultra. Gemini 3 es presentado por Google como su modelo multimodal más inteligente y capaz, con soporte nativo para texto, imágenes, video, audio y código dentro de una sola arquitectura.
Gemini 3 Pro incluye una ventana de contexto de un millón de tokens y obtiene buenos resultados en benchmarks multimodales, incluyendo 81 % en MMMU-Pro y 87,6 % en Video-MMMU. Encabezó el LMArena Leaderboard al momento de su lanzamiento con una puntuación de 1501 Elo, y obtuvo 91,9 % en GPQA Diamond para razonamiento a nivel de posgrado y 76,2 % en SWE-bench Verified para tareas de codificación agente.
Gemini 3 Deep Think es un modo de razonamiento mejorado que incrementa aún más el rendimiento en las tareas más exigentes, obteniendo 41,0 % en Humanity’s Last Exam (sin herramientas) y 45,1 % en ARC-AGI-2. Junto con Gemini 3, Google también lanzó Google Antigravity, una plataforma de desarrollo agente que combina Gemini 3 con el modelo Gemini 2.5 Computer Use para control del navegador y el modelo de edición de imágenes Nano Banana, permitiendo flujos de trabajo de desarrollo de software de extremo a extremo en los que el modelo puede planificar, codificar y validar tareas de forma autónoma.12
GPT-5 por OpenAI
GPT-5 introduce una multimodalidad nativa mejorada en texto, voz, imagen y video. A diferencia de sistemas anteriores que dependían fuertemente de complementos, GPT-5 integra estas modalidades dentro de una arquitectura unificada, lo que resulta en una interacción más fluida. El modelo se adapta flexiblemente a diversos tipos de entrada y puede transitar entre ellos.
Una característica notable es su Modo de Voz en Tiempo Real, que puede ajustar el tono, ritmo y estilo según las instrucciones del usuario. Esto crea una experiencia conversacional más natural y adaptable. El procesamiento visual también ha mejorado, reduciendo las alucinaciones al interpretar o generar imágenes, diagramas y gráficos. Otro avance radica en sus capacidades de memoria, que permiten al sistema recordar entradas anteriores y mantener el contexto durante interacciones prolongadas.
Estas mejoras hacen que GPT-5 sea especialmente valioso para interfaces multimodales accesibles, especialmente para personas con discapacidades sensoriales.
Modelos multimodales centrados en robótica de Google DeepMind
Google DeepMind ha desarrollado Gemini Robotics y Gemini Robotics-ER, modelos diseñados para integrar visión, lenguaje y acción dentro de sistemas robóticos. Estos modelos permiten que los robots realicen tareas en entornos no estructurados, como doblar papel o desenroscar tapas de botellas.
Una característica clave de estos modelos es su mecanismo de seguridad. Antes de ejecutar acciones, el sistema realiza verificaciones integradas para minimizar riesgos y asegurar el manejo adecuado de tareas. Este enfoque aborda uno de los desafíos importantes en robótica: conectar el razonamiento avanzado de IA con la ejecución segura y confiable en el mundo real.
Llama 4 Scout y Llama 4 Maverick por Meta AI
Llama 4 Scout es un modelo multimodal con 17 mil millones de parámetros activos y 16 expertos. Este modelo supera a las generaciones anteriores de Llama y está diseñado para funcionar en una sola H100 GPU. Cuenta con una ventana de contexto de 10 millones de tokens para procesar grandes cantidades de información. Los resultados de benchmarks indican que Llama 4 Scout obtiene mejores resultados que Gemma 3, Gemini 2.0 Flash-Lite y Mistral 3.1 en una variedad de benchmarks ampliamente reportados.
Llama 4 Maverick es un modelo multimodal con 17 mil millones de parámetros activos y 128 expertos. Este modelo se presenta como un destacado rendimiento en su clase, superando a GPT-4o y Gemini 2.0 Flash en una variedad de benchmarks. Alcanza un rendimiento comparable al de DeepSeek v3 en razonamiento y codificación, usando menos parámetros activos. Una versión experimental de chat de Llama 4 Maverick alcanzó una puntuación ELO de 1417 en la plataforma LMArena.
Generación de imágenes 4o por OpenAI
El último modelo de generación de imágenes de OpenAI, integrado dentro de GPT-4o, integra creación textual y visual en un sistema unificado. Esta capacidad multimodal permite que GPT-4 genere imágenes aprovechando su conocimiento basado en texto y el contexto de la conversación, creando una interacción entre lenguaje y visuales.
Mediante generación en múltiples turnos, los usuarios pueden refinar imágenes de forma conversacional, como se muestra en las figuras a continuación. El modelo se basa en entradas textuales previas e imágenes cargadas para mantener la coherencia. Al analizar visuales proporcionados por el usuario y aprender en contexto, GPT-4o se adapta a detalles específicos, mejorando su capacidad para producir imágenes conscientes del contexto.
Figura 3: Solicitando la creación de un dibujo usando referencias e indicando características de texto para la imagen.
Figura 4: Solicitando la creación de una foto a partir del dibujo y colocándola en una escena.13
Qwen3-VL por Alibaba
La serie Qwen3-VL de Alibaba, lanzada a partir de septiembre de 2025, se basa en el modelo de lenguaje Qwen3 añadiendo capacidades más profundas de percepción y razonamiento visual. La familia incluye variantes densas de 2B a 32B de parámetros y variantes de Mezcla de Expertos de hasta 235B de parámetros totales (22B activos), todas lanzadas bajo la licencia Apache 2.0.
Características clave incluyen una ventana de contexto nativa de 256K (ampliable a 1 millón de tokens), OCR multilingüe ampliado en 32 idiomas, anclaje de objetos 2D y 3D para razonamiento espacial e IA encarnada, comprensión de video de horas con indexación a nivel de segundo y capacidades de agente visual para control de GUI.
Las variantes Thinking están ajustadas para STEM y razonamiento multimodal, mientras que las variantes Instruct se enfocan en tareas generales de lenguaje y visión como análisis de documentos, extracción de gráficos y respuesta a preguntas visuales.
Gemma 3 por Google
Gemma 3 de Google se basa en la tecnología de sus modelos Gemini 2.0. Viene en cuatro tamaños (1B, 4B, 12B y 27B) para diferentes requisitos de hardware y ofrece una ventana de contexto de 128 mil tokens. Gemma 3 tiene buen desempeño en configuraciones con un solo acelerador e incluye razonamiento textual y visual, llamadas de funciones y soporte para más de 35 idiomas, con preentrenamiento en más de 140. Las versiones cuantizadas reducen el tamaño del modelo y las necesidades computacionales. El sistema ShieldGemma 2 proporciona clasificación de seguridad de contenido.
Phi-4-multimodal por Microsoft
Phi-4-multimodal de Microsoft es un modelo de 5,6 mil millones de parámetros que procesa voz, visión y texto en una arquitectura unificada. Usa aprendizaje cruzado entre modalidades para interacciones conscientes del contexto entre diferentes tipos de entrada. El modelo maneja múltiples formatos de entrada sin requerir sistemas de procesamiento separados y está diseñado para despliegue en dispositivos y computación de borde. Aplicaciones incluyen IA para smartphones, sistemas automotrices y servicios multilingües.
¿Qué es un modelo grande multimodal (LMM)?
Un modelo grande multimodal es un tipo avanzado de modelo de inteligencia artificial que puede procesar y comprender múltiples tipos de modalidades de datos. Estos datos multimodales pueden incluir texto, imágenes, audio, video y potencialmente otros. La característica clave de un modelo multimodal es su capacidad para integrar e interpretar información de estas diferentes fuentes de datos, a menudo simultáneamente.
Estos pueden entenderse como versiones más avanzadas de modelos grandes de lenguaje (LLMs) que pueden trabajar con texto y también con diversos tipos de datos. Además, las salidas de los modelos de lenguaje multimodal están diseñadas para ser no solo textuales, sino también visuales, auditivas, etc.
Se considera que los modelos de lenguaje multimodal son el siguiente paso hacia la inteligencia artificial general.
¿Qué es un agente de IA multimodal?
Los agentes de IA multimodal son sistemas diseñados para interactuar con el mundo usando diversos tipos de datos, incluyendo imágenes, videos y texto, permitiéndoles operar tanto en entornos digitales como físicos. Los modelos multimodales son el componente central de estos agentes, permitiéndoles percibir y comprender información de diversas fuentes.
Por ejemplo, modelos como Magma utilizan comprensión de lenguaje y visión y una inteligencia espacial, lograda mediante técnicas como Set-of-Mark y Trace-of-Mark durante el preentrenamiento en conjuntos de datos multimodales.
Esto permite al agente realizar tareas que van desde comprender contenido de video y responder preguntas hasta navegar interfaces de usuario y controlar robots, demostrando las capacidades versátiles que los modelos multimodales aportan a los agentes de IA aprovechando diferentes modalidades de datos. La ilustración a continuación muestra a Magma planificando trayectorias de robots para realizar tareas, mostrando su inteligencia espacial en acción.14
¿Cuál es la diferencia entre LMM y LLMs?
1. Modalidades de datos
- LMM: Están diseñados para entender y procesar múltiples tipos de entradas de datos, o modalidades. Esto incluye texto, imágenes, audio, video y a veces otros tipos de datos como datos sensoriales. La capacidad clave de los LMM es su habilidad para integrar y dar sentido a estos diferentes formatos de datos, a menudo simultáneamente.
- LLMs: Estos modelos están especializados en procesar y generar datos textuales. Se entrenan principalmente en grandes corpus de texto y son hábiles para entender y generar lenguaje humano en una variedad de contextos. No procesan inherentemente datos no textuales como imágenes o audio.
2. Aplicaciones y tareas
- LMM: Debido a su naturaleza multimodal, estos modelos pueden aplicarse a tareas que requieren entender e integrar información de diferentes tipos de datos. Por ejemplo, un LMM podría analizar un artículo de noticias (texto), sus fotografías acompañantes (imágenes) y clips de video relacionados para obtener una comprensión integral.
- LLMs: Sus aplicaciones giran en torno a tareas que implican texto, como escribir artículos, traducir idiomas, responder preguntas, resumir documentos y crear contenido basado en texto.
Añadir como fuente preferida¿Cuáles son las modalidades de datos de los modelos grandes multimodales?
Texto
Esto incluye cualquier forma de contenido escrito, como libros, artículos, páginas web y publicaciones en redes sociales. El modelo puede entender, interpretar y generar contenido textual, incluyendo tareas de procesamiento de lenguaje natural como traducción, resumen y respuesta a preguntas.
Imágenes
Estos modelos pueden analizar y generar datos visuales. Esto incluye entender el contenido y contexto de fotografías, ilustraciones y otras representaciones gráficas. Tareas como clasificación de imágenes, detección de objetos y generación de imágenes a partir de descripciones textuales entran en esta categoría.
Audio
Esto abarca grabaciones de sonido, música y lenguaje hablado. Los modelos pueden entrenarse para reconocer el habla, música, sonidos ambientales y otras entradas auditivas. Pueden transcribir habla, entender comandos hablados e incluso generar habla sintética o música.
Video
Combinando elementos visuales y auditivos, el procesamiento de video implica entender imágenes en movimiento y sus sonidos acompañantes. Esto puede incluir analizar contenido de video, reconocer acciones o eventos en videos y generar clips de video.
Aunque la mayoría de los modelos grandes de lenguaje multimodal actuales solo pueden procesar texto e imágenes, la investigación futura apunta a incluir entradas de datos de audio y video.
¿Cómo se entrenan los modelos grandes multimodales?
El entrenamiento de modelos grandes multimodales (LMM) difiere significativamente del entrenamiento de modelos grandes de lenguaje (LLMs) en varios aspectos clave:
1. Recopilación y preparación de datos
- LLMs: Se enfocan en datos textuales de libros, sitios web y fuentes escritas, con énfasis en la diversidad lingüística para fuentes de datos para entrenamiento de LLM.
- LMM: Requieren datos de texto, imágenes, audio y video. La recopilación es más compleja debido a los diversos formatos. La anotación y alineación de datos entre modalidades son esenciales.
2. Diseño de arquitectura del modelo
- LLMs: Usan arquitecturas de transformadores optimizadas para el procesamiento secuencial de texto.
- LMM: Emplean arquitecturas más complejas que integran múltiples tipos de redes neuronales (CNN para imágenes, transformadores para texto) con mecanismos para conectar estas modalidades.
3. Preentrenamiento
- LLMs: Se preentrenan en corpus de texto usando técnicas como modelado de lenguaje enmascarado.
- LMM: Se preentrenan en múltiples tipos de datos, aprendiendo a correlacionar texto con imágenes o entender secuencias de video.
4. Ajuste fino
- LLMs: Se ajustan finamente en conjuntos de datos textuales especializados para tareas específicas.
- LMM: Requieren ajuste fino en conjuntos de datos específicos por modalidad y en conjuntos de datos cruzados para establecer relaciones entre diferentes tipos de datos.
5. Evaluación e iteración
- LLMs: Las métricas de evaluación se centran en tareas de comprensión y generación de lenguaje, incluyendo fluidez, coherencia y relevancia.
- LMM: Se evalúan con métricas más amplias que cubren reconocimiento de imágenes, procesamiento de audio y capacidades de integración cruzada.
¿Cómo funcionan los LMM?
Los modelos grandes multimodales comparten similitudes con los modelos grandes de lenguaje en su proceso de entrenamiento, diseño y operación. Usan la misma arquitectura de transformador y estrategias de entrenamiento. Los modelos grandes multimodales se entrenan en:
- Datos textuales
- Millones o miles de millones de imágenes con descripciones textuales
- Clips de video
- Fragmentos de audio
- Otros datos de entrada, como código
Este entrenamiento implica el aprendizaje simultáneo de múltiples modalidades de datos, permitiendo al modelo:
- Reconocer una foto de un gato
- Identificar una palabra en un clip de audio
- Entender conceptos y detalles sensoriales más allá del texto
De esta manera, los usuarios pueden subir:
- Una imagen para:
- Obtener una descripción de lo que está sucediendo
- Usar la imagen como parte de un prompt para generar texto o imágenes
- Hacer preguntas de seguimiento sobre elementos específicos de la imagen
- Traducir el texto de la imagen a otro idioma (por ejemplo, un menú)
Figura 5: Subiendo una imagen de un gato en ChatGPT para describirla.
- Gráficos y diagramas para:
- Hacer preguntas complejas de seguimiento sobre lo que muestran
- Maqueta de diseño para:
- Obtener el código HTML y CSS necesario para crearla.
Figura 6: Solicitando la imagen en estilo de película de Wes Anderson. ChatGPT envía el prompt a un modelo de generación de imágenes (como DALL·E), que interpreta la solicitud y produce la imagen con estilo.
Después del proceso de entrenamiento, los modelos podrían incorporar estereotipos dañinos e ideas tóxicas. Para refinarlos, se pueden usar técnicas como:
- Aprendizaje por refuerzo con retroalimentación humana (RLHF)
- Modelos supervisores de IA
- Red teaming (probar la robustez del modelo)
Además, herramientas de gobernanza de IA y herramientas de IA responsable, que funcionan como soluciones de cumplimiento de IA, también pueden permitir la optimización del inventario de IA, ayudando a prevenir sesgos en IA y otros dilemas éticos. A continuación se muestra un ejemplo de cómo estas herramientas abordan las preocupaciones sobre derechos de autor en IA generativa:
Figura 7: ChatGPT rechaza mi solicitud debido a las directrices de política de contenido para proteger los derechos de autor.
El objetivo es desarrollar un sistema multimodal funcional capaz de manejar:
- Síntesis de texto a imagen
- Generación de descripciones de imágenes
- Recuperación de imágenes basada en texto
- Respuesta a preguntas visuales.
De esta manera, la IA multimodal puede integrar varias modalidades, proporcionando capacidades avanzadas para tareas que involucran tanto lenguaje como visión.
¿Cuáles son las limitaciones de los modelos grandes de lenguaje?
- Requisitos de datos y sesgo: Estos modelos requieren conjuntos de datos masivos y diversos para entrenarse. Sin embargo, la disponibilidad y calidad de tales conjuntos pueden ser un desafío. Además, si los datos de entrenamiento contienen sesgos, es probable que el modelo los herede y posiblemente los amplifique, lo que lleva a resultados injustos o poco éticos.
- Recursos computacionales: Entrenar y ejecutar modelos grandes multimodales requiere recursos computacionales significativos, lo que los hace costosos y menos accesibles para organizaciones pequeñas o investigadores independientes.
- Interpretabilidad y explicabilidad: Como con modelos complejos de IA, entender cómo toman decisiones puede ser difícil. Esta falta de transparencia puede ser un problema crítico, especialmente en aplicaciones sensibles como la atención médica o la aplicación de la ley.
- Integración de modalidades: Integrar eficazmente diferentes tipos de datos (como texto, imágenes y audio) de una manera que entienda verdaderamente los matices de cada modalidad es extremadamente difícil. El modelo podría no siempre captar con precisión el contexto o las sutilezas de la comunicación humana que surgen de combinar estas modalidades.
- Generalización y sobreajuste: Aunque estos modelos se entrenan con grandes conjuntos de datos, podrían tener dificultades para generalizar a datos nuevos y no vistos o escenarios que difieran significativamente de sus datos de entrenamiento. Por el contrario, podrían sobreajustar los datos de entrenamiento, capturando ruido y anomalías como patrones.
Para obtener más información, explore los desafíos y riesgos asociados con modelos generativos y de lenguaje.
Metodología de benchmark para LMM
Evaluamos el rendimiento de Modelos grandes multimodales (LMM) usando un subconjunto del conjunto de datos FinMME15 , un benchmark integral diseñado para evaluar capacidades de razonamiento financiero multimodal. FinMME comprende más de 11.000 muestras financieras de alta calidad en 18 dominios financieros y 6 clases de activos, proporcionando un marco robusto para evaluar LMM en el ámbito financiero.
Para este benchmark, utilizamos una selección curada de 100 muestras del conjunto de datos FinMME para analizar la capacidad de los modelos para procesar y razonar con datos financieros multimodales.
Descargo de responsabilidad
Esta evaluación utilizó un subconjunto curado de 100 muestras de un conjunto de datos más grande para evaluar LMM. Para una evaluación completa del rendimiento del modelo, deben considerarse todas las muestras del conjunto de datos completo.
Conclusión
Los modelos grandes multimodales (LMM) están integrando diversos tipos de datos, como texto, imágenes, audio y video, superando así las capacidades exclusivamente textuales de los modelos grandes de lenguaje (LLMs). Con avances como Meta AI’s Llama 4, OpenAI’s GPT-4o y Qwen2.5-VL de Alibaba, los LMM permiten aplicaciones más ricas, desde razonamiento visual hasta generación de imágenes consciente del contexto.
Sin embargo, su complejidad, altas demandas computacionales y desafíos relacionados con la integración de datos y la mitigación de sesgos siguen siendo obstáculos. A medida que los LMM evolucionan, allanan el camino para agentes de IA más versátiles, acercándonos a la inteligencia artificial general. Para organizaciones e investigadores, seleccionar el modelo adecuado implica encontrar un equilibrio entre rendimiento, costo y las necesidades específicas del caso de uso.
Cita este benchmark
Elige el formato que se ajuste al lugar donde vas a publicar. Pegar la versión con enlace en tu CMS conserva el enlace de retroceso.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Modelos grandes multimodales (LMM) frente a LLMs}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/large-multimodal-models}},
note = {AIMultiple. Recuperado el 22 de Mayo de 2026}
}Enlaces de referencia
Sé el primero en comentar
Tu dirección de correo electrónico no será publicada. Todos los campos son obligatorios. Los comentarios se dejan en su idioma original.