Modelos Multimodais Grandes (LMMs) vs LLMs

Avaliamos o desempenho de Modelos Multimodais Grandes (LMMs) em tarefas de raciocínio financeiro usando um dataset cuidadosamente selecionado. Ao analisar um subconjunto de amostras financeiras de alta qualidade, avaliamos as capacidades dos modelos no processamento e raciocínio com dados multimodais no domínio financeiro.

A seção de metodologia fornece percepções detalhadas sobre o dataset e o framework de avaliação empregado.

Explore modelos multimodais grandes e compare-os com grandes modelos de linguagem.

Por que os modelos tiveram desempenhos diferentes?

A variação nas taxas de sucesso reflete diferenças em como cada modelo processa tarefas financeiras multimodais. Como o benchmark utiliza amostras do dataset FinMME, que exigem a integração de texto e elementos visuais financeiros, como gráficos e documentos estruturados, o desempenho depende fortemente da arquitetura, da qualidade do treinamento e do alinhamento multimodal do modelo.

Arquitetura do modelo e design dos parâmetros

Os modelos diferem em como combinam codificadores de texto e imagem, no número de parâmetros ativos e na complexidade do roteamento de especialistas.

• Llama 4 Maverick, por exemplo, usa um design maior baseado em especialistas, permitindo raciocínio mais forte.
• Modelos menores ou focados em eficiência têm menos parâmetros alinhados ao raciocínio multimodal, o que limita o desempenho.

Essas distinções arquitetônicas afetam o quão bem cada modelo consegue interpretar relações numéricas, estruturas de gráficos e elementos visuais específicos do domínio.

Cobertura dos dados de treinamento

Alguns modelos são treinados em datasets multimodais extensos, enquanto outros dependem principalmente de dados de uso geral.

• Modelos das famílias Claude 4 e Qwen 2.5 incorporam dados visuais e textuais em grande escala, melhorando a capacidade de alinhar sinais numéricos e visuais.
• Modelos treinados em corpora multimodais mais limitados têm dificuldade com gráficos financeiros e diagramas estruturados.

Os dados de treinamento influenciam diretamente a confiabilidade com que um modelo lida com conceitos financeiros intermodais.

Fine-tuning para raciocínio intermodal

O benchmark exige coordenação entre a interpretação de imagens e o raciocínio baseado em texto.

• Os modelos Claude 4 são descritos como fortes em tarefas que envolvem gráficos e diagramas.
• Modelos sem fine-tuning intermodal dedicado podem detectar características visuais corretamente, mas ficam aquém ao conectá-las à linguagem ou lógica financeira.

A estratégia de fine-tuning de um modelo afeta sua capacidade de mesclar sinais textuais e visuais durante a análise.

Capacidade de lidar com contexto

Amostras financeiras geralmente contêm vários elementos que devem ser lidos em conjunto, como gráficos com múltiplas partes ou descrições longas.

• Modelos com janelas de contexto mais amplas conseguem reter relações em entradas longas.
• Modelos mais limitados podem perder dependências, reduzindo a precisão em tarefas que exigem rastrear múltiplos componentes visuais e textuais.

O tamanho da janela de contexto influencia o quão bem um modelo mantém o alinhamento entre detalhes quantitativos e visuais.

Tamanho do modelo e prioridades de eficiência

Alguns modelos são deliberadamente projetados para implantação leve, em vez de raciocínio de alta complexidade.

• Phi-4 multimodal e modelos semelhantes priorizam a eficiência, limitando a profundidade do processamento multimodal.
• Modelos maiores mantêm maior capacidade para tarefas de raciocínio que envolvem compreensão detalhada de gráficos.

Essa compensação resulta em pontuações mais baixas para modelos menores.

Diferenças na compreensão visual

A avaliação inclui tarefas que exigem leitura precisa de gráficos, identificação de objetos em documentos financeiros e extração de detalhes visuais.

• Modelos com pipelines visuais avançados, como as variantes Qwen 2.5-VL, lidam com essas tarefas de forma mais eficaz.
• Outros podem lidar bem com imagens genéricas, mas apresentam desempenho inconsistente com elementos visuais financeiros estruturados.

A força do raciocínio visual afeta muito os resultados em amostras no estilo FinMME.

Características do dataset de avaliação

O dataset foca no raciocínio financeiro multimodal, em vez de tarefas de propósito geral.

• Modelos treinados ou com fine-tuning para tarefas financeiras, numéricas ou baseadas em gráficos têm melhor desempenho.
• Modelos generalistas sem exposição ao domínio apresentam menor precisão em datasets financeiros.

A especialização do dataset torna o desempenho mais sensível à qualidade do raciocínio intermodal.

O que são modelos multimodais grandes de código aberto?

LMMs de código aberto com seu número de estrelas no GitHub:

O gráfico mostra que a popularidade no GitHub de vários LMMs de código aberto vem aumentando, com alguns modelos apresentando rápida adoção logo após o lançamento.

A série Janus da DeepSeek ganhou milhares de estrelas no GitHub dias após o lançamento do Janus-Pro em janeiro 27, 2025, superando seus concorrentes, que levaram meses para alcançar números semelhantes. Esse rápido crescimento se deveu ao sucesso do Janus-Pro e foi influenciado pelo impulso criado pelo DeepSeek-R1.

1. Gemma 3 da Google: Gemma 3 é uma família de modelos abertos leves e de última geração derivados da tecnologia Gemini 2.0. Esses modelos oferecem recursos avançados de raciocínio visual e textual, uma janela de contexto de 128k tokens, suporte a chamada de funções e versões quantizadas para desempenho otimizado. Inclui o ShieldGemma 2 para segurança de imagens e suporta diversas ferramentas e opções de implantação.¹
2. Janus-Pro da DeepSeek: Janus-Pro é uma versão avançada do modelo Janus, projetada para entender e gerar texto e imagens. Ele possui uma estratégia de treinamento otimizada, dados de treinamento expandidos e um tamanho de modelo maior, aprimorando suas capacidades multimodais.²
3. Qwen2.5-VL da Alibaba: Qwen2.5-VL da Alibaba é uma extensão multimodal do modelo de linguagem Qwen2.5, projetada para compreensão de texto e imagem. Possui pré-treinamento em larga escala (até 18T tokens), uma janela de contexto estendida (até 128K tokens), melhor capacidade de seguir instruções e suporte multilíngue robusto, o que o torna adequado para tarefas como legendagem de imagens e resposta a perguntas visuais. ³
   • Com base na série Qwen2.5-VL, a Alibaba otimizou e disponibilizou em código aberto o Qwen2.5-VL-32B-Instruct, um modelo VL de 32B que incorpora compreensão e raciocínio de imagem com granularidade fina aprimorados. Isso resulta em melhor desempenho e análise detalhada em tarefas como análise de imagens, reconhecimento de conteúdo e dedução de lógica visual.⁴
4. CLIP (Contrastive Language–Image Pretraining) da OpenAI: O CLIP foi projetado para entender imagens no contexto da linguagem natural. Ele pode realizar tarefas como classificação de imagens zero-shot, na qual consegue classificar imagens com precisão mesmo em categorias para as quais não foi explicitamente treinado, compreendendo descrições textuais.⁵
   • Com base na série Qwen2.5-VL, a Alibaba otimizou e disponibilizou em código aberto o Qwen2.5-VL-32B-Instruct, um modelo VL de 32B que incorpora compreensão e raciocínio de imagem com granularidade fina aprimorados. Isso resulta em melhor desempenho e análise detalhada em tarefas como análise de imagens, reconhecimento de conteúdo e dedução de lógica visual.⁴
5. Flamingo da DeepMind: O Flamingo foi projetado para aproveitar os pontos fortes da compreensão de linguagem e visual, tornando-o capaz de realizar tarefas que exigem interpretar e integrar informações de texto e imagens.⁶

Figura 1: Um exemplo retirado de Chip Huyen⁷

Quais são os principais LMMs?

Recursos de UI de LLMs de uso geral e de API

Os fornecedores são selecionados entre os LLMs multimodais mais populares com base em comparabilidade, disponibilidade de dados e atualidade.

LMMs com seu preço por token:

Para selecionar o modelo mais adequado, considere fatores como seu orçamento, as capacidades e o nível de desempenho necessários e o volume esperado de tokens de entrada/saída necessários para seu caso de uso específico.

Leia mais sobre LLM precificação.

Quais são os avanços mais recentes em modelos multimodais?

Avanços recentes em modelos multimodais introduziram novas capacidades e eficiências no desenvolvimento de IA.

Modelos de fundação multimodais com foco em vídeo

Modelos de fundação multimodais com foco em vídeo estão indo além da geração de legendas ou resumos de alto nível e passando a aprender a localizar explicitamente evidências dentro dos vídeos.

Em vez de dizer o que acontece, eles conseguem identificar quando acontece (carimbos de data/hora) e onde acontece (caixas delimitadoras ao redor de objetos ou regiões).

Essa mudança em direção à ancoragem espaço-temporal torna a compreensão de vídeo mais precisa e verificável. Também possibilita tarefas como encontrar momentos exatos, rastrear objetos, editar vídeos usando linguagem natural e apoiar robótica e sistemas críticos de segurança.

Por exemplo, Vidi⁸é um projeto de código aberto da ByteDance focado em grandes modelos multimodais para compreensão e edição de vídeo.

O repositório hospeda o código e os recursos de uma família de modelos (por exemplo, Vidi-7B, Vidi1.5-9B, Vidi2 e Vidi2.5) que recebem visão, áudio e texto como entradas para realizar tarefas como:

• Recuperação temporal (encontrar os segmentos de tempo em um vídeo que correspondem a uma consulta de texto)
• Ancoragem espaço-temporal (localizar objetos com caixas delimitadoras)
• Resposta a perguntas em vídeo

Mistral 3: lançamento multimodal de fronteira

Mistral IA desenvolveu uma nova família de modelos de IA de código aberto chamada Mistral 3. O conjunto Mistral 3 inclui modelos multimodais/multilíngues de nível de fronteira e modelos menores e eficientes, projetados para executar em uma variedade de dispositivos, da nuvem à borda, e até mesmo em GPUs individuais.

Lançados sob uma licença de código aberto permissiva (Apache 2.0), esses modelos visam democratizar o acesso à IA avançada, permitir personalização e flexibilidade de implantação e fortalecer a posição da Europa no desenvolvimento de IA, onde há preocupações sobre ficar atrás dos EUA e da China em tecnologias de ponta.⁹

Modelos de visão-linguagem MoE de código aberto

Kimi-VL (da Moonshot IA) é um modelo multimodal de visão-linguagem de código aberto construído com uma arquitetura Mixture-of-Experts (MoE), com desempenho em tarefas que combinam texto, imagens e vídeo, mantendo a computação eficiente.

Ele tem um backbone de 16 B de parâmetros totais, mas normalmente ativa cerca de 2.8 B de parâmetros durante a inference, o que ajuda a equilibrar capacidade e custo.

Kimi-VL foi projetado para raciocínio multimodal avançado, compreensão de contexto longo (até cerca de 128 K tokens) e interações no estilo de agentes, e compete bem com modelos maiores em benchmarks como compreensão de vídeo, reconhecimento óptico de caracteres (OCR), raciocínio matemático e tarefas com múltiplas imagens.

Variantes como Kimi-VL-A3B-Thinking são ainda mais ajustadas com fine-tuning para tarefas de cadeia de pensamento e raciocínio, enquanto o codificador visual MoonViT suporta compreensão de entradas de alta resolução.

Figura 2: Design da arquitetura Kimi-VL.¹⁰

Série Claude 4 da Anthropic

A série Claude 4 da Anthropic integra compreensão visual avançada ao seu mecanismo de raciocínio baseado em texto, incorporando visão diretamente nos fluxos de trabalho de resolução de problemas.

Os modelos Claude 4 demonstram forte desempenho em benchmarks de raciocínio multimodal, como MMMU, particularmente na interpretação de gráficos, diagramas e dados visuais complexos. Um recurso distintivo do Claude Opus 4.1 é sua capacidade de avaliar qualidades estéticas em imagens, indo além do reconhecimento para avaliações mais sutis.

Essas capacidades, combinadas com as funções agênticas do Claude, tornam a série eficaz para tarefas como sintetizar pesquisas de relatórios com texto e elementos visuais mistos ou auxiliar no design de interfaces por meio da análise de mockups visuais.

O Gemini 3 do Google

Google lançou o Gemini 3 em novembro de 2025, com o Gemini 3 Pro disponível imediatamente e o modo Gemini 3 Deep Think sendo liberado para assinantes do Google IA Ultra pouco depois. O Gemini 3 é posicionado pelo Google como seu modelo multimodal mais inteligente e capaz, com suporte nativo para texto, imagens, vídeo, áudio e código em uma única arquitetura.

O Gemini 3 Pro vem com uma janela de contexto de 1 milhão de tokens e alcança resultados fortes em benchmarks multimodais, incluindo 81% no MMMU-Pro e 87.6% no Video-MMMU. Ele liderou o LMArena Leaderboard no lançamento com uma pontuação de 1501 Elo e marcou 91.9% no GPQA Diamond para raciocínio de nível de pós-graduação e 76.2% no SWE-bench Verified para tarefas de codificação agênticas.

O Gemini 3 Deep Think é um modo de raciocínio aprimorado que melhora ainda mais o desempenho nas tarefas mais exigentes, marcando 41.0% no Humanity’s Last Exam (sem ferramentas) e 45.1% no ARC-AGI-2. Junto com o Gemini 3, o Google também lançou o Google Antigravity, uma plataforma de desenvolvimento agêntico que combina o Gemini 3 com o modelo Gemini 2.5 Computer Use para controle de navegador e o modelo de edição de imagens Nano Banana, permitindo fluxos de trabalho de desenvolvimento de software de ponta a ponta nos quais o modelo pode planejar, codificar e validar tarefas de forma autônoma.¹¹

GPT-5 da OpenAI

GPT-5 introduz multimodalidade nativa aprimorada em texto, voz, imagem e vídeo. Diferentemente de sistemas anteriores que dependiam muito de plugins, o GPT-5 integra essas modalidades em uma arquitetura unificada, resultando em interação mais fluida. O modelo se adapta de forma flexível a vários tipos de entrada e pode fazer transições entre eles.

Um recurso notável é o Modo de Voz em Tempo Real, que pode ajustar tom, ritmo e estilo de acordo com as instruções do usuário. Isso cria uma experiência conversacional mais natural e adaptativa. O processamento visual também melhorou, reduzindo alucinações na interpretação ou geração de imagens, diagramas e gráficos. Outro avanço está nas capacidades de memória, que permitem ao sistema recuperar entradas anteriores e manter contexto ao longo de interações prolongadas.

Essas melhorias tornam o GPT-5 particularmente valioso para interfaces multimodais acessíveis, especialmente para pessoas com deficiências sensoriais.

Modelos multimodais focados em robótica do Google DeepMind

Google DeepMind desenvolveu o Gemini Robotics e o Gemini Robotics-ER, modelos adaptados para integrar visão, linguagem e ação em sistemas robóticos. Esses modelos permitem que robôs realizem tarefas em ambientes não estruturados, como dobrar papel ou desenroscar tampas de garrafas.

Um recurso fundamental desses modelos é seu mecanismo de segurança. Antes de executar ações, o sistema realiza verificações integradas para minimizar riscos e garantir o manuseio adequado das tarefas. Essa abordagem enfrenta um dos desafios significativos da robótica: unir raciocínio avançado de IA com execução segura e confiável no mundo real.

Llama 4 Scout e Llama 4 Maverick da Meta IA

Llama 4 Scout é um modelo multimodal com 17 bilhões de parâmetros ativos e 16 especialistas. Esse modelo supera os modelos Llama da geração anterior e foi projetado para operar em uma única H100 GPU. Possui uma janela de contexto de 10 milhões de tokens para processar grandes quantidades de informação. Resultados de benchmarks indicam que o Llama 4 Scout alcança melhores resultados que o Gemma 3, o Gemini 2.0 Flash-Lite e o Mistral 3.1 em uma variedade de benchmarks amplamente divulgados.

Llama 4 Maverick é um modelo multimodal com 17 bilhões de parâmetros ativos e 128 especialistas. Esse modelo é apresentado como líder em sua classe, superando o GPT-4o e o Gemini 2.0 Flash em uma variedade de benchmarks. Alcança desempenho comparável ao DeepSeek v3 em raciocínio e codificação, usando menos parâmetros ativos. Uma versão experimental de chat do Llama 4 Maverick alcançou uma pontuação ELO de 1417 na plataforma LMArena.

ChatGPT Images 2.0 da OpenAI

O ChatGPT Images 2.0 da OpenAI avança a geração de imagens com maior precisão, controle e raciocínio visual. O modelo melhora o cumprimento de instruções, a renderização de texto e o suporte multilíngue. Ele pode produzir visuais mais sofisticados e realistas em fotografia, ilustração, mangá, infográficos, pôsteres e outros estilos. Também suporta proporções de aspecto flexíveis, tornando o conteúdo gerado adequado para formatos que variam de telas de celular a banners e materiais impressos.

Quando combinado com as capacidades de raciocínio do ChatGPT, o ChatGPT Images 2.0 consegue interpretar materiais de origem e incorporar informações contextuais e do mundo real. Isso permite aos usuários desenvolver gráficos mais complexos e ricos em informações e refinar conceitos criativos de forma conversacional, mantendo maior consistência na composição, tipografia e direção visual.

Qwen3-VL da Alibaba

A série Qwen3-VL da Alibaba, lançada a partir de setembro de 2025, se baseia no modelo de linguagem Qwen3 adicionando percepção visual e capacidades de raciocínio mais profundas. A família inclui variantes densas de 2B a 32B parâmetros e variantes Mixture-of-Experts de até 235B de parâmetros totais (22B ativos), todas lançadas sob a licença Apache 2.0.

Os principais recursos incluem uma janela de contexto nativa de 256K (expansível para 1 milhão de tokens), OCR multilíngue expandido em 32 idiomas, ancoragem de objetos 2D e 3D para raciocínio espacial e IA incorporada, compreensão de vídeo de várias horas com indexação em nível de segundo e capacidades de agente visual para controle de GUI.

As variantes Thinking são ajustadas para STEM e raciocínio multimodal, enquanto as variantes Instruct visam tarefas gerais de visão-linguagem, como análise de documentos, extração de gráficos e resposta a perguntas visuais.

Gemma 3 da Google

O Gemma 3 da Google se baseia na tecnologia dos modelos Gemini 2.0. Ele vem em quatro tamanhos (1B, 4B, 12B e 27B) para diferentes requisitos de hardware e oferece uma janela de contexto de 128k tokens. O Gemma 3 tem bom desempenho em configurações com um único acelerador e inclui raciocínio textual e visual, chamada de funções e suporte a mais de 35 idiomas, com pré-treinamento para mais de 140. Versões quantizadas reduzem o tamanho do modelo e as necessidades de computação. O sistema ShieldGemma 2 fornece classificação de segurança de conteúdo.

Phi-4-multimodal da Microsoft

O Phi-4-multimodal da Microsoft é um modelo de 5.6B parâmetros que processa fala, visão e texto em uma arquitetura unificada. Ele usa aprendizado intermodal para interações sensíveis ao contexto entre diferentes tipos de entrada. O modelo lida com vários formatos de entrada sem exigir sistemas de processamento separados e foi projetado para implantação em dispositivos e edge computing. As aplicações incluem IA em smartphones, sistemas automotivos e serviços multilíngues.

O que é um modelo multimodal grande (LMM)?

Um modelo multimodal grande é um tipo avançado de modelo de inteligência artificial que pode processar e entender vários tipos de modalidades de dados. Esses dados multimodais podem incluir texto, imagens, áudio, vídeo e potencialmente outros. O principal recurso de um modelo multimodal é sua capacidade de integrar e interpretar informações dessas diferentes fontes de dados, muitas vezes simultaneamente.

Esses podem ser entendidos como versões mais avançadas dos grandes modelos de linguagem (LLMs) que podem trabalhar com texto e também com diversos tipos de dados. Além disso, as saídas dos modelos de linguagem multimodais são projetadas para serem textuais, visuais, auditivas e assim por diante.

Modelos de linguagem multimodais são considerados o próximo passo rumo à inteligência artificial geral.

O que é um agente de IA multimodal?

Agentes de IA multimodais são sistemas projetados para interagir com o mundo usando vários tipos de dados, incluindo imagens, vídeos e texto, permitindo que operem em ambientes digitais e físicos. Modelos multimodais são o componente central desses agentes, permitindo que percebam e compreendam informações de fontes diversas.

Por exemplo, modelos como o Magma utilizam compreensão de visão-linguagem e inteligência espacial, alcançadas por meio de técnicas como Set-of-Mark e Trace-of-Mark durante o pré-treinamento em datasets multimodais.

Isso permite que o agente realize tarefas que vão desde compreender conteúdo de vídeo e responder perguntas até navegar em interfaces de usuário e controlar robôs, demonstrando as capacidades versáteis que os modelos multimodais trazem para os agentes de IA ao alavancar diferentes modalidades de dados. A ilustração abaixo mostra o Magma planejando trajetórias de robôs para realizar tarefas, demonstrando sua inteligência espacial em ação.¹²

Qual é a diferença entre LMMs e LLMs?

1. Modalidades de dados

• LMMs: Eles são projetados para entender e processar vários tipos de entradas de dados, ou modalidades. Isso inclui texto, imagens, áudio, vídeo e, às vezes, outros tipos de dados, como dados sensoriais. A principal capacidade dos LMMs é integrar e dar sentido a esses diferentes formatos de dados, muitas vezes simultaneamente.
• LLMs: Esses modelos são especializados em processar e gerar dados textuais. São treinados principalmente em grandes corpora de texto e são hábeis em compreender e gerar linguagem humana em vários contextos. Eles não processam inerentemente dados não textuais, como imagens ou áudio.

2. Aplicações e tarefas

• LMMs: Devido à sua natureza multimodal, esses modelos podem ser aplicados a tarefas que exigem compreender e integrar informações de diferentes tipos de dados. Por exemplo, um LMM poderia analisar uma notícia (texto), suas fotografias (imagens) e clipes de vídeo relacionados para obter uma compreensão abrangente.
• LLMs: Suas aplicações estão centradas em tarefas que envolvem texto, como escrever artigos, traduzir idiomas, responder perguntas, resumir documentos e criar conteúdo baseado em texto.

Quais são as modalidades de dados dos modelos multimodais grandes?

Texto

Isso inclui qualquer forma de conteúdo escrito, como livros, artigos, páginas da web e postagens em redes sociais. O modelo pode entender, interpretar e gerar conteúdo textual, incluindo tarefas de processamento de linguagem natural, como tradução, sumarização e resposta a perguntas.

Imagens

Esses modelos podem analisar e gerar dados visuais. Isso inclui compreender o conteúdo e o contexto de fotografias, ilustrações e outras representações gráficas. Tarefas como classificação de imagens, detecção de objetos e geração de imagem a partir de descrições textuais se enquadram nessa categoria.

Áudio

Isso abrange gravações de som, música e fala. Os modelos podem ser treinados para reconhecer fala, música, sons ambientes e outras entradas auditivas. Eles podem transcrever fala, entender comandos falados e até gerar fala ou música sintética.

Vídeo

Combinando elementos visuais e auditivos, o processamento de vídeo envolve entender imagens em movimento e seus sons acompanhantes. Isso pode incluir analisar conteúdo de vídeo, reconhecer ações ou eventos em vídeos e gerar clipes de vídeo.

Embora a maioria dos grandes modelos de linguagem multimodais atuais consiga processar texto e imagens, pesquisas futuras visam incluir entradas de dados de áudio e vídeo.

Não perca os nossos benchmarks e insights baseados em dados. O botão abre o Google; selecionar a AIMultiple confirma que deseja ver a AIMultiple com mais frequência nos resultados de pesquisa do Google.

Adicionar como fonte preferencial

Como os modelos multimodais grandes são treinados?

Treinar modelos multimodais grandes (LMMs) difere significativamente de treinar grandes modelos de linguagem (LLMs) em vários aspectos principais:

1. Coleta e preparação de dados

• LLMs: Focam em dados de texto de livros, sites e fontes escritas, com ênfase na diversidade linguística para fontes de dados de treinamento de LLM.
• LMMs: Exigem dados de texto, imagens, áudio e vídeo. A coleta é mais complexa devido aos formatos variados. A anotação e o alinhamento de dados entre modalidades são essenciais.

2. Design da arquitetura do modelo

• LLMs: Usam arquiteturas transformer otimizadas para o processamento sequencial de texto.
• LMMs: Empregam arquiteturas mais complexas que integram vários tipos de redes neurais (CNNs para imagens, transformers para texto) com mecanismos para conectar essas modalidades.

3. Pré-treinamento

• LLMs: Pré-treinam em corpora de texto usando técnicas como modelagem de linguagem mascarada.
• LMMs: Pré-treinam em vários tipos de dados, aprendendo a correlacionar texto com imagens ou a entender sequências de vídeo.

4. Fine-tuning

• LLMs: Fine-tune em datasets de texto especializados para tarefas específicas.
• LMMs: Exigem fine-tuning tanto em datasets específicos de modalidade quanto em datasets intermodais para estabelecer relações entre diferentes tipos de dados.

5. Avaliação e iteração

• LLMs: As métricas de avaliação focam em tarefas de compreensão e geração de linguagem, incluindo fluência, coerência e relevância.
• LMMs: São avaliados em métricas mais amplas que abrangem reconhecimento de imagens, processamento de áudio e capacidades de integração intermodal.

Como os LMMs funcionam?

Modelos multimodais grandes compartilham semelhanças com grandes modelos de linguagem em seu processo de treinamento, design e operação. Eles usam a mesma arquitetura transformer e as mesmas estratégias de treinamento. Modelos multimodais grandes são treinados com:

• Dados de texto
• Milhões ou bilhões de imagens com descrições de texto
• Clipes de vídeo
• Trechos de áudio
• Outros dados de entrada, como código

Esse treinamento envolve o aprendizado simultâneo de múltiplas modalidades de dados, permitindo que o modelo:

• Reconhecer uma foto de um gato
• Identificar uma palavra em um clipe de áudio
• Entender conceitos e detalhes sensoriais além do texto

Dessa forma, os usuários podem enviar:

• Uma imagem para:
  • Obter uma descrição do que está acontecendo
  • Usar a imagem como parte de um prompt para gerar texto ou imagens
  • Fazer perguntas de acompanhamento sobre elementos específicos da imagem
  • Traduzir o texto da imagem para um idioma diferente (ex.: menu)

Figura 3: Enviando uma imagem de um gato no ChatGPT para descrevê-la.

• Gráficos e diagramas para:
  • Fazer perguntas de acompanhamento complicadas sobre o que eles mostram
• Mockup de design para:
  • Obter o código HTML e CSS necessário para criá-lo.

Figura 4: Criando um prompt da imagem no estilo de filme de Wes Anderson. O ChatGPT envia o prompt para um modelo de geração de imagens (como o DALL·E), que interpreta a solicitação e produz a imagem estilizada.

Após o processo de treinamento, os modelos podem incorporar estereótipos prejudiciais e ideias tóxicas. Para refiná-los, técnicas como:

• Aprendizado por reforço com feedback humano (RLHF)
• Modelos de IA supervisores
• Red teaming (testar a robustez do modelo) podem ser usados.

Além disso, as ferramentas de governança de IA e ferramentas de IA responsável, que funcionam como soluções de conformidade de IA, também podem permitir a otimização do inventário de IA, ajudando a prevenir vieses de IA e outros dilemas éticos. Aqui está um exemplo de como essas ferramentas abordam preocupações com direitos autorais de IA generativa:

Figura 5: O ChatGPT rejeita meu pedido devido às diretrizes de política de conteúdo para proteger direitos autorais.

O objetivo é desenvolver um sistema multimodal funcional capaz de lidar com:

• Síntese de texto para imagem
• Legendagem de imagens
• Recuperação de imagens baseada em texto
• Resposta a perguntas visuais.

Dessa forma, a IA multimodal pode integrar várias modalidades, fornecendo capacidades avançadas para tarefas que envolvem linguagem e visão.

Quais são as limitações dos grandes modelos de linguagem?

1. Requisitos de dados e viés: Esses modelos exigem datasets massivos e diversificados para treinamento. No entanto, a disponibilidade e a qualidade desses datasets podem ser um desafio. Além disso, se os dados de treinamento contiverem vieses, o modelo provavelmente herdará e possivelmente amplificará esses vieses, levando a resultados injustos ou antiéticos.
2. Recursos computacionais: Treinar e executar grandes modelos multimodais exige recursos computacionais significativos, tornando-os caros e menos acessíveis para organizações menores ou pesquisadores independentes.
3. Interpretabilidade e explicabilidade: Como em modelos complexos de IA, entender como eles tomam decisões pode ser difícil. Essa falta de transparência pode ser um problema crítico, especialmente em aplicações sensíveis, como saúde ou aplicação da lei.
4. Integração de modalidades: Integrar efetivamente diferentes tipos de dados (como texto, imagens e áudio) de forma que realmente compreenda as nuances de cada modalidade é extremamente desafiador. O modelo pode nem sempre captar com precisão o contexto ou as sutilezas da comunicação humana que vêm da combinação dessas modalidades.
5. Generalização e overfitting: Embora esses modelos sejam treinados em datasets vastos, eles podem ter dificuldade para generalizar para dados novos e não vistos ou cenários que diferem significativamente de seus dados de treinamento. Por outro lado, podem sofrer overfitting nos dados de treinamento, capturando ruído e anomalias como padrões.

Para saber mais, explore os desafios e riscos associados a modelos generativos e de linguagem.

Metodologia de benchmark para LMMs

Avaliamos o desempenho de Modelos Multimodais Grandes (LMMs) usando um subconjunto do dataset FinMME¹³, um benchmark abrangente projetado para avaliar capacidades de raciocínio financeiro multimodal. O FinMME inclui mais de 11.000 amostras financeiras de alta qualidade em 18 domínios financeiros e 6 classes de ativos, fornecendo uma estrutura robusta para avaliar LMMs no domínio financeiro.

Para este benchmarking, utilizamos uma seleção curada de 100 amostras do dataset FinMME para analisar a capacidade dos modelos de processar e raciocinar com dados financeiros multimodais.

Aviso legal

Esta avaliação utilizou um subconjunto curado de 100 amostras de um dataset maior para fazer benchmarking de LMMs. Para uma avaliação abrangente do desempenho do modelo, todas as amostras do dataset de benchmark completo devem ser consideradas.

Cite esta pesquisa

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Modelos Multimodais Grandes (LMMs) vs LLMs}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/large-multimodal-models}},
  note   = {AIMultiple. Acessado em 17 Agosto 2026}
}

Registro de alterações

20 atualizações

Todas20Geral19Metodologia1

1. 202627 Jan

   Adicionados modelos de fundação multimodal "Video-first", lançamento "Mistral 3 multimodal frontier" e modelos de visão-linguagem MoE de código aberto à seção sobre avanços recentes em modelos multimodais.

2. 202525 Nov

   Adicionada uma seção sobre por que os modelos tiveram desempenho diferente à introdução.

3. 5 Set

   Adicionada a série Claude 4 da Anthropic à lista de modelos multimodais.

4. 4 Set

   Adicionado GPT-5 da OpenAI à seção sobre os avanços mais recentes em modelos multimodais.

5. 3 Jun

   Atualizada a introdução com uma descrição da avaliação de LMMs em tarefas de raciocínio financeiro.

6. 3 Jun

   Adicionada uma seção de metodologia.

7. 20 Mai

   Adicionados modelos multimodais grandes de código aberto à seção sobre LMMs líderes.

8. 5 Abr

   Adicionado Llama 4 Scout e Llama 4 Maverick da Meta AI.

9. 28 Mar

   Adicionado 4o Geração de Imagens da OpenAI à seção sobre os avanços mais recentes.

10. 27 Mar

    Adicionada uma nova seção, "O que é um agente de IA multimodal?", à seção "Qual é a diferença entre LMMs e LLMs?".

11. 25 Mar

    Adicionado Qwen2.5-VL-32B-Instruct da Alibaba à lista de modelos.

12. 12 Mar

    Adicionado Gemma 3 do Google à seção 'Quais são os avanços mais recentes em modelos multimodais?'.

13. 1 Mar

    Adicionada uma seção descrevendo o modelo Phi-4-multimodal da Microsoft.

14. 21 Fev

    Adicionado Qwen2.5-VL da Alibaba à lista de LMMs de código aberto.

15. 12 Fev

    Adicionados os modelos o3-mini e DeepSeek-R1 à introdução.

16. 14 Jan

    Adicionada uma tabela à seção "O que são LMMs líderes?".

17. 20247 Nov

    Removidos os LMMs com suas datas de lançamento da seção Quais são os LMMs líderes?

18. 5 Set

    Adicionadas as Figuras 1, 2, 3 e 4 ao artigo.

19. 4 Set

    Adicionada a seção "Como os LLMs funcionam?".

20. 29 Ago

    Adicionado OpenAI GPT-4o, Gemini 1.5 e Qwen-VL-Plus/Max aos principais LMMs.

Links de referência

1.

Gemma 3: Google’s new open model based on Gemini 2.0

Google

2.

GitHub - deepseek-ai/Janus: Janus-Series: Unified Multimodal Understanding and Generation Models · GitHub

3.

GitHub - QwenLM/Qwen3-VL: Qwen3-VL is the multimodal large language model series developed by Qwen team, Alibaba Cloud. · GitHub

4.

https://qwen.ai/blog?id=qwen2.5-vl-32b

5.

CLIP: Connecting text and images | OpenAI

6.

[2204.14198] Flamingo: a Visual Language Model for Few-Shot Learning

7.

Multimodality and Large Multimodal Models (LMMs)

8.

GitHub - bytedance/vidi: The official repo for "Vidi: Large Multimodal Models for Video Understanding and Editing" · GitHub

9.

Client Challenge

Financial Times

10.

GitHub - MoonshotAI/Kimi-VL: Kimi-VL: Mixture-of-Experts Vision-Language Model for Multimodal Reasoning, Long-Context Understanding, and Strong Agent Capabilities · GitHub

11.

Gemini 3: Introducing the latest Gemini AI model from Google

Google

12.

Magma: A Foundation Model for Multimodal AI Agents

13.

luojunyu/FinMME · Datasets at Hugging Face

Cem Dilmegani

Analista Principal

Siga-nos

Cem é o analista principal da AIMultiple desde 2017.

O trabalho de Cem na AIMultiple foi citado por publicações globais líderes, incluindo Business Insider, Forbes, Morning Brew e Washington Post, por empresas globais como Deloitte e HPE, ONGs como o World Economic Forum e organizações supranacionais como a European Commission. [1], [2], [3], [4], [5]

Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor de tecnologia. Ele aconselhou empresas sobre suas decisões de tecnologia na McKinsey & Company e na Altman Solon por mais de uma década. Ele também publicou um relatório da McKinsey sobre digitalização.

Ele liderou a estratégia de tecnologia e as compras de uma operadora de telecomunicações, reportando-se ao CEO. Ele também liderou o crescimento comercial da empresa de deep tech Hypatos, que atingiu uma receita recorrente anual de 7 dígitos e uma avaliação de 9 dígitos partindo do zero em 2 anos. O trabalho de Cem na Hypatos foi coberto por publicações de tecnologia líderes como TechCrunch e Business Insider.

Cem fala regularmente em conferências internacionais de tecnologia. Ele se formou como engenheiro da computação pela Bogazici University e possui um MBA pela Columbia Business School.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário