Modelos Multimodais Grandes (LMMs) vs LLMs
Avaliamos o desempenho de Modelos Multimodais Grandes (LMMs) em tarefas de raciocínio financeiro usando um conjunto de dados cuidadosamente selecionado. Ao analisar um subconjunto de amostras financeiras de alta qualidade, avaliamos as capacidades dos modelos no processamento e raciocínio com dados multimodais no domínio financeiro.
A seção de metodologia fornece insights detalhados sobre o conjunto de dados e o framework de avaliação utilizados.
Explore modelos multimodais grandes e compare-os com modelos de linguagem grandes.
Por que os modelos tiveram desempenhos diferentes?
A variação nas taxas de sucesso reflete diferenças na forma como cada modelo processa tarefas multimodais financeiras. Como o benchmark usa amostras do conjunto de dados FinMME, que exigem integração de texto e visuais financeiros como gráficos e documentos estruturados, o desempenho depende fortemente da arquitetura do modelo, qualidade do treinamento e alinhamento multimodal.
Arquitetura do modelo e design de parâmetros
Os modelos diferem na forma como combinam codificadores de texto e imagem, no número de parâmetros ativos e na complexidade de seu roteamento de especialistas.
- Llama 4 Maverick, por exemplo, usa um design baseado em especialistas maiores, permitindo um raciocínio mais forte.
- Modelos menores ou focados em eficiência têm menos parâmetros alinhados ao raciocínio multimodal, o que limita o desempenho.
Essas distinções arquiteturais afetam a capacidade de cada modelo interpretar relações numéricas, estruturas de gráficos e visuais específicos do domínio.
Cobertura dos dados de treinamento
Alguns modelos são treinados em grandes conjuntos de dados multimodais, enquanto outros dependem principalmente de dados de propósito geral.
- Modelos das famílias Claude 4 e Qwen 2.5 incorporam grandes volumes de dados visuais e textuais, melhorando sua capacidade de alinhar pistas numéricas e visuais.
- Modelos treinados em corpora multimodais mais limitados têm dificuldade com gráficos financeiros e diagramas estruturados.
Os dados de treinamento influenciam diretamente a confiabilidade com que um modelo lida com conceitos financeiros cruzados entre modalidades.
Ajuste fino para raciocínio cruzado entre modalidades
O benchmark exige coordenação entre interpretação de imagem e raciocínio baseado em texto.
- Modelos Claude 4 são descritos como fortes em tarefas envolvendo gráficos e diagramas.
- Modelos sem ajuste fino dedicado para multimodalidade cruzada podem detectar corretamente características visuais, mas falhar ao conectá-las à linguagem ou lógica financeira.
A estratégia de ajuste fino de um modelo afeta sua capacidade de fundir sinais textuais e visuais durante a análise.
Capacidade de lidar com contexto
As amostras financeiras frequentemente contêm múltiplos elementos que devem ser lidos em conjunto, como gráficos de várias partes ou descrições longas.
- Modelos com janelas de contexto mais amplas conseguem manter relações em entradas longas.
- Modelos mais restritos podem perder dependências, reduzindo a precisão em tarefas que exigem rastrear múltiplos componentes visuais e textuais.
O tamanho da janela de contexto influencia a capacidade do modelo manter o alinhamento entre detalhes quantitativos e visuais.
Tamanho do modelo e prioridades de eficiência
Alguns modelos são deliberadamente projetados para implantação leve em vez de raciocínio de alta complexidade.
- Phi-4 multimodal e modelos semelhantes priorizam eficiência, limitando a profundidade do processamento multimodal.
- Modelos maiores mantêm maior capacidade para tarefas de raciocínio que envolvem compreensão detalhada de gráficos.
Esse compromisso resulta em pontuações mais baixas para modelos menores.
Diferenças na compreensão visual
A avaliação inclui tarefas que exigem leitura precisa de gráficos, identificação de objetos em documentos financeiros e extração de detalhes visuais.
- Modelos com pipelines visuais avançados, como as variantes Qwen 2.5-VL, lidam com essas tarefas de forma mais eficaz.
- Outros podem lidar bem com imagens genéricas, mas apresentar desempenho inconsistente com visuais financeiros estruturados.
A força no raciocínio visual afeta fortemente os resultados em amostras do estilo FinMME.
Características do conjunto de dados de avaliação
O conjunto de dados foca em raciocínio financeiro multimodal em vez de tarefas de propósito geral.
- Modelos treinados ou ajustados para tarefas financeiras, numéricas ou baseadas em gráficos apresentam melhor desempenho.
- Modelos generalistas sem exposição ao domínio exibem menor precisão em conjuntos de dados financeiros.
A especialização do conjunto de dados torna o desempenho mais sensível à qualidade do raciocínio cruzado entre modalidades.
O que são modelos multimodais grandes de código aberto?
LMMs de código aberto com seu número de estrelas no GitHub:
O gráfico mostra que a popularidade no GitHub de vários LMMs de código aberto tem aumentado, com alguns modelos experimentando adoção rápida logo após seu lançamento.
A série Janus da DeepSeek ganhou milhares de estrelas no GitHub em poucos dias após o lançamento do Janus-Pro em 27 de janeiro de 2025, superando seus concorrentes, que levaram meses para atingir números semelhantes. Esse crescimento rápido não foi apenas devido ao sucesso do Janus-Pro, mas também influenciado pelo impulso criado pelo DeepSeek-R1.
- Gemma 3 da Google: Gemma 3 é uma família de modelos abertos leves e de última geração derivados da tecnologia Gemini 2.0. Esses modelos oferecem capacidades avançadas de raciocínio textual e visual, uma janela de contexto de 128 mil tokens, suporte a chamadas de função e versões quantizadas para desempenho otimizado. Inclui ShieldGemma 2 para segurança de imagens e suporta diversas ferramentas e opções de implantação.1
- Janus-Pro da DeepSeek: Janus-Pro é uma versão avançada do modelo Janus, projetada para entender e gerar texto e imagens. Possui uma estratégia de treinamento otimizada, dados de treinamento expandidos e um tamanho de modelo maior, aprimorando suas capacidades multimodais.2
- Qwen2.5-VL da Alibaba: Qwen2.5-VL da Alibaba é uma extensão multimodal do modelo de linguagem Qwen2.5, projetada para compreensão de texto e imagem. Possui pré-treinamento em larga escala (até 18T tokens), janela de contexto expandida (até 128K tokens), melhor seguimento de instruções e suporte multilíngue robusto, tornando-o adequado para tarefas como legenda de imagens e resposta a perguntas visuais. 3
- Baseando-se na série Qwen2.5-VL, a Alibaba otimizou e disponibilizou como código aberto o Qwen2.5-VL-32B-Instruct, um modelo VL de 32B que incorpora compreensão e raciocínio visual refinados. Isso resulta em melhor desempenho e análise detalhada em tarefas como análise de imagens, reconhecimento de conteúdo e dedução lógica visual.4
- CLIP (Pré-treinamento Contrastivo de Linguagem–Imagem) da OpenAI: CLIP é projetado para entender imagens no contexto da linguagem natural. Pode realizar tarefas como classificação de imagens sem treinamento prévio, onde consegue classificar imagens com precisão mesmo em categorias para as quais não foi explicitamente treinado, compreendendo descrições textuais.5
- Baseando-se na série Qwen2.5-VL, a Alibaba otimizou e disponibilizou como código aberto o Qwen2.5-VL-32B-Instruct, um modelo VL de 32B que incorpora compreensão e raciocínio visual refinados. Isso resulta em melhor desempenho e análise detalhada em tarefas como análise de imagens, reconhecimento de conteúdo e dedução lógica visual.6
- Flamingo da DeepMind: Flamingo é projetado para aproveitar os pontos fortes da compreensão de linguagem e visual, tornando-se capaz de realizar tarefas que exigem interpretar e integrar informações de texto e imagens.7
Figura 1: Um exemplo retirado de Chip Huyen8
Quais são os principais LMMs?
UI e API de LLMs de propósito geral
Os fornecedores são selecionados entre os LLMs multimodais mais populares com base em comparabilidade, disponibilidade de dados e atualidade.
LMMs com seu preço por token:
Para selecionar o modelo mais adequado, considere fatores como seu orçamento, as capacidades e nível de desempenho necessários e o volume esperado de tokens de entrada/saída para seu caso de uso específico.
Leia mais sobre preços de LLM.
Quais são os últimos avanços em modelos multimodais?
Avanços recentes em modelos multimodais introduziram novas capacidades e eficiências no desenvolvimento de IA.
Modelos fundacionais multimodais com foco em vídeo
Modelos fundacionais multimodais com foco em vídeo estão indo além da geração de legendas ou resumos de alto nível e estão aprendendo a localizar explicitamente evidências dentro de vídeos.
Em vez de dizer o que acontece, eles conseguem identificar quando acontece (marcas de tempo) e onde acontece (caixas delimitadoras ao redor de objetos ou regiões).
Essa mudança em direção ao ancoramento espaciotemporal torna a compreensão de vídeo mais precisa e verificável. Também permite tarefas como encontrar momentos exatos, rastrear objetos ao longo do tempo, editar vídeos usando linguagem natural e apoiar robótica e sistemas críticos para a segurança.
Por exemplo, Vidi9 é um projeto de código aberto da ByteDance focado em modelos multimodais grandes para compreensão e edição de vídeo.
O repositório hospeda o código e recursos para uma família de modelos (ex: Vidi-7B, Vidi1.5-9B, Vidi2 e Vidi2.5) que recebem visão, áudio e texto como entradas para realizar tarefas como:
- Recuperação temporal (encontrar segmentos de tempo em um vídeo que correspondem a uma consulta textual)
- Localização espaciotemporal (localizar objetos ao longo do tempo com caixas delimitadoras)
- Resposta a perguntas sobre vídeo
Lançamento da fronteira multimodal Mistral 3
Mistral AI desenvolveu uma nova família de modelos de IA de código aberto chamada Mistral 3. O conjunto Mistral 3 compreende modelos multimodais/multilíngues de ponta e modelos menores e eficientes projetados para funcionar em uma variedade de dispositivos, desde a nuvem até a borda, e até em GPUs únicas.
Lançados sob uma licença de código aberto permissiva (Apache 2.0), esses modelos visam democratizar o acesso à IA avançada, permitir personalização e flexibilidade de implantação e fortalecer a posição da Europa no desenvolvimento de IA, onde há preocupações com atraso em relação aos EUA e à China em tecnologias de ponta.10
Modelos de linguagem e visão de código aberto com MoE
Kimi-VL (da Moonshot AI) é um modelo multimodal de linguagem e visão de código aberto construído com uma arquitetura de Mixture-of-Experts (MoE), realizando tarefas que combinam texto, imagens e vídeo enquanto mantém o cálculo eficiente.
Tem um backbone total de 16 B de parâmetros, mas normalmente ativa apenas ~2,8 B de parâmetros durante a inferência, o que ajuda a equilibrar capacidade com custo.
Kimi-VL é projetado para raciocínio multimodal avançado, compreensão de contexto longo (até ~128 K tokens) e interações no estilo agente, competindo bem com modelos maiores em benchmarks como compreensão de vídeo, reconhecimento óptico de caracteres (OCR), raciocínio matemático e tarefas com múltiplas imagens.
Variantes como Kimi-VL-A3B-Thinking são ainda mais ajustadas para tarefas de raciocínio em cadeia de pensamento, enquanto o codificador visual MoonViT suporta compreensão de entradas de alta resolução.
Figura 2: Projeto da arquitetura Kimi-VL.11
Série Claude 4 da Anthropic
A série Anthropic’s Claude 4 integra compreensão visual avançada com seu mecanismo de raciocínio baseado em texto, incorporando visão diretamente em fluxos de trabalho de resolução de problemas.
Os modelos Claude 4 demonstram forte desempenho em benchmarks de raciocínio multimodal como MMMU, especialmente na interpretação de gráficos, diagramas e dados visuais complexos. Um recurso distintivo do Claude Opus 4.1 é sua capacidade de avaliar qualidades estéticas em imagens, indo além do reconhecimento para avaliações mais sutis.
Essas capacidades, combinadas com as funções agente do Claude, tornam a série eficaz para tarefas como sintetizar pesquisas de relatórios com texto e visuais mistos ou auxiliar no design de interface por meio da análise de protótipos visuais.
Google’s Gemini 3
Google lançou o Gemini 3 em novembro de 2025, com o Gemini 3 Pro disponível imediatamente e o modo Gemini 3 Deep Think sendo disponibilizado aos assinantes do Google AI Ultra pouco depois. Gemini 3 é posicionado pelo Google como seu modelo multimodal mais inteligente e mais capaz, com suporte nativo para texto, imagens, vídeo, áudio e código em uma única arquitetura.
O Gemini 3 Pro vem com uma janela de contexto de 1 milhão de tokens e obtém resultados fortes em benchmarks multimodais, incluindo 81% no MMMU-Pro e 87,6% no Video-MMMU. Ele liderou o LMArena Leaderboard no lançamento com uma pontuação de 1501 Elo e obteve 91,9% no GPQA Diamond para raciocínio em nível de pós-graduação e 76,2% no SWE-bench Verified para tarefas de codificação agente.
O Gemini 3 Deep Think é um modo de raciocínio aprimorado que melhora ainda mais o desempenho nas tarefas mais exigentes, obtendo 41,0% em Humanity’s Last Exam (sem ferramentas) e 45,1% em ARC-AGI-2. Junto com o Gemini 3, o Google também lançou o Google Antigravity, uma plataforma de desenvolvimento agente que combina o Gemini 3 com o modelo Gemini 2.5 Computer Use para controle de navegador e o modelo de edição de imagem Nano Banana, permitindo fluxos de trabalho completos de desenvolvimento de software nos quais o modelo pode planejar, codificar e validar tarefas autonomamente.12
GPT-5 da OpenAI
GPT-5 introduz multimodalidade nativa aprimorada em texto, voz, imagem e vídeo. Diferentemente de sistemas anteriores que dependiam fortemente de plugins, o GPT-5 integra essas modalidades em uma arquitetura unificada, resultando em interação mais fluida. O modelo se adapta flexivelmente a vários tipos de entrada e pode transitar entre eles.
Um recurso notável é seu Modo de Voz em Tempo Real, que pode ajustar tom, ritmo e estilo de acordo com as instruções do usuário. Isso cria uma experiência conversacional mais natural e adaptativa. O processamento visual também melhorou, reduzindo alucinações na interpretação ou geração de imagens, diagramas e gráficos. Outro avanço está em suas capacidades de memória, que permitem ao sistema lembrar entradas anteriores e manter o contexto em interações prolongadas.
Essas melhorias tornam o GPT-5 particularmente valioso para interfaces multimodais acessíveis, especialmente para pessoas com deficiências sensoriais.
Modelos multimodais focados em robótica da Google DeepMind
Google DeepMind desenvolveu o Gemini Robotics e o Gemini Robotics-ER, modelos adaptados para integrar visão, linguagem e ação em sistemas robóticos. Esses modelos permitem que robôs realizem tarefas em ambientes não estruturados, como dobrar papel ou desatarraxar tampas de garrafas.
Um recurso-chave desses modelos é seu mecanismo de segurança. Antes de executar ações, o sistema realiza verificações integradas para minimizar riscos e garantir o manuseio adequado das tarefas. Essa abordagem resolve um dos grandes desafios da robótica: conectar o raciocínio avançado de IA com a execução segura e confiável no mundo real.
Llama 4 Scout e Llama 4 Maverick da Meta AI
Llama 4 Scout é um modelo multimodal com 17 bilhões de parâmetros ativos e 16 especialistas. Este modelo supera modelos Llama da geração anterior e é projetado para operar em uma única H100 GPU. Possui uma janela de contexto de 10 milhões de tokens para processar grandes quantidades de informações. Resultados de benchmarks indicam que o Llama 4 Scout obtém melhores resultados que Gemma 3, Gemini 2.0 Flash-Lite e Mistral 3.1 em uma variedade de benchmarks amplamente relatados.
Llama 4 Maverick é um modelo multimodal com 17 bilhões de parâmetros ativos e 128 especialistas. Este modelo é apresentado como um dos melhores de sua classe, superando GPT-4o e Gemini 2.0 Flash em uma variedade de benchmarks. Ele alcança desempenho comparável ao DeepSeek v3 em raciocínio e codificação, usando menos parâmetros ativos. Uma versão experimental de chat do Llama 4 Maverick obteve uma pontuação ELO de 1417 na plataforma LMArena.
Geração de imagem 4o pela OpenAI
O mais recente modelo de geração de imagem da OpenAI, integrado ao GPT-4o, integra criação de texto e visual em um sistema unificado. Essa capacidade multimodal permite que o GPT-4 gere imagens aproveitando seu conhecimento baseado em texto e contexto da conversa, criando uma interação entre linguagem e visuais.
Através da geração em múltiplas etapas, os usuários podem refinar imagens conversacionalmente, conforme mostrado nas figuras abaixo. O modelo se baseia em entradas textuais anteriores e imagens enviadas para manter a consistência. Ao analisar visuais fornecidos pelo usuário e aprender em contexto, o GPT-4o se adapta a detalhes específicos, aprimorando sua capacidade de produzir imagens conscientes do contexto.
Figura 3: Solicitando a criação de um desenho usando referências e instruindo sobre características de texto para a imagem.
Figura 4: Solicitando a criação de uma foto a partir do desenho e colocando-a em uma cena.13
Qwen3-VL pela Alibaba
A série Qwen3-VL da Alibaba, lançada a partir de setembro de 2025, baseia-se no modelo de linguagem Qwen3 adicionando capacidades mais profundas de percepção e raciocínio visual. A família inclui variantes densas de 2B a 32B de parâmetros e variantes de Mixture-of-Experts de até 235B de parâmetros totais (22B ativos), todas lançadas sob a licença Apache 2.0.
Recursos principais incluem uma janela de contexto nativa de 256K (expansível para 1 milhão de tokens), OCR multilíngue expandido em 32 idiomas, ancoragem de objetos 2D e 3D para raciocínio espacial e IA encarnada, compreensão de vídeo de horas com indexação em segundos e capacidades de agente visual para controle de GUI.
As variantes Thinking são ajustadas para STEM e raciocínio multimodal, enquanto as variantes Instruct visam tarefas gerais de linguagem e visão como análise de documentos, extração de gráficos e resposta a perguntas visuais.
Gemma 3 pela Google
Google’s Gemma 3 baseia-se na tecnologia de seus modelos Gemini 2.0. Vem em quatro tamanhos (1B, 4B, 12B e 27B) para diferentes requisitos de hardware e oferece uma janela de contexto de 128k tokens. Gemma 3 apresenta bom desempenho em configurações com um único acelerador e inclui raciocínio textual e visual, chamada de função e suporte a mais de 35 idiomas, com pré-treinamento para mais de 140. Versões quantizadas reduzem o tamanho do modelo e as necessidades computacionais. O sistema ShieldGemma 2 fornece classificação de segurança de conteúdo.
Phi-4-multimodal pela Microsoft
Microsoft’s Phi-4-multimodal é um modelo de 5,6B de parâmetros que processa fala, visão e texto em uma arquitetura unificada. Usa aprendizado cruzado entre modalidades para interações conscientes do contexto entre diferentes tipos de entrada. O modelo lida com múltiplos formatos de entrada sem exigir sistemas de processamento separados e é projetado para implantação em dispositivos e computação de borda. Aplicações incluem IA para smartphones, sistemas automotivos e serviços multilíngues.
O que é um modelo multimodal grande (LMM)?
Um modelo multimodal grande é um tipo avançado de modelo de inteligência artificial que pode processar e entender múltiplos tipos de modalidades de dados. Esses dados multimodais podem incluir texto, imagens, áudio, vídeo e potencialmente outros. O recurso-chave de um modelo multimodal é sua capacidade de integrar e interpretar informações dessas diferentes fontes de dados, muitas vezes simultaneamente.
Esses podem ser entendidos como versões mais avançadas de modelos de linguagem grandes (LLMs) que podem trabalhar com texto e também com diversos tipos de dados. Além disso, as saídas dos modelos multimodais são projetadas para serem não apenas textuais, mas também visuais, auditivas, etc.
Considera-se que os modelos de linguagem multimodais são o próximo passo rumo à inteligência artificial geral.
O que é um agente de IA multimodal?
Agentes de IA multimodal são sistemas projetados para interagir com o mundo usando vários tipos de dados, incluindo imagens, vídeos e texto, permitindo que operem em ambientes digitais e físicos. Modelos multimodais são o componente central desses agentes, permitindo-lhes perceber e entender informações de diversas fontes.
Por exemplo, modelos como Magma utilizam compreensão de linguagem e visão e inteligência espacial, alcançadas por meio de técnicas como Set-of-Mark e Trace-of-Mark durante o pré-treinamento em conjuntos de dados multimodais.
Isso permite que o agente realize tarefas que vão desde entender conteúdo de vídeo e responder perguntas até navegar em interfaces e controlar robôs, demonstrando as capacidades versáteis que os modelos multimodais trazem aos agentes de IA aproveitando diferentes modalidades de dados. A ilustração abaixo mostra Magma planejando trajetórias de robô para realizar tarefas, demonstrando sua inteligência espacial em ação.14
Qual é a diferença entre LMMs e LLMs?
1. Modalidades de dados
- LMMs: São projetados para entender e processar múltiplos tipos de entradas de dados, ou modalidades. Isso inclui texto, imagens, áudio, vídeo e às vezes outros tipos de dados como dados sensoriais. A capacidade-chave dos LMMs é sua habilidade de integrar e dar sentido a esses diferentes formatos de dados, muitas vezes simultaneamente.
- LLMs: Esses modelos são especializados no processamento e geração de dados textuais. São treinados principalmente em grandes corpora de texto e são hábeis na compreensão e geração de linguagem humana em uma variedade de contextos. Eles não processam inerentemente dados não textuais como imagens ou áudio.
2. Aplicações e tarefas
- LMMs: Por causa de sua natureza multimodal, esses modelos podem ser aplicados a tarefas que exigem entender e integrar informações de diferentes tipos de dados. Por exemplo, um LMM poderia analisar um artigo de notícias (texto), suas fotografias acompanhantes (imagens) e clipes de vídeo relacionados para obter uma compreensão abrangente.
- LLMs: Suas aplicações giram em torno de tarefas envolvendo texto, como escrever artigos, traduzir idiomas, responder perguntas, resumir documentos e criar conteúdo baseado em texto.
Adicionar como fonte preferencialQuais são as modalidades de dados dos modelos multimodais grandes?
Texto
Isso inclui qualquer forma de conteúdo escrito, como livros, artigos, páginas da web e postagens em mídias sociais. O modelo pode entender, interpretar e gerar conteúdo textual, incluindo tarefas de processamento de linguagem natural como tradução, resumo e resposta a perguntas.
Imagens
Esses modelos podem analisar e gerar dados visuais. Isso inclui entender o conteúdo e contexto de fotografias, ilustrações e outras representações gráficas. Tarefas como classificação de imagens, detecção de objetos e geração de imagens a partir de descrições textuais estão nesta categoria.
Áudio
Isso abrange gravações sonoras, música e linguagem falada. Os modelos podem ser treinados para reconhecer fala, música, sons ambientes e outras entradas auditivas. Podem transcrever fala, entender comandos falados e até gerar fala sintética ou música.
Vídeo
Combinando elementos visuais e auditivos, o processamento de vídeo envolve entender imagens em movimento e seus sons acompanhantes. Isso pode incluir analisar conteúdo de vídeo, reconhecer ações ou eventos em vídeos e gerar clipes de vídeo.
Embora a maioria dos atuais modelos grandes de linguagem multimodal só consiga processar texto e imagens, pesquisas futuras visam incluir entradas de dados de áudio e vídeo.
Como são treinados os modelos multimodais grandes?
O treinamento de modelos multimodais grandes (LMMs) difere significativamente do treinamento de modelos de linguagem grandes (LLMs) em vários aspectos-chave:
1. Coleta e preparação de dados
- LLMs: Focam em dados textuais de livros, sites e fontes escritas, com ênfase na diversidade linguística para fontes de dados para treinamento de LLM.
- LMMs: Exigem dados de texto, imagens, áudio e vídeo. A coleta é mais complexa devido aos formatos variados. A anotação de dados e o alinhamento entre modalidades são essenciais.
2. Design da arquitetura do modelo
- LLMs: Usam arquiteturas transformer otimizadas para processamento sequencial de texto.
- LMMs: Empregam arquiteturas mais complexas que integram múltiplos tipos de redes neurais (CNNs para imagens, transformers para texto) com mecanismos para conectar essas modalidades.
3. Pré-treinamento
- LLMs: Pré-treinam em corpora de texto usando técnicas como modelagem de linguagem mascarada.
- LMMs: Pré-treinam em múltiplos tipos de dados, aprendendo a correlacionar texto com imagens ou entender sequências de vídeo.
4. Ajuste fino
- LLMs: Ajuste fino em conjuntos de dados textuais especializados para tarefas específicas.
- LMMs: Exigem ajuste fino em conjuntos de dados específicos por modalidade e em conjuntos de dados cruzados para estabelecer relações entre diferentes tipos de dados.
5. Avaliação e iteração
- LLMs: Avaliação métricas focadas em tarefas de compreensão e geração de linguagem, incluindo fluência, coerência e relevância.
- LMMs: Avaliados em métricas mais amplas que cobrem reconhecimento de imagens, processamento de áudio e capacidades de integração cruzada.
Como funcionam os LMMs?
Modelos multimodais grandes compartilham semelhanças com modelos de linguagem grandes em seu processo de treinamento, design e operação. Eles usam a mesma arquitetura transformer e estratégias de treinamento. Modelos multimodais grandes são treinados em:
- Dados textuais
- Milhões ou bilhões de imagens com descrições textuais
- Clipes de vídeo
- Fragmentos de áudio
- Outros dados de entrada, como código
Esse treinamento envolve aprendizado simultâneo de múltiplas modalidades de dados, permitindo ao modelo:
- Reconhecer uma foto de um gato
- Identificar uma palavra em um clipe de áudio
- Entender conceitos e detalhes sensoriais além do texto
Dessa forma, os usuários podem enviar:
- Uma imagem para:
- Obter uma descrição do que está acontecendo
- Usar a imagem como parte de um prompt para gerar texto ou imagens
- Fazer perguntas complementares sobre elementos específicos da imagem
- Traduzir o texto da imagem para outro idioma (ex: Menu)
Figura 5: Enviando uma imagem de um gato no ChatGPT para descrevê-la.
- Gráficos e gráficos para:
- Fazer perguntas complicadas complementares sobre o que mostram
- Protótipo de design para:
- Obter o código HTML e CSS necessário para criá-lo.
Figura 6: Solicitando a imagem no estilo de filme de Wes Anderson. O ChatGPT envia o prompt para um modelo de geração de imagem (como o DALL·E), que interpreta a solicitação e produz a imagem estilizada.
Após o processo de treinamento, os modelos podem incorporar estereótipos prejudiciais e ideias tóxicas. Para refiná-los, técnicas como:
- Aprendizado por reforço com feedback humano (RLHF)
- Modelos de supervisão de IA
- Red teaming (testar a robustez do modelo) podem ser usadas.
Além disso, ferramentas de governança de IA e ferramentas de IA responsável, que funcionam como soluções de conformidade de IA, podem também permitir a otimização do inventário de IA, ajudando a evitar viés de IA e outros dilemas éticos. Aqui está um exemplo de como essas ferramentas abordam preocupações com direitos autorais de IA generativa:
Figura 7: O ChatGPT rejeita meu pedido devido às diretrizes da política de conteúdo para proteger direitos autorais.
O objetivo é desenvolver um sistema multimodal funcional capaz de lidar com:
- Síntese de texto para imagem
- Legenda de imagens
- Recuperação de imagens baseada em texto
- Resposta a perguntas visuais.
Dessa forma, a IA multimodal pode integrar várias modalidades, fornecendo capacidades avançadas para tarefas que envolvem linguagem e visão.
Quais são as limitações dos modelos de linguagem grandes?
- Requisitos de dados e viés: Esses modelos exigem conjuntos de dados massivos e diversos para treinamento. No entanto, a disponibilidade e qualidade desses conjuntos de dados podem ser um desafio. Além disso, se os dados de treinamento contiverem vieses, o modelo provavelmente os herdará e possivelmente os amplificará, levando a resultados injustos ou antiéticos.
- Recursos computacionais: Treinar e executar modelos multimodais grandes exige recursos computacionais significativos, tornando-os caros e menos acessíveis para organizações menores ou pesquisadores independentes.
- Interpretabilidade e explicabilidade: Como em modelos complexos de IA, entender como eles tomam decisões pode ser difícil. Essa falta de transparência pode ser um problema crítico, especialmente em aplicações sensíveis como saúde ou aplicação da lei.
- Integração de modalidades: Integrar efetivamente diferentes tipos de dados (como texto, imagens e áudio) de forma que realmente entenda as nuances de cada modalidade é extremamente desafiador. O modelo pode nem sempre compreender com precisão o contexto ou as sutilezas da comunicação humana que surgem da combinação dessas modalidades.
- Generalização e sobreajuste: Embora esses modelos sejam treinados em grandes conjuntos de dados, podem ter dificuldade para generalizar para novos dados ou cenários não vistos que diferem significativamente de seus dados de treinamento. Por outro lado, podem sobreajustar os dados de treinamento, capturando ruído e anomalias como padrões.
Para saber mais, explore os desafios e riscos associados a modelos generativos e de linguagem.
Metodologia de benchmark para LMMs
Avaliamos o desempenho de Modelos Multimodais Grandes (LMMs) usando um subconjunto do conjunto de dados FinMME15 , um benchmark abrangente projetado para avaliar capacidades de raciocínio multimodal financeiro. O FinMME compreende mais de 11.000 amostras financeiras de alta qualidade em 18 domínios financeiros e 6 classes de ativos, fornecendo um framework robusto para avaliar LMMs no domínio financeiro.
Para este benchmark, utilizamos uma seleção curada de 100 amostras do conjunto de dados FinMME para analisar a capacidade dos modelos de processar e raciocinar com dados financeiros multimodais.
Aviso
Esta avaliação utilizou um subconjunto curado de 100 amostras de um conjunto de dados maior para benchmark de LMMs. Para uma avaliação abrangente do desempenho do modelo, todas as amostras no conjunto de dados completo do benchmark devem ser consideradas.
Conclusão
Modelos multimodais grandes (LMMs) estão integrando diversos tipos de dados, como texto, imagens, áudio e vídeo, superando assim as capacidades exclusivamente textuais dos modelos de linguagem grandes (LLMs). Com avanços como o Meta AI’s Llama 4, o OpenAI’s GPT-4o e o Qwen2.5-VL da Alibaba, os LMMs permitem aplicações mais ricas, desde raciocínio visual até geração de imagens consciente do contexto.
No entanto, sua complexidade, altas demandas computacionais e desafios relacionados à integração de dados e mitigação de vieses permanecem obstáculos. À medida que os LMMs evoluem, eles abrem caminho para agentes de IA mais versáteis, aproximando-nos da inteligência artificial geral. Para organizações e pesquisadores, selecionar o modelo certo envolve equilibrar desempenho, custo e as necessidades específicas do caso de uso.
Cite este benchmark
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Modelos Multimodais Grandes (LMMs) vs LLMs}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/large-multimodal-models}},
note = {AIMultiple. Acessado em 22 Maio 2026}
}Links de referência
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.