Modelos Multimodais Grandes (LMMs) vs LLMs
Avaliamos o desempenho de Modelos Multimodais Grandes (LMMs) em tarefas de raciocínio financeiro usando um dataset cuidadosamente selecionado. Analisando um subconjunto de amostras financeiras de alta qualidade, avaliamos as capacidades dos modelos em processar e raciocinar com dados multimodais no domínio financeiro.
A seção de metodologia fornece insights detalhados sobre o dataset e o framework de avaliação empregados.
Explore modelos multimodais grandes e compare-os com modelos de linguagem grandes.
Por que os modelos tiveram desempenhos diferentes?
A variação nas taxas de sucesso reflete diferenças na forma como cada modelo processa tarefas financeiras multimodais. Como o benchmark utiliza amostras do dataset FinMME, que exigem a integração de texto e visuais financeiros, como gráficos e documentos estruturados, o desempenho depende fortemente da arquitetura do modelo, da qualidade do treinamento e do alinhamento multimodal.
Arquitetura do modelo e design de parâmetros
Os modelos diferem na forma como combinam codificadores de texto e imagem, no número de parâmetros ativos e na complexidade do roteamento de especialistas.
- Llama 4 Maverick, por exemplo, usa um design maior baseado em especialistas, permitindo um raciocínio mais forte.
- Modelos menores ou focados em eficiência têm menos parâmetros alinhados ao raciocínio multimodal, o que limita o desempenho.
Essas distinções arquiteturais afetam a capacidade de cada modelo de interpretar relações numéricas, estruturas de gráficos e visuais específicos do domínio.
Cobertura de dados de treinamento
Alguns modelos são treinados com datasets multimodais extensos, enquanto outros dependem principalmente de dados de propósito geral.
- Modelos das famílias Claude 4 e Qwen 2.5 incorporam dados visuais e textuais em larga escala, melhorando sua capacidade de alinhar pistas numéricas e visuais.
- Modelos treinados com corpora multimodais mais limitados têm dificuldades com gráficos financeiros e diagramas estruturados.
Os dados de treinamento influenciam diretamente a confiabilidade com que um modelo lida com conceitos financeiros entre modalidades.
Fine-tuning para raciocínio entre modalidades
O benchmark requer coordenação entre interpretação de imagem e raciocínio baseado em texto.
- Os modelos Claude 4 são descritos como fortes em tarefas envolvendo gráficos e diagramas.
- Modelos sem fine-tuning dedicado entre modalidades podem detectar características visuais corretamente, mas ficam aquém ao conectá-las à linguagem ou lógica financeira.
A estratégia de fine-tuning de um modelo afeta sua capacidade de mesclar sinais textuais e visuais durante a análise.
Capacidade de gerenciamento de contexto
Amostras financeiras frequentemente contêm múltiplos elementos que devem ser lidos juntos, como gráficos com várias partes ou descrições longas.
- Modelos com janelas de contexto mais amplas conseguem reter relações através de entradas longas.
- Modelos mais restritos podem perder dependências, reduzindo a precisão em tarefas que exigem rastrear múltiplos componentes visuais e textuais.
O tamanho da janela de contexto influencia a capacidade do modelo de manter o alinhamento entre detalhes quantitativos e visuais.
Tamanho do modelo e prioridades de eficiência
Alguns modelos são deliberadamente projetados para implantação leve em vez de raciocínio de alta complexidade.
- Modelos multimodais Phi-4 e similares priorizam eficiência, limitando a profundidade do processamento multimodal.
- Modelos maiores mantêm maior capacidade para tarefas de raciocínio que envolvem compreensão detalhada de gráficos.
Essa troca resulta em pontuações mais baixas para modelos menores.
Diferenças na compreensão visual
A avaliação inclui tarefas que exigem leitura precisa de gráficos, identificação de objetos dentro de documentos financeiros e extração de detalhes visuais.
- Modelos com pipelines visuais avançados, como variantes do Qwen 2.5-VL, gerenciam essas tarefas de forma mais eficaz.
- Outros podem lidar bem com imagens genéricas, mas apresentam desempenho inconsistente com visuais financeiros estruturados.
A força do raciocínio visual afeta fortemente os resultados em amostras no estilo FinMME.
Características do dataset de avaliação
O dataset foca no raciocínio financeiro multimodal em vez de tarefas de propósito geral.
- Modelos treinados ou com fine-tuning para tarefas financeiras, numéricas ou baseadas em gráficos têm melhor desempenho.
- Modelos generalistas sem exposição ao domínio apresentam menor precisão em datasets financeiros.
A especialização do dataset torna o desempenho mais sensível à qualidade do raciocínio entre modalidades.
O que são modelos multimodais grandes de código aberto?
LMMs de código aberto com seu número de estrelas no GitHub:
O gráfico mostra que a popularidade no GitHub de vários LMMs de código aberto vem aumentando, com alguns modelos experimentando rápida adoção logo após seu lançamento.
A série Janus da DeepSeek ganhou milhares de estrelas no GitHub dias após o lançamento do Janus-Pro em 27 de janeiro de 2025, superando seus concorrentes, que levaram meses para atingir números semelhantes. Esse rápido crescimento deveu-se ao sucesso do Janus-Pro e foi influenciado pelo impulso criado pelo DeepSeek-R1.
- Gemma 3 do Google: Gemma 3 é uma família de modelos abertos leves e de última geração, derivados da tecnologia Gemini 2.0. Esses modelos oferecem capacidades avançadas de raciocínio textual e visual, uma janela de contexto de 128k tokens, suporte a chamada de funções e versões quantizadas para desempenho otimizado. Inclui o ShieldGemma 2 para segurança de imagem e suporta diversas ferramentas e opções de implantação.1
- Janus-Pro da DeepSeek: Janus-Pro é uma versão avançada do modelo Janus, projetada tanto para entender quanto para gerar texto e imagens. Possui uma estratégia de treinamento otimizada, dados de treinamento expandidos e um tamanho de modelo maior, aprimorando suas capacidades multimodais.2
- Qwen2.5-VL da Alibaba: O Qwen2.5-VL da Alibaba é uma extensão multimodal do modelo de linguagem Qwen2.5, projetado para compreensão de texto e imagem. Destaca-se pelo pré-treinamento em larga escala (até 18T tokens), janela de contexto estendida (até 128K tokens), melhor seguimento de instruções e suporte multilíngue robusto, tornando-o adequado para tarefas como legendagem de imagens e resposta a perguntas visuais. 3
- Com base na série Qwen2.5-VL, a Alibaba otimizou e disponibilizou em código aberto o Qwen2.5-VL-32B-Instruct, um modelo VL de 32B que incorpora compreensão e raciocínio de imagem refinados. Isso resulta em melhor desempenho e análise detalhada em tarefas como análise de imagem, reconhecimento de conteúdo e dedução lógica visual.4
- CLIP (Contrastive Language–Image Pretraining) da OpenAI: O CLIP é projetado para entender imagens no contexto da linguagem natural. Ele pode realizar tarefas como classificação de imagem zero-shot, classificando com precisão imagens mesmo em categorias para as quais não foi explicitamente treinado, por meio da compreensão de descrições textuais.5
- Com base na série Qwen2.5-VL, a Alibaba otimizou e disponibilizou em código aberto o Qwen2.5-VL-32B-Instruct, um modelo VL de 32B que incorpora compreensão e raciocínio de imagem refinados. Isso resulta em melhor desempenho e análise detalhada em tarefas como análise de imagem, reconhecimento de conteúdo e dedução lógica visual.6
- Flamingo da DeepMind: O Flamingo foi projetado para aproveitar os pontos fortes da compreensão de linguagem e visual, tornando-o capaz de realizar tarefas que exigem interpretar e integrar informações de texto e imagens.7
Figura 1: Um exemplo extraído de Chip Huyen8
Quais são os principais LMMs?
Recursos de UI e API de LLMs de propósito geral
Os fornecedores foram selecionados entre os LLMs multimodais mais populares com base em comparabilidade, disponibilidade de dados e atualidade.
LMMs com seu preço por token:
Para selecionar o modelo mais adequado, considere fatores como seu orçamento, as capacidades e o nível de desempenho exigidos e o volume esperado de tokens de entrada/saída necessários para o seu caso de uso específico.
Leia mais sobre preços de LLM.
Quais são os avanços mais recentes em modelos multimodais?
Avanços recentes em modelos multimodais introduziram novas capacidades e eficiências no desenvolvimento de IA.
Modelos fundacionais multimodais com foco em vídeo
Modelos fundacionais multimodais com foco em vídeo estão indo além de gerar legendas ou resumos de alto nível e estão aprendendo a localizar explicitamente evidências dentro de vídeos.
Em vez de dizer o que acontece, eles podem identificar quando acontece (marcas de tempo) e onde acontece (caixas delimitadoras ao redor de objetos ou regiões).
Essa mudança em direção ao grounding espaço-temporal torna a compreensão de vídeo mais precisa e verificável. Também possibilita tarefas como encontrar momentos exatos, rastrear objetos, editar vídeos usando linguagem natural e apoiar robótica e sistemas críticos de segurança.
Por exemplo, o Vidi9 é um projeto de código aberto da ByteDance focado em modelos multimodais grandes para compreensão e edição de vídeo.
O repositório hospeda o código e os recursos para uma família de modelos (ex.: Vidi-7B, Vidi1.5-9B, Vidi2 e Vidi2.5) que recebem visão, áudio e texto como entradas para realizar tarefas como:
- Recuperação temporal (encontrar os segmentos de tempo em um vídeo correspondentes a uma consulta de texto)
- Grounding espaço-temporal (localizar objetos com caixas delimitadoras)
- Resposta a perguntas em vídeo
Lançamento multimodal de fronteira Mistral 3
A Mistral IA desenvolveu uma nova família de modelos de IA de código aberto chamada Mistral 3. O conjunto Mistral 3 compreende tanto modelos multimodais/multilíngues de nível de fronteira quanto modelos menores e eficientes, projetados para funcionar em uma variedade de dispositivos, da nuvem à borda, e até mesmo em GPUs únicas.
Lançado sob uma licença de código aberto permissiva (Apache 2.0), esses modelos visam democratizar o acesso à IA avançada, permitir customização e flexibilidade de implantação e fortalecer a posição da Europa no desenvolvimento de IA, onde há preocupações sobre ficar para trás dos EUA e da China em tecnologias de ponta.10
Modelos de visão-linguagem MoE de código aberto
Kimi-VL (da Moonshot IA) é um modelo multimodal de visão-linguagem de código aberto construído com uma arquitetura Mixture-of-Experts (MoE), com desempenho em tarefas que combinam texto, imagens e vídeo, mantendo a computação eficiente.
Ele possui um backbone de 16 B parâmetros totais, mas normalmente ativa ~2,8 B parâmetros durante a inferência, o que ajuda a equilibrar capacidade e custo.
O Kimi-VL é projetado para raciocínio multimodal avançado, compreensão de contexto longo (até ~128 K tokens) e interações no estilo de agentes, competindo bem com modelos maiores em benchmarks como compreensão de vídeo, reconhecimento óptico de caracteres (OCR), raciocínio matemático e tarefas com múltiplas imagens.
Variantes como Kimi-VL-A3B-Thinking são ainda ajustadas com fine-tuning para tarefas de cadeia de pensamento e raciocínio, enquanto o codificador visual MoonViT suporta compreensão de entrada em alta resolução.
Figura 2: Design da arquitetura Kimi-VL.11
Série Claude 4 da Anthropic
A série Claude 4 da Anthropic integra compreensão visual avançada com seu mecanismo de raciocínio baseado em texto, incorporando visão diretamente nos fluxos de trabalho de resolução de problemas.
Os modelos Claude 4 demonstram forte desempenho em benchmarks de raciocínio multimodal como MMMU, particularmente na interpretação de gráficos, diagramas e dados visuais complexos. Uma característica distintiva do Claude Opus 4.1 é sua capacidade de avaliar qualidades estéticas dentro de imagens, indo além do reconhecimento para avaliações mais sutis.
Essas capacidades, combinadas com as funções agênticas do Claude, tornam a série eficaz para tarefas como sintetizar pesquisas a partir de relatórios com texto e visuais mistos ou auxiliar no design de interfaces por meio da análise de maquetes visuais.
Gemini 3 do Google
O Google lançou o Gemini 3 em novembro de 2025, com o Gemini 3 Pro disponível imediatamente e o modo Gemini 3 Deep Think sendo disponibilizado para assinantes do Google IA Ultra logo em seguida. O Gemini 3 é posicionado pelo Google como seu modelo multimodal mais inteligente e capaz, com suporte nativo para texto, imagens, vídeo, áudio e código em uma única arquitetura.
O Gemini 3 Pro vem com uma janela de contexto de 1 milhão de tokens e alcança fortes resultados em benchmarks multimodais, incluindo 81% no MMMU-Pro e 87,6% no Video-MMMU. Ele liderou o LMArena Leaderboard no lançamento com uma pontuação de 1501 Elo, e marcou 91,9% no GPQA Diamond para raciocínio de nível de pós-graduação e 76,2% no SWE-bench Verified para tarefas de codificação agêntica.
O Gemini 3 Deep Think é um modo de raciocínio aprimorado que melhora ainda mais o desempenho nas tarefas mais exigentes, marcando 41,0% no Humanity’s Last Exam (sem ferramentas) e 45,1% no ARC-AGI-2. Juntamente com o Gemini 3, o Google também lançou o Google Antigravity, uma plataforma de desenvolvimento agêntico que combina o Gemini 3 com o modelo Gemini 2.5 Computer Use para controle de navegador e o modelo de edição de imagem Nano Banana, permitindo fluxos de trabalho de desenvolvimento de software ponta a ponta nos quais o modelo pode planejar, codificar e validar tarefas de forma autônoma.12
GPT-5 da OpenAI
O GPT-5 introduz multimodalidade nativa aprimorada em texto, voz, imagem e vídeo. Diferentemente de sistemas anteriores que dependiam fortemente de plugins, o GPT-5 integra essas modalidades dentro de uma arquitetura unificada, resultando em interação mais suave. O modelo se adapta de forma flexível a vários tipos de entrada e pode transitar entre eles.
Uma característica notável é seu Modo de Voz em Tempo Real, que pode ajustar tom, ritmo e estilo de acordo com as instruções do usuário. Isso cria uma experiência conversacional mais natural e adaptativa. O processamento visual também foi aprimorado, reduzindo alucinações na interpretação ou geração de imagens, diagramas e gráficos. Outro avanço reside em suas capacidades de memória, que permitem ao sistema recordar entradas anteriores e manter o contexto ao longo de interações extensas.
Essas melhorias tornam o GPT-5 particularmente valioso para interfaces multimodais acessíveis, especialmente para indivíduos com deficiências sensoriais.
Modelos multimodais focados em robótica da Google DeepMind
A Google DeepMind desenvolveu o Gemini Robotics e o Gemini Robotics-ER, modelos adaptados para integrar visão, linguagem e ação em sistemas robóticos. Esses modelos permitem que robôs realizem tarefas em ambientes não estruturados, como dobrar papel ou desrosquear tampas de garrafas.
Uma característica chave desses modelos é seu mecanismo de segurança. Antes de executar ações, o sistema realiza verificações integradas para minimizar riscos e garantir o manuseio adequado das tarefas. Essa abordagem aborda um dos desafios significativos na robótica: unir o raciocínio avançado de IA com a execução segura e confiável no mundo real.
Llama 4 Scout e Llama 4 Maverick da Meta IA
O Llama 4 Scout é um modelo multimodal com 17 bilhões de parâmetros ativos e 16 especialistas. Este modelo supera os modelos Llama da geração anterior e foi projetado para operar em uma única H100 GPU. Ele possui uma janela de contexto de 10 milhões de tokens para processar grandes quantidades de informação. Resultados de benchmarks indicam que o Llama 4 Scout alcança melhores resultados que o Gemma 3, o Gemini 2.0 Flash-Lite e o Mistral 3.1 em uma série de benchmarks amplamente divulgados.
O Llama 4 Maverick é um modelo multimodal com 17 bilhões de parâmetros ativos e 128 especialistas. Este modelo é apresentado como um dos melhores em sua classe, superando o GPT-4o e o Gemini 2.0 Flash em uma série de benchmarks. Ele alcança desempenho comparável ao DeepSeek v3 em raciocínio e codificação, usando menos parâmetros ativos. Uma versão experimental de chat do Llama 4 Maverick alcançou uma pontuação ELO de 1417 na plataforma LMArena.
Geração de Imagens 4o da OpenAI
O mais recente modelo de geração de imagens da OpenAI, incorporado ao GPT-4o, integra criação textual e visual em um sistema unificado. Essa capacidade multimodal permite que o GPT-4 gere imagens valendo-se de seu conhecimento baseado em texto e contexto de chat, criando uma interação entre linguagem e visuais.
Por meio da geração em múltiplas etapas, os usuários podem refinar imagens de forma conversacional, como mostrado nas figuras abaixo. O modelo se baseia em entradas de texto anteriores e imagens enviadas para manter a consistência. Ao analisar visuais fornecidos pelo usuário e aprender em contexto, o GPT-4o se adapta a detalhes específicos, aprimorando sua capacidade de produzir imagens conscientes do contexto.
Figura 3: Solicitando a criação de um desenho usando referências e instruindo sobre características de texto para a imagem.
Figura 4: Solicitando a criação de uma foto a partir do desenho e colocando-a em uma cena.13
Qwen3-VL da Alibaba
A série Qwen3-VL da Alibaba, lançada a partir de setembro de 2025, baseia-se no modelo de linguagem Qwen3 adicionando percepção visual mais profunda e capacidades de raciocínio. A família inclui variantes densas de 2B a 32B parâmetros e variantes Mixture-of-Experts de até 235B parâmetros totais (22B ativos), todas lançadas sob a licença Apache 2.0.
As principais características incluem uma janela de contexto nativa de 256K (expansível para 1 milhão de tokens), OCR multilíngue expandido para 32 idiomas, grounding de objetos 2D e 3D para raciocínio espacial e IA incorporada, compreensão de vídeo de horas com indexação em nível de segundos e capacidades de agente visual para controle de GUI.
As variantes Thinking são ajustadas para raciocínio STEM e multimodal, enquanto as variantes Instruct visam tarefas gerais de visão-linguagem, como análise de documentos, extração de gráficos e resposta a perguntas visuais.
Gemma 3 do Google
O Gemma 3 do Google baseia-se na tecnologia de seus modelos Gemini 2.0. Ele vem em quatro tamanhos (1B, 4B, 12B e 27B) para diferentes requisitos de hardware e oferece uma janela de contexto de 128k tokens. O Gemma 3 tem bom desempenho em configurações com um único acelerador e inclui raciocínio textual e visual, chamada de funções e suporte para mais de 35 idiomas, com pré-treinamento para mais de 140. Versões quantizadas reduzem o tamanho do modelo e as necessidades computacionais. O sistema ShieldGemma 2 fornece classificação de segurança de conteúdo.
Phi-4-multimodal da Microsoft
O Phi-4-multimodal da Microsoft é um modelo de 5,6B parâmetros que processa fala, visão e texto em uma arquitetura unificada. Ele usa aprendizado entre modalidades para interações conscientes do contexto entre diferentes tipos de entrada. O modelo lida com múltiplos formatos de entrada sem exigir sistemas de processamento separados e é projetado para implantação em dispositivos e computação de borda. As aplicações incluem IA para smartphones, sistemas automotivos e serviços multilíngues.
O que é um modelo multimodal grande (LMM)?
Um modelo multimodal grande é um tipo avançado de modelo de inteligência artificial que pode processar e entender múltiplos tipos de modalidades de dados. Esses dados multimodais podem incluir texto, imagens, áudio, vídeo e potencialmente outros. A principal característica de um modelo multimodal é sua capacidade de integrar e interpretar informações dessas diferentes fontes de dados, muitas vezes simultaneamente.
Eles podem ser entendidos como versões mais avançadas de modelos de linguagem grandes (LLMs) que podem trabalhar com texto e também com diversos tipos de dados. Além disso, as saídas dos modelos de linguagem multimodais são projetadas para ser textuais, visuais, auditivas e assim por diante.
Os modelos de linguagem multimodais são considerados o próximo passo para alcançar a inteligência artificial geral.
O que é um agente de IA multimodal?
Agentes de IA multimodais são sistemas projetados para interagir com o mundo usando vários tipos de dados, incluindo imagens, vídeos e texto, permitindo que operem tanto em ambientes digitais quanto físicos. Os modelos multimodais são o componente central desses agentes, capacitando-os a perceber e entender informações de fontes diversas.
Por exemplo, modelos como Magma utilizam compreensão de visão-linguagem e inteligência espacial, obtidas por meio de técnicas como Set-of-Mark e Trace-of-Mark durante o pré-treinamento em datasets multimodais.
Isso permite que o agente realize tarefas que vão desde entender conteúdo de vídeo e responder perguntas até navegar em interfaces de usuário e controlar robôs, demonstrando as capacidades versáteis que os modelos multimodais trazem para os agentes de IA ao alavancar diferentes modalidades de dados. A ilustração abaixo mostra o Magma planejando trajetórias de robôs para realizar tarefas, exibindo sua inteligência espacial em ação.14
Qual é a diferença entre LMMs e LLMs?
1. Modalidades de dados
- LMMs: Projetados para entender e processar múltiplos tipos de entradas de dados, ou modalidades. Isso inclui texto, imagens, áudio, vídeo e, às vezes, outros tipos de dados, como dados sensoriais. A principal capacidade dos LMMs é integrar e dar sentido a esses diferentes formatos de dados, muitas vezes simultaneamente.
- LLMs: Esses modelos são especializados em processar e gerar dados textuais. São treinados principalmente com grandes corpora de texto e são hábeis em entender e gerar linguagem humana em uma variedade de contextos. Eles não processam inerentemente dados não textuais como imagens ou áudio.
2. Aplicações e tarefas
- LMMs: Devido à sua natureza multimodal, esses modelos podem ser aplicados a tarefas que exigem entender e integrar informações de diferentes tipos de dados. Por exemplo, um LMM poderia analisar um artigo de notícias (texto), suas fotografias acompanhantes (imagens) e clipes de vídeo relacionados para obter uma compreensão abrangente.
- LLMs: Suas aplicações são centradas em tarefas envolvendo texto, como escrever artigos, traduzir idiomas, responder perguntas, resumir documentos e criar conteúdo baseado em texto.
Quais são as modalidades de dados dos modelos multimodais grandes?
Texto
Isso inclui qualquer forma de conteúdo escrito, como livros, artigos, páginas da web e postagens em redes sociais. O modelo pode entender, interpretar e gerar conteúdo textual, incluindo tarefas de processamento de linguagem natural como tradução, sumarização e resposta a perguntas.
Imagens
Esses modelos podem analisar e gerar dados visuais. Isso inclui entender o conteúdo e o contexto de fotografias, ilustrações e outras representações gráficas. Tarefas como classificação de imagens, detecção de objetos e geração de imagens a partir de descrições textuais se enquadram nesta categoria.
Áudio
Isso abrange gravações de som, música e linguagem falada. Os modelos podem ser treinados para reconhecer fala, música, sons ambientes e outras entradas auditivas. Eles podem transcrever fala, entender comandos falados e até gerar fala ou música sintética.
Vídeo
Combinando elementos visuais e auditivos, o processamento de vídeo envolve entender imagens em movimento e seus sons acompanhantes. Isso pode incluir analisar conteúdo de vídeo, reconhecer ações ou eventos em vídeos e gerar clipes de vídeo.
Embora a maioria dos atuais modelos de linguagem multimodais grandes possa processar texto e imagens, pesquisas futuras visam incluir entradas de dados de áudio e vídeo.
Adicionar como fonte preferencialComo os modelos multimodais grandes são treinados?
Treinar modelos multimodais grandes (LMMs) difere significativamente de treinar modelos de linguagem grandes (LLMs) em vários aspectos chave:
1. Coleta e preparação de dados
- LLMs: Focam em dados de texto de livros, sites e fontes escritas, com ênfase na diversidade linguística para fontes de dados de treinamento de LLM.
- LMMs: Exigem dados de texto, imagens, áudio e vídeo. A coleta é mais complexa devido aos formatos variados. A anotação de dados e o alinhamento entre modalidades são essenciais.
2. Design da arquitetura do modelo
- LLMs: Usam arquiteturas transformer otimizadas para processamento sequencial de texto.
- LMMs: Empregam arquiteturas mais complexas que integram múltiplos tipos de redes neurais (CNNs para imagens, transformers para texto) com mecanismos para conectar essas modalidades.
3. Pré-treinamento
- LLMs: Pré-treinam em corpora de texto usando técnicas como modelagem de linguagem mascarada.
- LMMs: Pré-treinam com múltiplos tipos de dados, aprendendo a correlacionar texto com imagens ou entender sequências de vídeo.
4. Fine-tuning
- LLMs: Realizam fine-tuning em datasets de texto especializados para tarefas específicas.
- LMMs: Exigem fine-tuning tanto em datasets específicos de modalidade quanto em datasets entre modalidades para estabelecer relações entre diferentes tipos de dados.
5. Avaliação e iteração
- LLMs: As métricas de avaliação focam em tarefas de compreensão e geração de linguagem, incluindo fluência, coerência e relevância.
- LMMs: Avaliados com métricas mais amplas que abrangem reconhecimento de imagem, processamento de áudio e capacidades de integração entre modalidades.
Como os LMMs funcionam?
Os modelos multimodais grandes compartilham semelhanças com os modelos de linguagem grandes em seu processo de treinamento, design e operação. Eles usam a mesma arquitetura transformer e estratégias de treinamento. Os modelos multimodais grandes são treinados com:
- Dados de texto
- Milhões ou bilhões de imagens com descrições de texto
- Clipes de vídeo
- Trechos de áudio
- Outros dados de entrada, como código
Esse treinamento envolve aprendizado simultâneo de múltiplas modalidades de dados, permitindo que o modelo:
- Reconheça a foto de um gato
- Identifique uma palavra em um clipe de áudio
- Entenda conceitos e detalhes sensoriais além do texto
Dessa forma, os usuários podem enviar:
- Uma imagem para:
- Obter uma descrição do que está acontecendo
- Usar a imagem como parte de um prompt para gerar texto ou imagens
- Fazer perguntas de acompanhamento sobre elementos específicos da imagem
- Traduzir o texto da imagem para um idioma diferente (ex.: Cardápio)
Figura 5: Enviando uma imagem de um gato no ChatGPT para descrevê-la.
- Gráficos e diagramas para:
- Fazer perguntas de acompanhamento complicadas sobre o que eles mostram
- Maquete de design para:
- Obter o código HTML e CSS necessário para criá-la.
Figura 6: Solicitando a imagem no estilo de filme de Wes Anderson. O ChatGPT alimenta o prompt em um modelo de geração de imagem (como DALL·E), que interpreta a solicitação e produz a imagem estilizada.
Após o processo de treinamento, os modelos podem incorporar estereótipos prejudiciais e ideias tóxicas. Para refiná-los, técnicas como:
- Aprendizado por reforço com feedback humano (RLHF)
- Modelos de IA supervisores
- Red teaming (testar a robustez do modelo) podem ser usadas.
Além disso, ferramentas de governança de IA e ferramentas de IA responsável, que funcionam como soluções de conformidade de IA, também podem permitir a otimização do inventário de IA, ajudando a prevenir o viés de IA e outros dilemas éticos. Aqui está um exemplo de como essas ferramentas lidam com preocupações de direitos autorais de IA generativa:
Figura 7: O ChatGPT rejeita minha solicitação devido às diretrizes de política de conteúdo para proteger direitos autorais.
O objetivo é desenvolver um sistema multimodal funcional capaz de lidar com:
- Síntese de texto para imagem
- Legendas de imagem
- Recuperação de imagem baseada em texto
- Resposta a perguntas visuais.
Dessa forma, a IA multimodal pode integrar várias modalidades, fornecendo capacidades avançadas para tarefas que envolvem linguagem e visão.
Quais são as limitações dos modelos de linguagem grandes?
- Requisitos de dados e viés: Esses modelos exigem datasets massivos e diversos para treinamento. No entanto, a disponibilidade e a qualidade de tais datasets podem ser um desafio. Além disso, se os dados de treinamento contiverem vieses, o modelo provavelmente herdará e possivelmente ampliará esses vieses, levando a resultados injustos ou antiéticos.
- Recursos computacionais: Treinar e executar modelos multimodais grandes exige recursos computacionais significativos, tornando-os caros e menos acessíveis para organizações menores ou pesquisadores independentes.
- Interpretabilidade e explicabilidade: Como acontece com modelos complexos de IA, entender como eles tomam decisões pode ser difícil. Essa falta de transparência pode ser uma questão crítica, especialmente em aplicações sensíveis como saúde ou aplicação da lei.
- Integração de modalidades: Integrar efetivamente diferentes tipos de dados (como texto, imagens e áudio) de uma forma que realmente entenda as nuances de cada modalidade é extremamente desafiador. O modelo pode nem sempre compreender com precisão o contexto ou as sutilezas da comunicação humana que surgem da combinação dessas modalidades.
- Generalização e superajuste: Embora esses modelos sejam treinados com datasets vastos, eles podem ter dificuldade para generalizar para dados novos e não vistos ou cenários que diferem significativamente de seus dados de treinamento. Por outro lado, eles podem superajustar os dados de treinamento, capturando ruídos e anomalias como padrões.
Para saber mais, explore os desafios e riscos associados a modelos generativos e de linguagem.
Metodologia de benchmark para LMMs
Avaliamos o desempenho de Modelos Multimodais Grandes (LMMs) usando um subconjunto do dataset FinMME15 , um benchmark abrangente projetado para avaliar capacidades de raciocínio multimodal financeiro. O FinMME compreende mais de 11.000 amostras financeiras de alta qualidade em 18 domínios financeiros e 6 classes de ativos, fornecendo um framework robusto para avaliar LMMs no domínio financeiro.
Para este benchmarking, utilizamos uma seleção curada de 100 amostras do dataset FinMME para analisar a capacidade dos modelos de processar e raciocinar com dados financeiros multimodais.
Aviso Legal
Esta avaliação utilizou um subconjunto curado de 100 amostras de um dataset maior para benchmark de LMMs. Para uma avaliação abrangente do desempenho do modelo, todas as amostras do dataset de benchmark completo devem ser consideradas.
Conclusão
Os modelos multimodais grandes (LMMs) estão integrando diversos tipos de dados, como texto, imagens, áudio e vídeo, superando assim as capacidades apenas textuais dos modelos de linguagem grandes (LLMs). Com avanços como o Llama 4 da Meta IA, o GPT-4o da OpenAI e o Qwen2.5-VL da Alibaba, os LMMs permitem aplicações mais ricas, desde raciocínio visual até geração de imagens consciente do contexto.
No entanto, sua complexidade, altas demandas computacionais e desafios relacionados à integração de dados e mitigação de vieses permanecem como obstáculos. À medida que os LMMs evoluem, eles abrem caminho para agentes de IA mais versáteis, aproximando-nos da inteligência artificial geral. Para organizações e pesquisadores, selecionar o modelo certo envolve encontrar um equilíbrio entre desempenho, custo e as necessidades específicas do caso de uso.
Cite este benchmark
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Modelos Multimodais Grandes (LMMs) vs LLMs}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/large-multimodal-models}},
note = {AIMultiple. Acessado em 22 Maio 2026}
}Links de referência
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.