Grandes Modelos Multimodais (LMMs) vs LLMs
Avaliamos o desempenho de Grandes Modelos Multimodais (LMMs) em tarefas de raciocínio financeiro usando um dataset cuidadosamente selecionado. Ao analisar um subconjunto de amostras financeiras de alta qualidade, avaliamos as capacidades dos modelos em processar e raciocinar com dados multimodais no domínio financeiro.
A seção de metodologia fornece insights detalhados sobre o dataset e o framework de avaliação empregado.
Explore grandes modelos multimodais e compare-os com grandes modelos de linguagem.
Por que os modelos tiveram desempenhos diferentes?
A variação nas taxas de sucesso reflete diferenças em como cada modelo processa tarefas financeiras multimodais. Como o benchmark utiliza amostras do dataset FinMME, que exigem a integração de texto e elementos visuais financeiros, como gráficos e documentos estruturados, o desempenho depende fortemente da arquitetura do modelo, da qualidade do treinamento e do alinhamento multimodal.
Arquitetura do modelo e design de parâmetros
Os modelos diferem em como combinam codificadores de texto e imagem, no número de parâmetros ativos e na complexidade do roteamento de especialistas.
- Llama 4 Maverick, por exemplo, usa um design maior baseado em especialistas, permitindo um raciocínio mais forte.
- Modelos menores ou focados em eficiência têm menos parâmetros alinhados ao raciocínio multimodal, o que limita o desempenho.
Essas distinções arquiteturais afetam o quão bem cada modelo consegue interpretar relações numéricas, estruturas de gráficos e elementos visuais específicos do domínio.
Cobertura dos dados de treinamento
Alguns modelos são treinados em datasets multimodais extensos, enquanto outros dependem principalmente de dados de uso geral.
- Modelos das famílias Claude 4 e Qwen 2.5 incorporam dados visuais e de texto em grande escala, melhorando sua capacidade de alinhar pistas numéricas e visuais.
- Modelos treinados em corpora multimodais mais limitados têm dificuldade com gráficos financeiros e diagramas estruturados.
Os dados de treinamento influenciam diretamente a confiabilidade com que um modelo lida com conceitos financeiros entre modalidades.
Fine-tuning para raciocínio entre modalidades
O benchmark exige coordenação entre a interpretação de imagens e o raciocínio baseado em texto.
- Os modelos Claude 4 são descritos como fortes em tarefas que envolvem gráficos e diagramas.
- Modelos sem fine-tuning dedicado entre modalidades podem detectar características visuais corretamente, mas ficam aquém ao conectá-las à linguagem ou lógica financeira.
A estratégia de fine-tuning de um modelo afeta sua capacidade de mesclar sinais textuais e visuais durante a análise.
Capacidade de processamento de contexto
Amostras financeiras frequentemente contêm múltiplos elementos que devem ser lidos em conjunto, como gráficos com várias partes ou descrições longas.
- Modelos com janelas de contexto mais amplas conseguem reter relações ao longo de entradas longas.
- Modelos mais limitados podem perder dependências, reduzindo a precisão em tarefas que exigem rastrear múltiplos componentes visuais e textuais.
O tamanho da janela de contexto influencia quão bem um modelo mantém o alinhamento entre detalhes quantitativos e visuais.
Tamanho do modelo e prioridades de eficiência
Alguns modelos são deliberadamente projetados para implantação leve, em vez de raciocínio de alta complexidade.
- O Phi-4 multimodal e modelos semelhantes priorizam a eficiência, limitando a profundidade do processamento multimodal.
- Modelos maiores mantêm maior capacidade para tarefas de raciocínio que envolvem compreensão detalhada de gráficos.
Esse trade-off resulta em pontuações mais baixas para modelos menores.
Diferenças na compreensão visual
A avaliação inclui tarefas que exigem leitura precisa de gráficos, identificação de objetos em documentos financeiros e extração de detalhes visuais.
- Modelos com pipelines visuais avançados, como as variantes Qwen 2.5-VL, gerenciam essas tarefas de forma mais eficaz.
- Outros podem lidar bem com imagens genéricas, mas têm desempenho inconsistente com elementos visuais financeiros estruturados.
A força do raciocínio visual afeta fortemente os resultados em amostras no estilo FinMME.
Características do dataset de avaliação
O dataset foca no raciocínio financeiro multimodal em vez de tarefas de uso geral.
- Modelos treinados ou com fine-tuning para tarefas financeiras, numéricas ou baseadas em gráficos têm melhor desempenho.
- Modelos generalistas sem exposição ao domínio exibem menor precisão em datasets financeiros.
A especialização do dataset torna o desempenho mais sensível à qualidade do raciocínio entre modalidades.
O que são grandes modelos multimodais de código aberto?
LMMs de código aberto com o número de estrelas no GitHub:
O gráfico mostra que a popularidade no GitHub de vários LMMs de código aberto vem aumentando, com alguns modelos experimentando adoção rápida logo após o lançamento.
A série Janus da DeepSeek ganhou milhares de estrelas no GitHub poucos dias após o lançamento do Janus-Pro em 27 de janeiro de 2025, superando seus concorrentes, que levaram meses para alcançar números semelhantes. Esse rápido crescimento se deveu ao sucesso do Janus-Pro e foi influenciado pelo impulso criado pelo DeepSeek-R1.
- Gemma 3 by Google: O Gemma 3 é uma família de modelos abertos leves e de última geração derivados da tecnologia Gemini 2.0. Esses modelos oferecem capacidades avançadas de raciocínio visual e textual, uma janela de contexto de 128k tokens, suporte a function calling e versões quantizadas para desempenho otimizado. Inclui o ShieldGemma 2 para segurança de imagens e suporta diversas ferramentas e opções de implantação.1
- Janus-Pro by DeepSeek: O Janus-Pro é uma versão avançada do modelo Janus, projetado para compreender e gerar tanto texto quanto imagens. Ele apresenta uma estratégia de treinamento otimizada, dados de treinamento expandidos e um tamanho de modelo maior, aprimorando suas capacidades multimodais.2
- Qwen2.5-VL by Alibaba: O Qwen2.5-VL da Alibaba é uma extensão multimodal do modelo de linguagem Qwen2.5, projetado para compreensão de texto e imagem. Ele possui pré-treinamento em larga escala (até 18T tokens), uma janela de contexto estendida (até 128K tokens), melhor seguimento de instruções e suporte multilíngue robusto, tornando-o adequado para tarefas como legendagem de imagens e resposta a perguntas visuais. 3
- Com base na série Qwen2.5-VL, a Alibaba otimizou e disponibilizou em código aberto o Qwen2.5-VL-32B-Instruct, um modelo VL de 32B que incorpora compreensão aprimorada de imagens com granularidade fina e raciocínio. Isso resulta em melhor desempenho e análise detalhada em tarefas como análise de imagens, reconhecimento de conteúdo e dedução de lógica visual.4
- CLIP (Contrastive Language–Image Pretraining) by OpenAI: O CLIP foi projetado para compreender imagens no contexto da linguagem natural. Ele pode realizar tarefas como classificação de imagens zero-shot, classificando com precisão imagens mesmo em categorias para as quais não foi explicitamente treinado, entendendo descrições de texto.5
- Com base na série Qwen2.5-VL, a Alibaba otimizou e disponibilizou em código aberto o Qwen2.5-VL-32B-Instruct, um modelo VL de 32B que incorpora compreensão aprimorada de imagens com granularidade fina e raciocínio. Isso resulta em melhor desempenho e análise detalhada em tarefas como análise de imagens, reconhecimento de conteúdo e dedução de lógica visual.4
- Flamingo by DeepMind: O Flamingo foi projetado para aproveitar os pontos fortes tanto da compreensão de linguagem quanto da visual, sendo capaz de realizar tarefas que exigem interpretar e integrar informações de texto e imagens.6
Figura 1: Um exemplo extraído de Chip Huyen7
Quais são os principais LMMs?
Recursos de UI e API de LLMs de uso geral
Os fornecedores são selecionados entre os LLMs multimodais mais populares com base em comparabilidade, disponibilidade de dados e atualidade.
LMMs com seu preço por token:
Para selecionar o modelo mais adequado, considere fatores como seu orçamento, as capacidades e o nível de desempenho exigidos e o volume esperado de tokens de entrada/saída necessários para o seu caso de uso específico.
Leia mais sobre preços de LLM.
Quais são os avanços mais recentes em modelos multimodais?
Avanços recentes em modelos multimodais introduziram novas capacidades e eficiências no desenvolvimento de IA.
Modelos de fundação multimodais com foco em vídeo
Os modelos de fundação multimodais com foco em vídeo estão indo além da geração de legendas ou resumos de alto nível e passando a aprender a localizar explicitamente evidências dentro dos vídeos.
Em vez de dizer o que acontece, eles podem identificar quando acontece (carimbos de tempo) e onde acontece (caixas delimitadoras ao redor de objetos ou regiões).
Essa mudança em direção ao grounding espaço-temporal torna a compreensão de vídeo mais precisa e verificável. Ela também possibilita tarefas como encontrar momentos exatos, rastrear objetos, editar vídeos usando linguagem natural e apoiar robótica e sistemas críticos de segurança.
Por exemplo, o Vidi8 é um projeto de código aberto da ByteDance focado em grandes modelos multimodais para compreensão e edição de vídeo.
O repositório hospeda o código e os recursos para uma família de modelos (por exemplo, Vidi-7B, Vidi1.5-9B, Vidi2 e Vidi2.5) que recebem visão, áudio e texto como entradas para realizar tarefas como:
- Recuperação temporal (encontrar os segmentos de tempo em um vídeo que correspondem a uma consulta de texto)
- Grounding espaço-temporal (identificar objetos com caixas delimitadoras)
- Resposta a perguntas sobre vídeo
Lançamento multimodal de fronteira Mistral 3
A Mistral IA desenvolveu uma nova família de modelos de IA de código aberto chamada Mistral 3. A suíte Mistral 3 compreende tanto modelos multimodais/multilíngues de nível de fronteira quanto modelos menores e eficientes projetados para rodar em uma variedade de dispositivos, da nuvem à borda, e até mesmo em GPUs individuais.
Lançados sob uma licença permissiva de código aberto (Apache 2.0), esses modelos visam democratizar o acesso à IA avançada, permitir customização e flexibilidade de implantação e fortalecer a posição da Europa no desenvolvimento de IA, onde há preocupações sobre ficar atrás dos EUA e da China em tecnologias de ponta.9
Modelos de visão-linguagem MoE de código aberto
O Kimi-VL (da Moonshot IA) é um modelo multimodal de visão-linguagem de código aberto construído com uma arquitetura Mixture-of-Experts (MoE), com desempenho em tarefas que combinam texto, imagens e vídeo, mantendo a computação eficiente.
Ele tem um backbone de 16 B de parâmetros totais, mas normalmente ativa ~2.8 B de parâmetros durante a inferência, o que ajuda a equilibrar capacidade e custo.
O Kimi-VL é projetado para raciocínio multimodal avançado, compreensão de contexto longo (até ~128 K tokens) e interações no estilo de agentes, e compete bem com modelos maiores em benchmarks como compreensão de vídeo, reconhecimento óptico de caracteres (OCR), raciocínio matemático e tarefas com múltiplas imagens.
Variantes como Kimi-VL-A3B-Thinking são ainda mais ajustadas com fine-tuning para tarefas de cadeia de pensamento e raciocínio, enquanto o codificador visual MoonViT suporta compreensão de entradas de alta resolução.
Figura 2: Design da arquitetura Kimi-VL.10
Série Claude 4 da Anthropic
A série Claude 4 da Anthropic integra compreensão visual avançada com seu mecanismo de raciocínio baseado em texto, incorporando visão diretamente nos fluxos de trabalho de resolução de problemas.
Os modelos Claude 4 demonstram forte desempenho em benchmarks de raciocínio multimodal, como MMMU, particularmente na interpretação de gráficos, diagramas e dados visuais complexos. Uma característica distintiva do Claude Opus 4.1 é sua capacidade de avaliar qualidades estéticas em imagens, indo além do reconhecimento para avaliações mais sutis.
Essas capacidades, combinadas com as funções agênticas do Claude, tornam a série eficaz para tarefas como sintetizar pesquisas de relatórios com texto e recursos visuais mistos ou auxiliar no design de interfaces por meio da análise de mockups visuais.
Gemini 3 da Google
A Google lançou o Gemini 3 em novembro de 2025, com o Gemini 3 Pro disponível imediatamente e o modo Gemini 3 Deep Think sendo liberado para assinantes do Google IA Ultra logo em seguida. O Gemini 3 é posicionado pela Google como seu modelo multimodal mais inteligente e mais capaz, com suporte nativo para texto, imagens, vídeo, áudio e código em uma única arquitetura.
O Gemini 3 Pro vem com uma janela de contexto de 1 milhão de tokens e alcança fortes resultados em benchmarks multimodais, incluindo 81% no MMMU-Pro e 87.6% no Video-MMMU. Ele liderou o LMArena Leaderboard no lançamento com uma pontuação de 1501 Elo e obteve 91.9% no GPQA Diamond para raciocínio de nível de pós-graduação e 76.2% no SWE-bench Verified para tarefas de codificação agêntica.
O Gemini 3 Deep Think é um modo de raciocínio aprimorado que melhora ainda mais o desempenho nas tarefas mais exigentes, obtendo 41.0% no Humanity’s Last Exam (sem ferramentas) e 45.1% no ARC-AGI-2. Junto com o Gemini 3, a Google também lançou o Google Antigravity, uma plataforma de desenvolvimento agêntica que combina o Gemini 3 com o modelo Gemini 2.5 Computer Use para controle de navegador e o modelo de edição de imagens Nano Banana, permitindo fluxos de trabalho de desenvolvimento de software de ponta a ponta nos quais o modelo pode planejar, codificar e validar tarefas de forma autônoma.11
GPT-5 da OpenAI
O GPT-5 introduz multimodalidade nativa aprimorada em texto, voz, imagem e vídeo. Diferentemente de sistemas anteriores que dependiam fortemente de plugins, o GPT-5 integra essas modalidades em uma arquitetura unificada, resultando em interação mais suave. O modelo se adapta de forma flexível a vários tipos de entrada e pode transitar entre eles.
Um recurso notável é o modo de voz em tempo real, que pode ajustar tom, ritmo e estilo de acordo com as instruções do usuário. Isso cria uma experiência conversacional mais natural e adaptativa. O processamento visual também melhorou, reduzindo alucinações na interpretação ou geração de imagens, diagramas e gráficos. Outro avanço está em suas capacidades de memória, que permitem ao sistema recordar entradas anteriores e manter o contexto ao longo de interações prolongadas.
Essas melhorias tornam o GPT-5 particularmente valioso para interfaces multimodais acessíveis, especialmente para pessoas com deficiências sensoriais.
Modelos multimodais focados em robótica da Google DeepMind
A Google DeepMind desenvolveu o Gemini Robotics e o Gemini Robotics-ER, modelos adaptados para integrar visão, linguagem e ação em sistemas robóticos. Esses modelos permitem que robôs executem tarefas em ambientes não estruturados, como dobrar papel ou desenroscar tampas de garrafas.
Um recurso importante desses modelos é seu mecanismo de segurança. Antes de executar ações, o sistema realiza verificações integradas para minimizar riscos e garantir o manuseio adequado das tarefas. Essa abordagem aborda um dos desafios significativos da robótica: unir raciocínio avançado de IA com execução segura e confiável no mundo real.
Llama 4 Scout e Llama 4 Maverick da Meta IA
O Llama 4 Scout é um modelo multimodal com 17 bilhões de parâmetros ativos e 16 especialistas. Esse modelo supera os modelos Llama da geração anterior e é projetado para operar em uma única H100 GPU. Ele possui uma janela de contexto de 10 milhões de tokens para processar grandes quantidades de informações. Resultados de benchmark indicam que o Llama 4 Scout alcança resultados melhores que o Gemma 3, o Gemini 2.0 Flash-Lite e o Mistral 3.1 em uma variedade de benchmarks amplamente reportados.
O Llama 4 Maverick é um modelo multimodal com 17 bilhões de parâmetros ativos e 128 especialistas. Esse modelo é apresentado como um dos melhores de sua classe, superando o GPT-4o e o Gemini 2.0 Flash em uma variedade de benchmarks. Ele alcança desempenho comparável ao DeepSeek v3 em raciocínio e codificação, usando menos parâmetros ativos. Uma versão experimental de chat do Llama 4 Maverick alcançou uma pontuação ELO de 1417 na plataforma LMArena.
Geração de imagens 4o da OpenAI
O mais recente modelo de geração de imagens da OpenAI, incorporado ao GPT-4o, integra criação textual e visual em um sistema unificado. Essa capacidade multimodal permite que o GPT-4 gere imagens aproveitando seu conhecimento baseado em texto e o contexto do chat, criando uma interação entre linguagem e recursos visuais.
Por meio da geração em múltiplas etapas, os usuários podem refinar imagens de forma conversacional, como mostrado nas figuras abaixo. O modelo se baseia em entradas de texto anteriores e imagens enviadas para manter a consistência. Ao analisar os recursos visuais fornecidos pelo usuário e aprender no contexto, o GPT-4o se adapta a detalhes específicos, aprimorando sua capacidade de produzir imagens sensíveis ao contexto.
Figura 3: Solicitando a criação de um desenho usando referências e instruindo sobre recursos de texto para a imagem.
Figura 4: Solicitando a criação de uma foto a partir do desenho e colocando-a em uma cena.12
Qwen3-VL da Alibaba
A série Qwen3-VL da Alibaba, lançada a partir de setembro de 2025, se baseia no modelo de linguagem Qwen3 adicionando percepção visual e capacidades de raciocínio mais profundas. A família inclui variantes densas de 2B a 32B parâmetros e variantes Mixture-of-Experts de até 235B de parâmetros totais (22B ativos), todas lançadas sob a licença Apache 2.0.
Os principais recursos incluem uma janela de contexto nativa de 256K (expansível para 1 milhão de tokens), OCR multilíngue expandido em 32 idiomas, grounding de objetos 2D e 3D para raciocínio espacial e IA incorporada, compreensão de vídeo de longa duração com indexação em nível de segundos e capacidades de agente visual para controle de GUI.
As variantes Thinking são ajustadas para STEM e raciocínio multimodal, enquanto as variantes Instruct visam tarefas gerais de visão-linguagem, como análise de documentos, extração de gráficos e resposta a perguntas visuais.
Gemma 3 da Google
O Gemma 3 da Google se baseia na tecnologia dos modelos Gemini 2.0. Ele vem em quatro tamanhos (1B, 4B, 12B e 27B) para diferentes requisitos de hardware e oferece uma janela de contexto de 128k tokens. O Gemma 3 tem bom desempenho em configurações de acelerador único e inclui raciocínio textual e visual, function calling e suporte a mais de 35 idiomas, com pré-treinamento para mais de 140. Versões quantizadas reduzem o tamanho do modelo e as necessidades de computação. O sistema ShieldGemma 2 fornece classificação de segurança de conteúdo.
Phi-4-multimodal da Microsoft
O Phi-4-multimodal da Microsoft é um modelo de 5.6B parâmetros que processa fala, visão e texto em uma arquitetura unificada. Ele utiliza aprendizado entre modalidades para interações sensíveis ao contexto entre diferentes tipos de entrada. O modelo lida com vários formatos de entrada sem exigir sistemas de processamento separados e foi projetado para implantação em dispositivos e edge computing. As aplicações incluem IA para smartphones, sistemas automotivos e serviços multilíngues.
O que é um grande modelo multimodal (LMM)?
Um grande modelo multimodal é um tipo avançado de modelo de inteligência artificial que pode processar e compreender múltiplos tipos de modalidades de dados. Esses dados multimodais podem incluir texto, imagens, áudio, vídeo e potencialmente outros. A principal característica de um modelo multimodal é sua capacidade de integrar e interpretar informações dessas diferentes fontes de dados, muitas vezes simultaneamente.
Eles podem ser entendidos como versões mais avançadas dos grandes modelos de linguagem (LLMs) que podem trabalhar com texto e também com diversos tipos de dados. Além disso, os resultados dos modelos de linguagem multimodais são projetados para serem textuais, visuais, auditivos e assim por diante.
Os modelos de linguagem multimodais são considerados o próximo passo rumo à inteligência artificial geral.
O que é um agente de IA multimodal?
Agentes de IA multimodais são sistemas projetados para interagir com o mundo usando vários tipos de dados, incluindo imagens, vídeos e texto, permitindo que operem em ambientes digitais e físicos. Os modelos multimodais são o componente central desses agentes, permitindo que percebam e compreendam informações de fontes diversas.
Por exemplo, modelos como o Magma utilizam compreensão visão-linguagem e inteligência espacial, alcançadas por meio de técnicas como Set-of-Mark e Trace-of-Mark durante o pré-treinamento em datasets multimodais.
Isso permite que o agente execute tarefas que vão desde compreender conteúdo de vídeo e responder a perguntas até navegar em interfaces de usuário e controlar robôs, demonstrando as capacidades versáteis que os modelos multimodais trazem aos agentes de IA ao alavancar diferentes modalidades de dados. A ilustração abaixo mostra o Magma planejando trajetórias de robôs para realizar tarefas, exibindo sua inteligência espacial em ação.13
Qual é a diferença entre LMMs e LLMs?
1. Modalidades de dados
- LMMs: São projetados para compreender e processar vários tipos de entradas de dados, ou modalidades. Isso inclui texto, imagens, áudio, vídeo e, às vezes, outros tipos de dados, como dados sensoriais. A principal capacidade dos LMMs é sua habilidade de integrar e dar sentido a esses diferentes formatos de dados, muitas vezes simultaneamente.
- LLMs: Esses modelos são especializados em processar e gerar dados textuais. São treinados principalmente em grandes corpora de texto e são adeptos de compreender e gerar linguagem humana em uma variedade de contextos. Eles não processam inerentemente dados não textuais, como imagens ou áudio.
2. Aplicações e tarefas
- LMMs: Devido à sua natureza multimodal, esses modelos podem ser aplicados a tarefas que exigem compreender e integrar informações de diferentes tipos de dados. Por exemplo, um LMM poderia analisar um artigo de notícias (texto), suas fotografias acompanhantes (imagens) e clipes de vídeo relacionados para obter uma compreensão abrangente.
- LLMs: Suas aplicações estão centradas em tarefas envolvendo texto, como escrever artigos, traduzir idiomas, responder a perguntas, resumir documentos e criar conteúdo baseado em texto.
Quais são as modalidades de dados dos grandes modelos multimodais?
Texto
Inclui qualquer forma de conteúdo escrito, como livros, artigos, páginas da web e postagens em redes sociais. O modelo pode compreender, interpretar e gerar conteúdo textual, incluindo tarefas de processamento de linguagem natural, como tradução, sumarização e resposta a perguntas.
Imagens
Esses modelos podem analisar e gerar dados visuais. Isso inclui compreender o conteúdo e o contexto de fotografias, ilustrações e outras representações gráficas. Tarefas como classificação de imagens, detecção de objetos e geração de imagens a partir de descrições textuais se enquadram nessa categoria.
Áudio
Abrange gravações de som, música e linguagem falada. Os modelos podem ser treinados para reconhecer fala, música, sons ambientes e outras entradas auditivas. Eles podem transcrever fala, compreender comandos falados e até gerar fala ou música sintéticas.
Vídeo
Combinando elementos visuais e auditivos, o processamento de vídeo envolve compreender imagens em movimento e seus sons acompanhantes. Isso pode incluir analisar conteúdo de vídeo, reconhecer ações ou eventos em vídeos e gerar clipes de vídeo.
Embora a maioria dos grandes modelos de linguagem multimodais atuais possa processar texto e imagens, pesquisas futuras visam incluir entradas de dados de áudio e vídeo.
Adicionar como fonte preferencialComo os grandes modelos multimodais são treinados?
Treinar grandes modelos multimodais (LMMs) difere significativamente de treinar grandes modelos de linguagem (LLMs) em vários aspectos principais:
1. Coleta e preparação de dados
- LLMs: Focam em dados de texto de livros, sites e fontes escritas, com ênfase na diversidade linguística para fontes de dados de treinamento de LLM.
- LMMs: Exigem dados de texto, imagens, áudio e vídeo. A coleta é mais complexa devido aos formatos variados. A anotação de dados e o alinhamento entre modalidades são essenciais.
2. Design da arquitetura do modelo
- LLMs: Usam arquiteturas de transformer otimizadas para processamento sequencial de texto.
- LMMs: Empregam arquiteturas mais complexas que integram vários tipos de redes neurais (CNNs para imagens, transformers para texto) com mecanismos para conectar essas modalidades.
3. Pré-treinamento
- LLMs: Pré-treinam em corpora de texto usando técnicas como modelagem de linguagem mascarada.
- LMMs: Pré-treinam em vários tipos de dados, aprendendo a correlacionar texto com imagens ou compreender sequências de vídeo.
4. Fine-tuning
- LLMs: Fazem fine-tuning em datasets de texto especializados para tarefas específicas.
- LMMs: Exigem fine-tuning tanto em datasets específicos de modalidade quanto em datasets entre modalidades para estabelecer relações entre diferentes tipos de dados.
5. Avaliação e iteração
- LLMs: As métricas de avaliação se concentram em tarefas de compreensão e geração de linguagem, incluindo fluência, coerência e relevância.
- LMMs: Avaliados por métricas mais amplas que cobrem reconhecimento de imagem, processamento de áudio e capacidades de integração entre modalidades.
Como os LMMs funcionam?
Grandes modelos multimodais compartilham semelhanças com grandes modelos de linguagem em seu processo de treinamento, design e operação. Eles usam a mesma arquitetura de transformer e estratégias de treinamento. Grandes modelos multimodais são treinados em:
- Dados de texto
- Milhões ou bilhões de imagens com descrições de texto
- Clipes de vídeo
- Trechos de áudio
- Outros dados de entrada, como código
Esse treinamento envolve o aprendizado simultâneo de múltiplas modalidades de dados, permitindo que o modelo:
- Reconheça a foto de um gato
- Identifique uma palavra em um clipe de áudio
- Compreenda conceitos e detalhes sensoriais além do texto
Dessa forma, os usuários podem enviar:
- Uma imagem para:
- Obter uma descrição do que está acontecendo
- Usar a imagem como parte de um prompt para gerar texto ou imagens
- Fazer perguntas de acompanhamento sobre elementos específicos da imagem
- Traduzir o texto da imagem para um idioma diferente (por exemplo, Menu)
Figura 5: Enviando a imagem de um gato no ChatGPT para descrevê-la.
- Gráficos e tabelas para:
- Fazer perguntas de acompanhamento complicadas sobre o que mostram
- Mockup de design para:
- Obter o código HTML e CSS necessário para criá-lo.
Figura 6: Solicitando a imagem no estilo de filme de Wes Anderson. O ChatGPT alimenta o prompt em um modelo de geração de imagens (como DALL·E), que interpreta o pedido e produz a imagem estilizada.
Após o processo de treinamento, os modelos podem incorporar estereótipos prejudiciais e ideias tóxicas. Para refiná-los, técnicas como:
- Aprendizado por reforço com feedback humano (RLHF)
- Modelos de IA de supervisão
- Red teaming (testar a robustez do modelo) podem ser usadas.
Além disso, ferramentas de governança de IA e ferramentas de IA responsável, que funcionam como soluções de conformidade de IA, também podem permitir a otimização do inventário de IA, ajudando a prevenir vieses de IA e outros dilemas éticos. Aqui está um exemplo de como essas ferramentas abordam preocupações de direitos autorais de IA generativa:
Figura 7: O ChatGPT recusa meu pedido devido às diretrizes de política de conteúdo para proteger direitos autorais.
O objetivo é desenvolver um sistema multimodal funcional capaz de lidar com:
- Síntese de texto para imagem
- Legendagem de imagens
- Recuperação de imagens baseada em texto
- Resposta a perguntas visuais.
Dessa forma, a IA multimodal pode integrar várias modalidades, fornecendo capacidades avançadas para tarefas que envolvem linguagem e visão.
Quais são as limitações dos grandes modelos de linguagem?
- Requisitos de dados e viés: Esses modelos exigem datasets massivos e diversos para treinamento. No entanto, a disponibilidade e a qualidade desses datasets podem ser um desafio. Além disso, se os dados de treinamento contiverem vieses, é provável que o modelo herde e possivelmente amplifique esses vieses, levando a resultados injustos ou antiéticos.
- Recursos computacionais: Treinar e executar grandes modelos multimodais exige recursos computacionais significativos, tornando-os caros e menos acessíveis para organizações menores ou pesquisadores independentes.
- Interpretabilidade e explicabilidade: Como em modelos de IA complexos, entender como eles tomam decisões pode ser difícil. Essa falta de transparência pode ser uma questão crítica, especialmente em aplicações sensíveis, como saúde ou aplicação da lei.
- Integração de modalidades: Integrar efetivamente diferentes tipos de dados (como texto, imagens e áudio) de uma forma que compreenda verdadeiramente as nuances de cada modalidade é extremamente desafiador. O modelo pode nem sempre captar com precisão o contexto ou as sutilezas da comunicação humana que vêm da combinação dessas modalidades.
- Generalização e overfitting: Embora esses modelos sejam treinados em datasets vastos, eles podem ter dificuldade em generalizar para dados novos e não vistos ou cenários que diferem significativamente de seus dados de treinamento. Por outro lado, podem sofrer overfitting nos dados de treinamento, capturando ruído e anomalias como padrões.
Para saber mais, explore os desafios e riscos associados a modelos generativos e de linguagem.
Metodologia de benchmark para LMMs
Avaliamos o desempenho de Grandes Modelos Multimodais (LMMs) usando um subconjunto do dataset FinMME14 , um benchmark abrangente projetado para avaliar capacidades de raciocínio multimodal financeiro. O FinMME compreende mais de 11.000 amostras financeiras de alta qualidade em 18 domínios financeiros e 6 classes de ativos, fornecendo um framework robusto para avaliar LMMs no domínio financeiro.
Para este benchmarking, utilizamos uma seleção curada de 100 amostras do dataset FinMME para analisar a capacidade dos modelos de processar e raciocinar com dados financeiros multimodais.
Aviso legal
Esta avaliação utilizou um subconjunto curado de 100 amostras de um dataset maior para benchmark de LMMs. Para uma avaliação abrangente do desempenho do modelo, todas as amostras do dataset de benchmark completo devem ser consideradas.
Conclusão
Os grandes modelos multimodais (LMMs) estão integrando diversos tipos de dados, como texto, imagens, áudio e vídeo, superando assim as capacidades baseadas em texto dos grandes modelos de linguagem (LLMs). Com avanços como o Llama 4 da Meta IA, o GPT-4o da OpenAI e o Qwen2.5-VL da Alibaba, os LMMs permitem aplicações mais ricas, desde raciocínio visual até geração de imagens sensível ao contexto.
No entanto, sua complexidade, altas demandas computacionais e desafios relacionados à integração de dados e mitigação de vieses permanecem como obstáculos. À medida que os LMMs evoluem, eles abrem caminho para agentes de IA mais versáteis, aproximando-nos da inteligência artificial geral. Para organizações e pesquisadores, selecionar o modelo certo envolve encontrar um equilíbrio entre desempenho, custo e as necessidades específicas do caso de uso.
Cite este benchmark
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Grandes Modelos Multimodais (LMMs) vs LLMs}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/large-multimodal-models}},
note = {AIMultiple. Acessado em 22 Maio 2026}
}Links de referência
O trabalho de Cem foi citado por publicações globais de destaque, incluindo Business Insider, Forbes, Washington Post, empresas globais como Deloitte, HPE e ONGs como o Fórum Econômico Mundial e organizações supranacionais como a Comissão Europeia.
Ao longo de sua carreira, Cem atuou como consultor de tecnologia, comprador de tecnologia e empreendedor de tecnologia. Ele aconselhou empresas em suas decisões de tecnologia na McKinsey & Company e na Altman Solon por mais de uma década. Ele também publicou um relatório da McKinsey sobre digitalização.
Ele liderou a estratégia de tecnologia e aquisições de uma empresa de telecomunicações, reportando-se ao CEO. Ele também liderou o crescimento comercial da empresa de tecnologia profunda Hypatos, que alcançou uma receita recorrente anual de 7 dígitos e uma avaliação de 9 dígitos partindo do zero em 2 anos. O trabalho de Cem na Hypatos foi coberto por publicações de tecnologia de destaque como TechCrunch e Business Insider.
Cem fala regularmente em conferências internacionais de tecnologia. Ele se formou na Universidade Bogazici como engenheiro de computação e possui um MBA pela Columbia Business School.
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.