Compare Modelos Multimodais de IA em Raciocínio Visual
Fizemos um benchmark de 15 modelos multimodais de IA líderes em raciocínio visual usando 200 questões de base visual. A avaliação consistiu em duas trilhas: 100 questões de compreensão de gráficos testando interpretação de visualização de dados e 100 questões de lógica visual avaliando reconhecimento de padrões e raciocínio espacial. Cada questão foi executada 5 vezes para garantir resultados consistentes e confiáveis.
Benchmark de raciocínio visual
Veja nossa metodologia de benchmark para conhecer nossos procedimentos de teste.
Todos os modelos pontuam mais baixo em lógica visual do que em gráficos, por uma diferença de 22 a 44 pontos. O qwen3-vl-8b-thinking, um modelo de 8B, pontua 50% no geral, um pouco acima do claude-sonnet-4.5 e do claude-haiku-4.5 (47% cada). O gpt-5.2-pro não pontua mais do que o gpt-5.2 (66% vs 67%).
- A maior pontuação em lógica visual é 58% e a maior pontuação em compreensão de gráficos é 84%, ambas do gemini-3.1-pro-preview.
- O llama-4-maverick está em último lugar no geral por causa da lógica visual: ele responde corretamente 10% dessas questões, abaixo dos 20% que a adivinhação aleatória dá com cinco opções. Em gráficos, ele pontua 54%, à frente do grok-4.1-fast (52%) e do gemini-2.5-flash (46%).
Confiabilidade estatística do desempenho em raciocínio visual (95% IC)
Calculamos os intervalos de confiança (IC) de 95% por meio de 10.000 reamostragens bootstrap para definir a margem de erro de cada modelo, mostrando o intervalo dentro do qual seu desempenho real provavelmente se encontra.
Questões de benchmark sobre onde os LLMs mais se destacam e mais têm dificuldade
Questão de gráfico com a menor taxa de sucesso de LLM
Figura 1: Gráfico de barras mostrando os Volumes de Vendas Star ao longo de 12 meses com quatro barras agrupadas por mês (dados de 1998-2000). Cada mês exibe barras sólidas, brancas e listradas em agrupamento próximo.
Nota: Todos os gráficos foram obtidos do Hitbullseye.1
Pergunta: Se as vendas de três anos consecutivos estão aumentando de forma constante ou diminuindo de forma constante, então isso é chamado de tendência constante. Quais meses mostram uma tendência de aumento constante ao longo de três anos consecutivos?
Por exemplo, em junho de 1999, o Actual foi menor do que em 1998, mostrando uma diminuição, mas o modelo interpretou incorretamente como um aumento constante. A maioria dos modelos comete o mesmo erro nesta questão.
Quando 4 barras são agrupadas por mês, os modelos tiveram dificuldade com o mapeamento entre barras e anos e com a percepção de altura relativa. Eles não conseguiram distinguir com precisão qual barra listrada/sólida/branca pertencia a qual ano, levando à leitura das barras na ordem errada ou à confusão de suas alturas.
Questão de gráfico com a maior taxa de sucesso de LLM
Figura 2: Gráfico de barras mostrando percentuais de participação eleitoral nas eleições gerais indianas de 1952 a 1998. Uma barra por ano eleitoral com espaçamento claro entre as barras.
Pergunta: Os maiores e menores índices de participação eleitoral (em porcentagem) foram respectivamente em quais anos?
Todos os modelos responderam corretamente a esta pergunta. Esse sucesso mostra que os modelos se destacam na simples identificação de mínimo e máximo, encontrando as barras mais altas e mais baixas.
Ao contrário dos grupos agrupados de 4 barras, que são confusos, este gráfico tem uma única barra por ano com espaçamento claro, tornando a comparação visual direta simples.
Questão de lógica visual com a maior taxa de sucesso de LLM
Figura 3: Duas grades 3×3 alinhadas mostrando correspondência de padrões algébricos. A grade superior contém variáveis e suas operações (multiplicação, divisão, expoentes). A grade inferior mostra valores numéricos, com algumas células preenchidas (6, 36, 3/4) e duas incógnitas (A, B). A pergunta pede para encontrar B-A.
O sucesso veio do padrão matemático claro visível na estrutura da tabela (relações algébricas como a×b, c×d). O layout simples da grade, sem complexidade visual, permitiu que os modelos se concentrassem exclusivamente na inferência numérica e na dedução lógica.
Questão de lógica visual com a menor taxa de sucesso de LLM
Figura 4: Quebra-cabeça de reconhecimento de padrões com círculos contendo diferentes padrões de linhas internas e formas geométricas. Duas sequências de exemplo com setas mostradas no topo, seguidas por uma pergunta pedindo para completar a terceira sequência a partir de cinco opções de múltipla escolha.
A dificuldade decorre da exigência de reconhecimento abstrato de padrões visuais, identificando regras de transformação geométrica em vários exemplos.
Metodologia de benchmark
Todos os modelos foram avaliados via OpenRouter API com parâmetros padronizados: temperatura definida para 0.8 e o parâmetro de max tokens não foi definido para evitar limitar as capacidades de raciocínio. Os modelos foram instruídos a responder com apenas uma única letra (A-E), sem explicação, embora alguns modelos ainda tenham fornecido raciocínio detalhado, que analisamos para extrair as respostas finais. A avaliação foi executada em paralelo entre todos os modelos simultaneamente. Cada questão foi executada 5 vezes para garantir resultados consistentes e confiáveis.
O benchmark consistiu em 200 questões divididas em duas categorias: Compreensão de Gráficos (100 questões) cobrindo gráficos de barras, gráficos de linhas, gráficos de dispersão e visualizações de dados complexas, e Lógica Visual (100 questões) testando reconhecimento de padrões, raciocínio espacial e lógica visual matemática. Todas as questões foram apresentadas em formato de múltipla escolha com cinco opções (A-E), exigindo que os modelos analisassem imagens e selecionassem a resposta correta.
Questions:
1. Compreensão de gráficos Avaliamos os modelos quanto à capacidade de extrair, interpretar e analisar informações de várias visualizações de dados:
- Gráficos de barras: Configurações horizontais e verticais, formatos empilhados e agrupados
- Gráficos de linhas: Tendências de série única e múltiplas séries, dados de séries temporais
- Gráficos de dispersão: Análise de correlação, identificação de padrões com eixos rotulados
- Gráficos de pizza: Distribuições percentuais e raciocínio proporcional
- Visualizações complexas: Gráficos combinados, gráficos de eixo duplo e exibições em múltiplos painéis
2. Lógica visual Avaliamos o raciocínio abstrato e a inteligência espacial por meio de:
- Reconhecimento de padrões: Identificar sequências e completar padrões visuais
- Raciocínio espacial: Visualização 3D, planificações de cubos e transformações geométricas
- Lógica matemática: Padrões numéricos, raciocínio algébrico e combinatória
- Pensamento abstrato: Manipulação de símbolos, dedução lógica e inferência de regras
Formato da pergunta
- Formato da resposta: Múltipla escolha (A, B, C, D, E)
Adicionar como fonte preferencialCite este benchmark
Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.
@misc{ermut2026,
author = {Ermut, Sıla and Şipi, Nazlı},
title = {{Compare Modelos Multimodais de IA em Raciocínio Visual}},
year = {2026},
month = jun,
howpublished = {\url{https://aimultiple.com/visual-reasoning}},
note = {AIMultiple. Acessado em 10 junho 2026}
}Resultados e carimbos de data/hora de 14.8 mil pontos de dados. Baixe os dados resumidos exibidos nos gráficos e tabelas deste artigo como um arquivo ZIP contendo 2 arquivos CSV e um README.
Quer os dados granulares por trás disso? Assine o Premium
Registro de alterações
6 atualizaçõesAtualizado o número de modelos avaliados na seção de benchmark de raciocínio visual.
Substituída a configuração do parâmetro de tokens máximos na metodologia de Benchmark.
Links de referência
Ela trabalhou anteriormente como recrutadora em empresas de gerenciamento de projetos e consultoria. Sıla possui mestrado em Psicologia Social e bacharelado em Relações Internacionais.
Seja o primeiro a comentar
Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.