Compare modelos multimodais de IA em raciocínio visual

Avaliamos 40 dos principais modelos multimodais de IA em raciocínio visual usando 200 perguntas baseadas em elementos visuais. A avaliação consistiu em duas trilhas: 100 perguntas de compreensão de gráficos testando a interpretação de visualização de dados e 100 perguntas de lógica visual avaliando reconhecimento de padrões e raciocínio espacial.

Benchmark de raciocínio visual

Consulte a nossa metodologia de benchmark para conhecer os nossos procedimentos de teste.

Todos os modelos pontuam menos em lógica visual do que em gráficos. A diferença é menor para qwen3.8-flash (58% vs 78%) e maior para claude-sonnet-4.5 (35% vs 77%).

• gemini-4-argon tem a maior pontuação em ambas as categorias: 62% em lógica visual e 87% em compreensão de gráficos. Também ocupa o primeiro lugar no geral com 74,5%, 1 ponto à frente de gemini-3.7-flash e claude-opus-5.5 (73,5% cada). Isso é uma diferença de 2 perguntas em 200, então os três primeiros estão separados por poucas perguntas entre si.
• gemini-3.5-flash-lite (36,5%) e llama-4-maverick (38,5%) estão em último lugar no geral por causa da lógica visual. Eles respondem 22% e 19% dessas perguntas corretamente, e claude-haiku-4.5 responde 20%. Os três estão perto dos 20% que um chute aleatório daria com cinco opções. Em gráficos, os mesmos três modelos também estão em último lugar, entre 51% e 61%.

Comparação de custo & latência

Perguntas de benchmark sobre onde os LLMs se destacam e têm mais dificuldade

Pergunta de gráfico com a menor taxa de sucesso de LLM

Figura 1: Gráfico de barras da Power Grid Corp. mostrando Vendas (barras pretas) e Lucro após impostos (barras brancas) de 1992-93 a 1996-97 e 2001-02, com uma linha para km de circuito das linhas em um segundo eixo y.

Nota: Todos os gráficos foram obtidos do Hitbullseye.¹

Pergunta: A lucratividade (Lucro / Vendas) é a maior em: A. 1992-93 B. 1993-94 C. 2001-02 D. 1996-97

Nenhum dos 40 modelos respondeu corretamente (a resposta é D, 1996-97), e 38 deles escolheram 1992-93. O cálculo é uma única divisão por ano, então a dificuldade está em ler o gráfico.

As barras de lucro são pequenas e brancas, apenas algumas centenas de crore em um eixo de 0-4.000 com linhas de grade a cada 500. As diferenças entre os anos se resumem a alguns pixels. O segundo eixo y e a linha sobreposta adicionam poluição visual. Os modelos tiveram que comparar essas barras brancas curtas com as pretas muito mais altas, e um pequeno erro de leitura da altura da barra foi suficiente para mudar a resposta.

Pergunta de gráfico com a maior taxa de sucesso de LLM

Figura 2: Gráfico de dispersão mostrando a produção real e de tendência (em toneladas) de 1982 a 1991. Losangos azuis marcam os valores reais, quadrados vermelhos marcam os valores de tendência, e cada ponto está rotulado com seu valor.

Pergunta: A tendência foi estabelecida como: A. A produção deste ano é uma vez e meia a do ano passado. B. A produção deste ano é o dobro da do ano passado. C. A produção deste ano é três mil toneladas a mais do que a do ano passado. D. A produção deste ano é quatro mil e quinhentas toneladas a mais do que a do ano passado.

Todos os modelos responderam a esta pergunta corretamente. Os pontos de tendência aumentam na mesma quantidade todos os anos (6.000, 9.000, 12.000 e assim por diante até 33.000). Como cada ponto carrega seu valor como rótulo, os modelos podiam ler os números diretamente em vez de estimar as posições em relação ao eixo.

O gráfico da Power Grid exigia comparar as alturas das barras pequenas. Aqui não é necessária estimativa de altura: os rótulos fornecem valores exatos, e a única etapa restante é uma simples subtração.

Pergunta de lógica visual com a maior taxa de sucesso de LLM

Figura 4: Uma grade 3×3 em que cada célula contém um triângulo ou quadrado branco ou preto, sozinho ou aninhado um dentro do outro. A célula no canto inferior direito está faltando, e cinco opções são dadas.

Pergunta: Qual opção completa a grade?

38 dos 40 modelos responderam corretamente (a resposta é C, um quadrado preto). Apenas claude-haiku-4.5 e llama-4-maverick erraram. Cada linha e cada coluna contém um triângulo branco, um quadrado branco, um triângulo preto e um quadrado preto exatamente uma vez. A peça que falta pode, portanto, ser encontrada listando o que já está lá.

Na grade de hexágonos, a regra dependia de como as formas eram divididas em regiões. Aqui cada elemento é uma forma separada e claramente desenhada que os modelos podem identificar e contar.

Pergunta de lógica visual com a menor taxa de sucesso de LLM

Figura 3: Uma grade 3×3 de formas: triângulos na primeira linha, retângulos na segunda e hexágonos na terceira. Cada forma é dividida em regiões pretas e brancas, e o hexágono do meio está faltando. Cinco hexágonos são dados como opções.

Pergunta: Qual opção completa a grade?

Nenhum dos 40 modelos respondeu corretamente. A pergunta não tem números nem cálculos; a única tarefa é ver como as regiões pretas e brancas mudam em cada linha.

Metodologia de benchmark

Avaliamos 40 modelos com capacidade de visão em 200 perguntas de múltipla escolha baseadas em imagens.

• Raciocínio: Cada modelo foi definido para o maior esforço de raciocínio que suporta (max, xhigh ou high, dependendo do modelo). Para alguns modelos, nenhum parâmetro de esforço de raciocínio foi aceito; portanto, o padrão do provedor foi aplicado:
  • gemini-3.1-pro-preview, gemini-3.6-flash, gemini-3.7-flash, gemini-3.8-flash, gpt-5.2-pro e qwen3.8-flash ainda raciocinaram por padrão.claude-haiku-4.5 e gemini-3.5-flash-lite não produziram tokens de raciocínio.kimi-k2.5 raciocinou em apenas 34 de suas 200 chamadas.
  llama-4-maverick não tem modo de raciocínio.
• Temperatura: Não definida, então o padrão de cada provedor foi aplicado.
• Máximo de tokens: Definido como 1.000.000 para que o comprimento da saída não limitasse o raciocínio. Se um provedor rejeitasse esse valor, o limite máximo de saída do próprio modelo era usado.
• Execuções: Cada pergunta foi executada uma vez por modelo, totalizando 7.600 chamadas.
• Tentativas: Chamadas com falha foram repetidas até 3 vezes, com intervalo de 60 segundos. Em 4 perguntas de lógica visual, muse-wonder nunca retornou uma resposta: seu provedor fechou a conexão após cerca de 6.5 minutos em cada tentativa. Essas 4 perguntas contam como erradas, então nenhuma pergunta foi excluída.
• Custo e latência: O custo é o custo faturado que o gateway relatou para cada chamada. A latência é a duração da chamada bem-sucedida, excluindo as esperas de nova tentativa.

O benchmark consistiu em 200 perguntas em duas categorias: Compreensão de Gráficos (100 perguntas) e Lógica Visual (100 perguntas). As perguntas de gráfico enviam o gráfico como uma imagem, com a pergunta e as opções como texto. As perguntas de lógica visual colocam a pergunta inteira, incluindo as opções, dentro da imagem. A maioria das perguntas de gráfico tem quatro opções (89 de 100), e as demais têm cinco ou menos. As perguntas de lógica visual têm cinco opções (A-E).

Perguntas:

1. Compreensão de gráficos (100 perguntas). Avaliamos a capacidade dos modelos de extract, interpretar e analisar informações de visualizações de dados:

• Gráficos de barras (40): gráficos de barras simples, agrupados e de eixo duplo
• Gráficos de dispersão (26): leitura de valores e tendências a partir de pontos rotulados
• Gráficos de pizza (14): distribuições percentuais e raciocínio proporcional
• Gráficos de linha (10): tendências de série única e multissérie ao longo do tempo
• Exibições combinadas (10): um gráfico mostrado junto com um segundo gráfico ou uma tabela de dados

2. Lógica visual (100 perguntas). Avaliamos o raciocínio abstrato e a inteligência espacial por meio de:

• Reconhecimento de padrões: identificar sequências e completar padrões visuais
• Raciocínio espacial: transformações de formas e sobreposição de figuras
• Lógica matemática: padrões numéricos, raciocínio algébrico e combinatória
• Pensamento abstrato: manipulação de símbolos, dedução lógica e inferência de regras

Não perca os nossos benchmarks e insights baseados em dados. O botão abre o Google; selecionar a AIMultiple confirma que deseja ver a AIMultiple com mais frequência nos resultados de pesquisa do Google.

Adicionar como fonte preferencial

Cite este benchmark

Escolha o formato adequado ao local onde você vai publicar. Colar a versão com link no seu CMS preserva o backlink.

@misc{sipi2026,
  author = {Şipi, Nazlı},
  title  = {{Compare modelos multimodais de IA em raciocínio visual}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/visual-reasoning}},
  note   = {AIMultiple. Acessado em 10 junho 2026}
}

Registro de alterações

6 atualizações

Todas6Geral4Metodologia2

20262025

1. 20 fev

   Atualizado o número de modelos avaliados na seção de benchmark de raciocínio visual.

2. 20 fev

   Substituída a configuração do parâmetro de tokens máximos na metodologia de Benchmark.

Links de referência

1.

Hitbullseye: Transforming Education with Cutting Edge Technology

Nazlı Şipi

Pesquisadora de IA

Siga-nos

Nazlı é analista de dados na AIMultiple. Ela tem experiência anterior em análise de dados em vários setores, onde trabalhou transformando datasets complexos em insights acionáveis.

Ver perfil completo

Seja o primeiro a comentar

Seu endereço de e-mail não será publicado. Todos os campos são obrigatórios. Os comentários são deixados em seu idioma original.

Nome

Endereço de email

Comentário

0/450

Postar comentário