Comparez les modèles d'IA multimodaux sur le raisonnement visuel

Nous avons évalué 15 modèles d'IA multimodaux de premier plan sur le raisonnement visuel en utilisant 200 questions basées sur des visuels. L'évaluation comprenait deux pistes : 100 questions de compréhension de graphiques testant l'interprétation de visualisations de données, et 100 questions de logique visuelle évaluant la reconnaissance de motifs et le raisonnement spatial. Chaque question a été exécutée 5 fois pour garantir des résultats cohérents et fiables.

Benchmark de raisonnement visuel

Voir notre méthodologie de benchmark pour connaître nos procédures de test.

gemini-3.1-pro-preview et gemini-3-pro-preview mènent le classement. Ils sont suivis par gpt-5.2, kimi-k2.5 et gpt-5.2-pro qui mènent le prochain groupe de modèles. Bien que la plupart des modèles performent bien sur les tâches axées sur les données, un écart subsiste pour llama-4-maverick dans la connexion des entrées visuelles avec les étapes logiques.

Logique visuelle

La logique visuelle nécessite une reconnaissance de motifs et un raisonnement spatial. gemini-3.1-pro-preview mène le test de logique visuelle, montrant la performance la plus élevée dans les tâches de raisonnement abstrait. De nombreux modèles montrent une baisse de performance par rapport aux résultats de l'analyse de graphiques. llama-4-maverick montre une limitation dans ces tâches.

Compréhension des graphiques

Les modèles démontrent une meilleure compétence dans l'interprétation des graphiques que dans la logique visuelle. gemini-3.1-pro-preview a le score le plus élevé dans les tests de compréhension de graphiques, suivi de près par gemini-3-pro-preview et gemini-2.5-pro, montrant une forte capacité à décoder les données structurées et les visualisations. claude-opus-4.6 et claude-sonnet-4.6 montrent des résultats plus élevés lors de l'interprétation des graphiques par rapport à leurs scores de logique. Les tâches visuelles axées sur les données sont plus accessibles aux modèles multimodaux actuels que la reconnaissance de motifs.

Fiabilité statistique de la performance de raisonnement visuel (IC 95 %)

Nous avons calculé les intervalles de confiance (IC) à 95 % via 10 000 rééchantillonnages bootstrap pour définir la marge d'erreur pour chaque modèle, montrant la plage dans laquelle leur vraie performance se situe probablement.

Questions de benchmark sur les points forts et les faiblesses des LLM

Question de graphique avec le taux de réussite le plus faible des LLM

Figure 1 : Graphique à barres montrant les volumes de ventes Star sur 12 mois avec quatre barres groupées par mois (données 1998-2000). Chaque mois affiche des barres pleines, blanches et rayées en regroupement serré.

Note : Tous les graphiques ont été obtenus à partir de Hitbullseye.¹

Question : Si les ventes de trois années consécutives augmentent régulièrement ou diminuent régulièrement, on parle de tendance stable. Quels mois montrent une tendance à la hausse régulière sur trois années consécutives ?

Par exemple, en juin 1999, le réel était inférieur à celui de 1998, montrant une baisse, mais le modèle l'a incorrectement interprété comme une augmentation régulière. La plupart des modèles font la même erreur sur cette question.

Lorsque 4 barres sont regroupées par mois, les modèles ont eu du mal avec la correspondance barre-année et la perception de la hauteur relative. Ils ne pouvaient pas distinguer avec précision quelle barre rayée/pleine/blanche appartenait à quelle année, conduisant à une lecture des barres dans le mauvais ordre ou à une confusion de leurs hauteurs.

Cela a révélé une limitation fondamentale dans le raisonnement visuo-spatial : les modèles actuels manquaient de la perception précise au pixel nécessaire pour mesurer et séquencer correctement les barres densément emballées, conduisant à une identification systématique erronée des tendances.

Question de graphique avec le taux de réussite le plus élevé des LLM

Figure 2 : Graphique à barres montrant les pourcentages de participation électorale aux élections générales indiennes de 1952 à 1998. Une barre par année d'élection avec un espacement clair entre les barres.

Question : Les taux de participation les plus élevés et les plus bas jamais enregistrés (en pourcentage) étaient respectivement quelles années ?

Tous les modèles ont répondu correctement à cette question. Ce succès montre que les modèles excellent dans l'identification simple min-max, trouvant les barres les plus hautes et les plus courtes.

Contrairement aux groupes de 4 barres groupées, qui sont confus, ce graphique a une seule barre par année avec un espacement clair, rendant la comparaison visuelle directe simple. Les modèles performent bien sur les tâches purement observationnelles qui ne nécessitent aucune correspondance complexe barre-catégorie.

Question de logique visuelle avec le taux de réussite le plus élevé des LLM

Figure 3 : Deux grilles 3×3 alignées montrant une correspondance de motifs algébriques. La grille supérieure contient des variables et leurs opérations (multiplication, division, exposants). La grille inférieure montre des valeurs numériques, avec certaines cellules remplies (6, 36, 3/4) et deux inconnues (A, B). La question demande de trouver B-A.

Le succès est venu du motif mathématique clair visible dans la structure du tableau (relations algébriques comme a×b, c×d). La disposition simple de la grille, sans complexité visuelle, a permis aux modèles de se concentrer uniquement sur l'inférence numérique et la déduction logique.

Les modèles excellent lorsque les problèmes impliquent des motifs mathématiques explicites qui peuvent être résolus par un raisonnement étape par étape, démontrant leur force en logique symbolique et en reconnaissance de motifs lorsque les distractions visuelles sont minimales.

Question de logique visuelle avec le taux de réussite le plus faible des LLM

Figure 4 : Puzzle de reconnaissance de motifs avec des cercles contenant différents motifs de lignes internes et des formes géométriques. Deux séquences d'exemples avec des flèches montrées en haut, suivies d'une question demandant de compléter la troisième séquence parmi cinq options à choix multiples.

La difficulté provient de la nécessité d'une reconnaissance de motifs visuels abstraits, identifiant des règles de transformation géométrique à travers plusieurs exemples.

Cela exige un raisonnement spatial pur pour comprendre comment les formes tournent, se transforment et se relaient. Les modèles ont du mal avec l'inférence de règles à partir de séquences visuelles lorsqu'aucune guidance numérique ou textuelle explicite n'est disponible, seulement des motifs spatiaux.

Qu'est-ce que le raisonnement visuel ?

Le raisonnement visuel est la capacité d'un modèle à interpréter des images, à connecter des éléments visuels et à répondre à des questions qui nécessitent de comprendre à la fois des informations visuelles et textuelles. Cette capacité va au-delà de la simple reconnaissance d'objets pour inclure des tâches comme l'analyse de visualisations de données, l'identification de motifs spatiaux et la compréhension des relations entre les éléments visuels.

Notre benchmark a évalué cela à travers deux pistes distinctes pour tester différents aspects cognitifs : la compréhension de graphiques, où les modèles interprétaient des diagrammes à barres, des graphiques linéaires et des nuages de points pour évaluer leur capacité à extraire des informations structurées à partir de visualisations de données ; et la logique visuelle, où ils abordaient des puzzles de reconnaissance de motifs et des problèmes de raisonnement spatial pour mesurer le raisonnement abstrait sans guidance numérique explicite. Cette division reflète la distinction fondamentale dans la façon dont les modèles traitent les données explicites par rapport aux motifs implicites.

Les modèles réalisent le raisonnement visuel grâce à différentes approches architecturales. Par exemple, le framework Cola coordonne plusieurs modèles vision-langage où chacun fournit des légendes et des réponses plausibles, puis un LLM central évalue ces options et sélectionne la réponse la plus précise.

Figure 5 : Graphique montrant comment Cola exploite un modèle de langage coordinatif pour le raisonnement visuel.²

Un autre exemple est le framework CVR-LLM, qui améliore le raisonnement en convertissant des images en descriptions conscientes du contexte en utilisant la méthode CaID et en sélectionnant des exemples pertinents avec la procédure CVR-ICL. Ce framework traite les informations d'image comme des représentations basées sur le texte, permettant au LLM d'analyser les associations plus efficacement à travers divers types de tâches multimodales.³

Comment fonctionne le raisonnement visuel dans les LLM

Les LLM ne perçoivent pas directement les images. Ils s'appuient sur des encodeurs de vision qui convertissent les images en représentations structurées adaptées aux modèles de langage. L'encodeur identifie les objets, les textures, les relations spatiales et les motifs visuels. Le LLM combine ensuite cette représentation avec la requête textuelle pour construire une chaîne de raisonnement.

Coordination ou raffinement

Deux mécanismes principaux existent pour les scénarios visuels complexes : la coordination, où un LLM intègre les sorties de plusieurs modèles de vision pour vérifier les interprétations ; et le raffinement, où le LLM améliore itérativement les descriptions d'image via des boucles de rétroaction qui identifient les informations manquantes. Les deux abordent les limitations où les modèles uniques échouent à analyser des scénarios complexes.

Apprentissage en contexte pour le raisonnement multimodal

Certains frameworks récupèrent des exemples similaires à partir des données d'entraînement, fournissant au modèle des modèles pour interpréter les entrées visuelles. Ces démonstrations aident le modèle à appliquer des motifs de raisonnement appris à de nouveaux problèmes.

Production de l'explication finale

Le LLM produit une réponse soutenue par un processus de raisonnement, expliquant comment il a interprété l'image, sur quels éléments visuels il s'est appuyé et les connexions logiques qu'il a faites.

Raisonnement Chain-of-Thought dans les tâches visuelles

Le raisonnement Chain-of-Thought (CoT) est apparu comme une approche importante dans le raisonnement visuel. Au lieu d'analyser une image d'un seul coup, les modèles décomposent maintenant les problèmes visuels en étapes plus petites et séquentielles, de la même manière que les humains résolvent des problèmes complexes en y réfléchissant étape par étape.

Le CoT visuel permet aux modèles d'ajuster dynamiquement le focus à travers différentes régions spatiales d'une image, abordant une limitation clé où les modèles dépendaient auparavant d'un traitement d'image à granularité fixe. Par exemple, lors de l'analyse d'un graphique complexe, le modèle peut d'abord identifier les axes, puis examiner les points de données individuels, et enfin comparer les tendances, plutôt que d'essayer de comprendre tout simultanément.

Cette approche intègre l'apprentissage par renforcement et l'apprentissage par imitation pour aligner les modèles plus étroitement sur les motifs de raisonnement humain. Cela représente un changement fondamental de la reconnaissance de motifs passive à la résolution active de problèmes visuels, où les modèles explorent activement et raisonnent sur ce qu'ils voient. ⁴

Découvrez davantage de nos benchmarks et analyses basées sur les données dans la recherche Google.

Ajouter comme source préférée

Applications commerciales du raisonnement visuel dans les LLM

Les LLM avec des capacités visuelles peuvent soutenir plusieurs scénarios commerciaux. Ces applications dépendent de la capacité du modèle à analyser des images, à les lier à des données textuelles et à produire des insights fiables.

Analyse de documents et de contenu

Les entreprises gèrent des diagrammes, des dessins techniques, des figures de revues scientifiques et diverses formes de données visuelles. Un modèle de raisonnement visuel peut :

• Détecter les éléments manquants ou incorrects.
• Identifier des objets ou des signes dans la partie inférieure ou les coins des diagrammes.
• Connecter des segments de texte et d'image pour des contrôles de qualité.
• Extraire des informations structurées pour un déploiement ou un rapport ultérieur.

Par exemple, Intuit a intégré les modèles Doc AI et Gemini de Google Cloud pour préremplir les déclarations d'impôts sur des formulaires fiscaux américains courants, améliorant à la fois la vitesse et la précision dans le traitement de documents.⁵

Inspection de qualité et opérations

Dans la fabrication et la logistique, les modèles peuvent inspecter des produits ou des colis. Le raisonnement visuel aide à détecter les défauts, les désalignements ou les motifs inhabituels. Le modèle peut comparer des images à une référence et générer une explication de ce qui a changé ou ce qui manque.

Intel, par exemple, utilise des systèmes d'inspection visuelle par IA qui économisent 2 millions de dollars par an, les fabricants obtenant généralement un ROI dans les 6-12 mois grâce à la réduction des rebuts et des retours clients. ⁶

Commerce de détail et eCommerce

Les modèles analysent des images de produits, identifient des attributs clés et les correspondent aux données du catalogue. Les capacités de recherche visuelle permettent aux clients de télécharger des images pour trouver des produits similaires en utilisant la vision par ordinateur, tandis que les moteurs de recommandation de taille alimentés par l'IA ont réduit les taux de retour de 20-30 %. Ces systèmes détectent également les incohérences entre les descriptions de produits et les images.⁷

Sécurité et surveillance

Le raisonnement visuel prend en charge les tâches d'inspection vidéo et d'image en analysant les séquences d'images et en détectant des motifs inhabituels. Cambridge Industries a mis en œuvre un système de sécurité alimenté par l'IA pour les chantiers de construction qui a réduit les coûts de réparation d'urgence de près de 50 %. ⁸

Marketing et expérience utilisateur

Le raisonnement visuel aide les équipes à comprendre comment les utilisateurs interagissent avec le contenu numérique. Un modèle peut évaluer des captures d'écran ou des créations et fournir des insights sur la mise en page, le placement d'objets et les problèmes potentiels. Cela est particulièrement pertinent lors de l'évaluation de différentes catégories d'actifs visuels.

Par exemple, Comeen utilise l'IA Gemini pour générer des sous-titres multilingues pour des vidéos de lieu de travail en 40 langues en un clic, éliminant le processus multi-jours et multi-fournisseurs qui rendait auparavant le contenu obsolète avant publication. ⁹

Paysage comparatif : principaux acteurs et leurs approches

Chance AI

Chance AI fait partie des premiers outils commerciaux construits autour de la compréhension axée sur la vision. Son système de raisonnement visuel analyse les images à travers des lentilles culturelles, historiques, fonctionnelles et esthétiques. Au lieu d'attribuer de simples étiquettes, il fournit des insights structurés qui expliquent pourquoi un objet, une figure ou une scène compte, tels que le style de l'œuvre d'art, le symbolisme et le contexte historique, ainsi que son sujet.

La conception privilégie l'expérience utilisateur en permettant une exploration guidée par le sens à travers les images sans requêtes tapées. Cela va au-delà de la vision par ordinateur traditionnelle vers l'interprétation, la narration et l'explication humaine, le rendant particulièrement pertinent pour les industries créatives, l'éducation et le tourisme, où le contexte ajoute de la valeur au-delà de la reconnaissance.¹⁰

Meta AI

Le framework UniBench de Meta a introduit une approche unifiée pour évaluer le raisonnement visuel en combinant plus de cinquante benchmarks pour la compréhension spatiale, le raisonnement compositionnel et le comptage. Testant près de soixante modèles vision-langage, Meta a constaté que l'augmentation des données et de la taille du modèle améliore la perception mais pas le raisonnement, avec même des modèles avancés échouant à des tâches simples comme la reconnaissance de chiffres et le comptage d'objets.

Ces découvertes ont changé la façon dont les progrès du raisonnement visuel sont mesurés, soulignant le besoin de données de meilleure qualité, d'objectifs ciblés et d'apprentissage structuré plutôt que de s'appuyer uniquement sur des modèles plus grands. Pour les entreprises, UniBench offre un moyen transparent de comparer les performances de raisonnement à travers des tâches multimodales avant le déploiement.¹¹

Figure 6 : Le graphique montre la performance médiane de 59 VLM sur 53 benchmarks, révélant que, malgré les progrès, de nombreux modèles performent encore au niveau du hasard, en particulier sur des tâches comme Winoground, iNaturalist, DSPR et autres (bleu : médiane zero-shot ; gris : niveau de hasard).¹²

OpenAI

OpenAI a fait progresser le raisonnement visuel avec les modèles o3 et o4-mini, qui peuvent penser avec des images en intégrant la manipulation d'images dans leur raisonnement. Pendant l'analyse, ils zooment, recadrent ou font pivoter les images pour se concentrer sur les détails pertinents, imitant la façon dont les humains ajustent l'attention visuelle lors de l'interprétation de diagrammes ou de dessins.

Testés sur des benchmarks multimodaux tels que l'interprétation de graphiques, la résolution de problèmes visuels et le raisonnement mathématique, les modèles ont montré des gains clairs en précision et en compréhension contextuelle. Cependant, les résultats ont également exposé des limitations, y compris un raisonnement incohérent et des erreurs perceptuelles occasionnelles, soulignant le défi continu de la fiabilité dans les systèmes de raisonnement visuel.

Figure 7 : Le graphique montre les résultats de tous les modèles évalués dans des paramètres de « effort de raisonnement » élevés.¹³

Efforts de recherche académique et ouverte

VisuLogic : Un benchmark pour évaluer le raisonnement visuel dans les grands modèles de langage multimodaux

Ce papier introduit VisuLogic, un benchmark pour évaluer les performances des modèles multimodaux sur les tâches de raisonnement visuel. Il combine plus de cinquante ensembles de données couvrant divers types de raisonnement, y compris les relations spatiales, la logique compositionnelle et le comptage d'objets.

Les auteurs analysent des dizaines de modèles existants et constatent que l'augmentation de la taille ou de l'échelle des données améliore la reconnaissance d'images mais pas le raisonnement. Les modèles détectent souvent des motifs sans comprendre les relations entre les objets. Le papier souligne que l'entraînement spécifique au raisonnement, une meilleure qualité de données et une évaluation détaillée sont essentiels pour des progrès significatifs.

VisuLogic offre un framework unifié qui aide les chercheurs et les entreprises à analyser les capacités de raisonnement plutôt que de s'appuyer uniquement sur des métriques de perception, en faisant une ressource précieuse pour évaluer les systèmes de raisonnement multimodaux.¹⁴

Expliquer avant de répondre : Une enquête sur le raisonnement visuel compositionnel

Cette enquête passe en revue les approches actuelles du raisonnement visuel compositionnel, en se concentrant sur la façon dont les modèles combinent des indices visuels et textuels pour parvenir à une réponse correcte. Elle identifie les faiblesses des méthodes existantes qui reposent sur la reconnaissance plutôt que sur un raisonnement structuré.

Les auteurs proposent d'entraîner les modèles à expliquer avant de répondre, garantissant que chaque processus de raisonnement est transparent et interprétable. Ils discutent des techniques pour aligner les représentations visuelles et linguistiques afin que les modèles puissent mieux comprendre les diagrammes, les figures et les associations d'objets.

Le papier conclut que le raisonnement aligné et explicable améliore la fiabilité et l'interprétabilité dans les tâches multimodales. Il souligne que l'avenir de la recherche sur le raisonnement visuel dépend de l'intégration de l'apprentissage basé sur l'explication dans la conception du modèle.¹⁵

Défis dans les capacités de raisonnement visuel des LLM

Les progrès du raisonnement visuel apportent également des défis techniques et éthiques qui doivent être pris en compte.

La fiabilité reste une préoccupation clé. Comme vu dans notre benchmark, les modèles ont du mal avec les visualisations densément emballées, échouant dans la correspondance barre-année et la perception de la hauteur relative dans des graphiques complexes, conduisant à des erreurs systématiques dans l'identification des tendances. Même les modèles avancés échouent à des tâches simples comme la reconnaissance de chiffres et le comptage d'objets, et l'augmentation des données améliore la perception mais pas le raisonnement.

Les problèmes de biais et d'interprétation sont répandus. Les modèles de raisonnement visuel apprennent et reflètent les biais présents dans leurs données d'entraînement lors de l'interprétation d'images. Les modèles reflètent des hypothèses culturelles et des stéréotypes des données d'entraînement, y compris les biais de genre, raciaux, d'âge et de handicap. Par exemple, lors de la prédiction des professions de personnes dans une image ou de l'interprétation de scénarios, ces biais peuvent fausser les résultats.

L'explicabilité est cruciale pour la confiance. Les modèles doivent expliquer leur processus de raisonnement de manière transparente, en particulier dans des applications à haut risque comme la santé, l'embauche et la justice pénale où des sorties biaisées causent des dommages.

Méthodologie du benchmark

Tous les modèles ont été évalués via l'OpenRouter API avec des paramètres standardisés : température fixée à 0,8 et le paramètre max tokens n'a pas été fixé pour éviter de limiter les capacités de raisonnement. Les modèles ont été instruits de répondre avec une seule lettre (A-E) sans explication, bien que certains modèles aient encore fourni un raisonnement détaillé, que nous avons analysé pour extraire les réponses finales. L'évaluation s'est déroulée en parallèle sur tous les modèles simultanément. Chaque question a été exécutée 5 fois pour garantir des résultats cohérents et fiables.

Le benchmark comprenait 200 questions divisées en deux catégories : Compréhension de graphiques (100 questions) couvrant des diagrammes à barres, des graphiques linéaires, des nuages de points et des visualisations de données complexes, et Logique visuelle (10 questions) testant la reconnaissance de motifs, le raisonnement spatial et la logique visuelle mathématique. Toutes les questions ont été présentées sous forme de choix multiples avec cinq options (A-E), obligeant les modèles à analyser des images et à sélectionner la bonne réponse.

Questions:

1. Compréhension de graphiques Nous avons évalué les modèles sur leur capacité à extraire, interpréter et analyser des informations à partir de diverses visualisations de données :

• Diagrammes à barres : Configurations horizontales et verticales, formats empilés et groupés
• Graphiques linéaires : Tendances à série unique et multi-séries, données de séries temporelles
• Nuages de points : Analyse de corrélation, identification de motifs avec axes étiquetés
• Diagrammes circulaires : Distributions en pourcentage et raisonnement proportionnel
• Visualisations complexes : Graphiques combinés, graphiques à double axe et affichages multi-panneaux

2. Logique visuelle Nous avons évalué le raisonnement abstrait et l'intelligence spatiale à travers :

• Reconnaissance de motifs : Identification de séquences et complétion de motifs visuels
• Raisonnement spatial : Visualisation 3D, patrons de cube et transformations géométriques
• Logique mathématique : Motifs numériques, raisonnement algébrique et combinatoire
• Pensée abstraite : Manipulation de symboles, déduction logique et inférence de règles

Format de question

• Format de réponse : Choix multiples (A, B, C, D, E)

Citez ce benchmark

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{ermut2026,
  author = {Ermut, Sıla and Şipi, Nazlı},
  title  = {{Comparez les modèles d'IA multimodaux sur le raisonnement visuel}},
  year   = {2026},
  month  = feb,
  howpublished    = {\url{https://aimultiple.com/visual-reasoning}},
  note   = {AIMultiple. Consulté le 20 Février 2026}
}

Liens de référence

1.

Hitbullseye: Transforming Education with Cutting Edge Technology

2.

https://papers.neurips.cc/paper_files/paper/2023/file/ddfe6bae7b869e819f842753009b94ad-Paper-Conference.pdf

3.

https://arxiv.org/pdf/2409.13980

4.

Why Reasoning Matters? A Survey of Advancements in Multimodal Reasoning (v1)

5.

Real-world gen AI use cases from the world's leading organizations | Google Cloud Blog

Google Cloud

6.

100% Accuracy AI Vision: The Real Cost of Defects

Overview.ai

7.

Top AI Use Cases Transforming Industries in 2025 | Databricks Blog

8.

WEF highlights 32 AI case studies with real-world business impact | CIO

CIO

9.

Real-world gen AI use cases from the world's leading organizations | Google Cloud Blog

Google Cloud

10.

Introducing Visual Reasoning: A New Way to Understand What You See

Chance AI

11.

UniBench: Visual Reasoning Requires Rethinking Vision-Language Beyond Scaling | Research - AI at Meta

12.

https://proceedings.neurips.cc/paper_files/paper/2024/file/96271227d3e204501d199433e56af289-Paper-Datasets_and_Benchmarks_Track.pdf

13.

Pensar con imágenes | OpenAI

14.

https://arxiv.org/pdf/2504.15279

15.

https://arxiv.org/pdf/2508.17298

Sıla Ermut

Analyste du secteur

Suivre

Sıla Ermut est analyste chez AIMultiple, spécialisée dans le marketing par e-mail et les vidéos de vente. Auparavant, elle travaillait comme recruteuse dans des cabinets de conseil et de gestion de projets. Sıla est titulaire d'un master en psychologie sociale et d'une licence en relations internationales.

Voir le profil complet

Recherche effectuée par

Nazlı Şipi

Chercheur en IA

Suivre

Nazlı est analyste de données chez AIMultiple. Elle possède une expérience préalable en analyse de données dans divers secteurs, où elle a travaillé à transformer des ensembles de données complexes en informations exploitables.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire