Comparer les modèles d'IA multimodaux sur le raisonnement visuel
Nous avons évalué 15 modèles d'IA multimodaux leaders sur le raisonnement visuel en utilisant 200 questions basées sur l'image. L'évaluation comprenait deux pistes : 100 questions de compréhension de graphiques testant l'interprétation de visualisations de données, et 100 questions de logique visuelle évaluant la reconnaissance de motifs et le raisonnement spatial. Chaque question a été exécutée 5 fois pour garantir des résultats cohérents et fiables.
Benchmark de raisonnement visuel
Consultez notre méthodologie de benchmark pour en savoir plus sur nos procédures de test.
gemini-3.1-pro-preview et gemini-3-pro-preview mènent le classement. Ils sont suivis par gpt-5.2, kimi-k2.5 et gpt-5.2-pro qui mènent le groupe suivant de modèles. Alors que la plupart des modèles obtiennent de bons résultats sur les tâches axées sur les données, un écart persiste pour llama-4-maverick dans la connexion des entrées visuelles avec les étapes logiques.
Logique visuelle
La logique visuelle nécessite la reconnaissance de motifs et le raisonnement spatial. gemini-3.1-pro-preview mène le test de logique visuelle, affichant les meilleures performances dans les tâches de raisonnement abstrait. De nombreux modèles montrent une baisse de performance par rapport aux résultats de l'analyse graphique. llama-4-maverick montre une limitation dans ces tâches.
Compréhension des graphiques
Les modèles démontrent une meilleure maîtrise de l'interprétation des graphiques que de la logique visuelle. gemini-3.1-pro-preview obtient le score le plus élevé aux tests de compréhension des graphiques, suivi de près par gemini-3-pro-preview et gemini-2.5-pro, démontrant une forte capacité à décoder des données structurées et des visualisations. claude-opus-4.6 et claude-sonnet-4.6 affichent des résultats plus élevés lors de l'interprétation des graphiques par rapport à leurs scores en logique. Les tâches visuelles basées sur les données sont plus accessibles aux modèles multimodaux actuels que la reconnaissance de motifs.
Fiabilité statistique des performances de raisonnement visuel (95 % CI)
Nous avons calculé les intervalles de confiance à 95 % (CI) à l'aide de 10 000 rééchantillonnages bootstrap pour définir la marge d'erreur de chaque modèle, montrant la plage dans laquelle leur performance réelle se situe probablement.
Questions de benchmark sur les points où les LLM excellent et les difficultés les plus grandes
Question graphique avec le taux de réussite LLM le plus faible
Figure 1 : Graphique à barres montrant les volumes de ventes Star sur 12 mois avec quatre barres groupées par mois (données 1998-2000). Chaque mois présente des barres pleines, blanches et rayées en regroupement serré.
Remarque : Tous les graphiques ont été obtenus à partir de Hitbullseye.1
Question : Si les ventes de trois années consécutives augmentent ou diminuent régulièrement, on parle alors de tendance stable. Quels mois affichent une tendance à la hausse stable sur trois années consécutives ?
Par exemple, en juin 1999, la valeur réelle était inférieure à celle de 1998, montrant une baisse, mais le modèle l'a interprétée à tort comme une augmentation régulière. La plupart des modèles commettent la même erreur sur cette question.
Lorsque 4 barres sont regroupées par mois, les modèles ont eu du mal avec le mappage barre-année et la perception des hauteurs relatives. Ils ne pouvaient pas distinguer avec précision à quelle année appartenait chaque barre (rayée/pleine/blanche), ce qui conduisait à une lecture des barres dans le mauvais ordre ou à une confusion de leurs hauteurs.
Cela a révélé une limitation fondamentale du raisonnement visuo-spatial : les modèles actuels manquaient de la perception au pixel près nécessaire pour mesurer et ordonner correctement les barres densément regroupées, entraînant une mauvaise identification systématique des tendances.
Question graphique avec le taux de réussite LLM le plus élevé
Figure 2 : Graphique à barres montrant les pourcentages de participation électorale aux élections générales indiennes de 1952 à 1998. Une barre par année électorale avec un espacement clair entre les barres.
Question : Les taux de participation électorale les plus élevés et les plus bas jamais enregistrés (en pourcentage) se sont respectivement produits en quelles années ?
Tous les modèles ont répondu correctement à cette question. Ce succès montre que les modèles excellent dans l'identification simple min-max, en trouvant les barres les plus hautes et les plus basses.
Contrairement aux groupes de 4 barres groupées, qui sont déroutants, ce graphique comporte une seule barre par an avec un espacement clair, ce qui rend la comparaison visuelle directe simple. Les modèles réussissent bien les tâches purement observationnelles qui ne nécessitent pas de mappage complexe barre-catégorie.
Question de logique visuelle avec le taux de réussite LLM le plus élevé

Figure 3 : Deux grilles 3×3 alignées montrant une correspondance de motifs algébriques. La grille supérieure contient des variables et leurs opérations (multiplication, division, exposants). La grille inférieure montre des valeurs numériques, certaines cellules étant remplies (6, 36, 3/4) et deux inconnues (A, B). La question demande de trouver B-A.
Le succès est venu du motif mathématique clair visible dans la structure du tableau (relations algébriques comme a×b, c×d). La disposition simple en grille, sans complexité visuelle, a permis aux modèles de se concentrer uniquement sur l'inférence numérique et la déduction logique.
Les modèles excellent lorsque les problèmes impliquent des motifs mathématiques explicites qui peuvent être résolus par un raisonnement étape par étape, démontrant leur force en logique symbolique et en reconnaissance de motifs lorsque les distractions visuelles sont minimes.
Question de logique visuelle avec le taux de réussite LLM le plus faible

Figure 4 : Puzzle de reconnaissance de motifs avec des cercles contenant différents motifs de lignes internes et formes géométriques. Deux séquences d'exemple avec des flèches montrées en haut, suivies d'une question demandant de compléter la troisième séquence parmi cinq options à choix multiples.
La difficulté provient de la nécessité d'une reconnaissance abstraite de motifs visuels, identifiant les règles de transformation géométrique à travers plusieurs exemples.
Cela exige un raisonnement spatial pur pour comprendre comment les formes tournent, se transforment et sont liées les unes aux autres. Les modèles ont du mal à déduire des règles à partir de séquences visuelles lorsqu'aucune indication numérique ou textuelle explicite n'est disponible, seulement des motifs spatiaux.
Qu'est-ce que le raisonnement visuel ?
Le raisonnement visuel est la capacité d'un modèle à interpréter des images, à relier des éléments visuels et à répondre à des questions nécessitant la compréhension d'informations à la fois visuelles et textuelles. Cette capacité va au-delà de la simple reconnaissance d'objets pour inclure des tâches telles que l'analyse de visualisations de données, l'identification de motifs spatiaux et la compréhension des relations entre les éléments visuels.
Notre benchmark a évalué cela à travers deux pistes distinctes pour tester différents aspects cognitifs : la compréhension des graphiques, où les modèles ont interprété des graphiques à barres, des graphiques en courbes et des nuages de points pour évaluer leur capacité à extraire des informations structurées à partir de visualisations de données ; et la logique visuelle, où ils ont abordé des puzzles de reconnaissance de motifs et des problèmes de raisonnement spatial pour mesurer le raisonnement abstrait sans guidage numérique explicite. Cette division reflète la distinction fondamentale dans la manière dont les modèles traitent les données explicites par rapport aux motifs implicites.
Les modèles réalisent le raisonnement visuel par différentes approches architecturales. Par exemple, le framework Cola coordonne plusieurs modèles vision-langage où chacun fournit des légendes et des réponses plausibles, puis un LLM central évalue ces options et sélectionne la réponse la plus précise.
Figure 5 : Graphique montrant comment Cola exploite un modèle de langage coordinatif pour le raisonnement visuel.2
Un autre exemple est le framework CVR-LLM, qui améliore le raisonnement en convertissant les images en descriptions contextuelles à l'aide de la méthode CaID et en sélectionnant des exemples pertinents avec la procédure CVR-ICL. Ce framework traite les informations d'image comme des représentations textuelles, permettant au LLM d'analyser les associations plus efficacement à travers divers types de tâches multimodales.3
Comment fonctionne le raisonnement visuel dans les LLM
Les LLMs ne perçoivent pas directement les images. Ils s'appuient sur des encodeurs visuels qui convertissent les images en représentations structurées adaptées aux modèles de langage. L'encodeur identifie les objets, les textures, les relations spatiales et les motifs visuels. Le LLM combine ensuite cette représentation avec la requête textuelle pour construire une chaîne de raisonnement.
Coordination ou raffinement
Deux mécanismes principaux existent pour les scénarios visuels complexes : la coordination, où un LLM intègre les sorties de plusieurs modèles de vision pour vérifier les interprétations ; et le raffinement, où le LLM améliore itérativement les descriptions d'images par des boucles de rétroaction qui identifient les informations manquantes. Les deux traitent les limitations où les modèles uniques échouent à analyser des scénarios complexes.
Apprentissage en contexte pour le raisonnement multimodal
Certains frameworks récupèrent des exemples similaires à partir des données d'entraînement, fournissant au modèle des modèles pour interpréter les entrées visuelles. Ces démonstrations aident le modèle à appliquer des schémas de raisonnement appris à de nouveaux problèmes.
Production de l'explication finale
Le LLM produit une réponse étayée par un processus de raisonnement, expliquant comment il a interprété l'image, sur quels éléments visuels il s'est appuyé et les connexions logiques qu'il a établies.
Raisonnement en chaîne de pensée dans les tâches visuelles
Le raisonnement en chaîne de pensée (CoT) est apparu comme une approche importante dans le raisonnement visuel. Au lieu d'analyser une image d'un seul coup, les modèles décomposent désormais les problèmes visuels en étapes plus petites et séquentielles, de la même manière que les humains résolvent des problèmes complexes en réfléchissant étape par étape.
Le CoT visuel permet aux modèles d'ajuster dynamiquement la focalisation sur différentes régions spatiales d'une image, remédiant à une limitation clé où les modèles s'appuyaient auparavant sur un traitement d'image à granularité fixe. Par exemple, lors de l'analyse d'un graphique complexe, le modèle peut d'abord identifier les axes, puis examiner les points de données individuels, et enfin comparer les tendances, plutôt que d'essayer de tout comprendre simultanément.
Cette approche intègre l'apprentissage par renforcement et l'apprentissage par imitation pour aligner plus étroitement les modèles sur les schémas de raisonnement humains. Cela représente un changement fondamental de la reconnaissance passive de motifs à la résolution active de problèmes visuels, où les modèles explorent et raisonnent activement sur ce qu'ils voient. 4
Applications métier du raisonnement visuel dans les LLM
Les LLM dotés de capacités visuelles peuvent prendre en charge de multiples scénarios métier. Ces applications dépendent de la capacité du modèle à analyser des images, à les lier à des données textuelles et à produire des informations fiables.
Analyse de documents et de contenu
Les entreprises manipulent des schémas, des dessins techniques, des figures de revues scientifiques et diverses formes de données visuelles. Un modèle de raisonnement visuel peut :
- Détecter les éléments manquants ou incorrects.
- Identifier les objets ou signes dans la partie inférieure ou les coins des schémas.
- Relier les segments de texte et d'image pour les contrôles qualité.
- Extraire des informations structurées pour un déploiement ultérieur ou des rapports.
Par exemple, Intuit a intégré Doc IA de Google Cloud et les modèles Gemini pour remplir automatiquement les déclarations de revenus sur les formulaires fiscaux américains courants, améliorant à la fois la vitesse et la précision du traitement des documents.5
Inspection qualité et opérations
Dans la fabrication et la logistique, les modèles peuvent inspecter les produits ou les emballages. Le raisonnement visuel aide à détecter les défauts, les désalignements ou les motifs inhabituels. Le modèle peut comparer des images à une référence et générer une explication de ce qui a changé ou de ce qui manque.
Intel, par exemple, utilise des systèmes d'inspection par vision IA qui permettent d'économiser 2 millions de dollars par an, les fabricants obtenant généralement un ROI en 6-12 mois grâce à la réduction des rebuts et à moins de retours clients. 6
Commerce de détail et eCommerce
Les modèles analysent les images de produits, identifient les attributs clés et les font correspondre aux données du catalogue. Les capacités de recherche visuelle permettent aux clients de télécharger des images pour trouver des produits similaires à l'aide de la vision par ordinateur, tandis que les moteurs de recommandation de taille alimentés par l'IA ont réduit les taux de retour de 20 à 30 %. Ces systèmes détectent également les incohérences entre les descriptions de produits et les images.7
Sécurité et surveillance
Le raisonnement visuel prend en charge les tâches d'inspection vidéo et d'image en analysant les séquences d'images et en détectant les motifs inhabituels. Cambridge Industries a mis en œuvre un système de sécurité alimenté par l'IA pour les chantiers de construction qui a réduit les coûts de réparation d'urgence de près de 50 %. 8
Marketing et expérience utilisateur
Le raisonnement visuel aide les équipes à comprendre comment les utilisateurs interagissent avec le contenu numérique. Un modèle peut évaluer des captures d'écran ou des créations et fournir des informations sur la mise en page, le placement des objets et les problèmes potentiels. Cela est particulièrement pertinent lors de l'évaluation de différentes catégories d'actifs visuels.
Par exemple, Comeen utilise Gemini IA pour générer des sous-titres multilingues pour les vidéos d'entreprise en 40 langues en un seul clic, éliminant le processus multi-jours et multi-fournisseurs qui rendait auparavant le contenu obsolète avant sa publication. 5
Panorama comparatif : principaux acteurs et leurs approches
Chance IA
Chance IA fait partie des premiers outils commerciaux construits autour de la compréhension axée sur la vision. Son système de raisonnement visuel analyse les images à travers des prismes culturels, historiques, fonctionnels et esthétiques. Au lieu d'attribuer de simples étiquettes, il fournit des informations structurées qui expliquent pourquoi un objet, une figure ou une scène est important, comme le style, le symbolisme et le contexte historique de l'œuvre, en plus de son sujet.
La conception privilégie l'expérience utilisateur en permettant une exploration guidée par le sens à travers les images sans requêtes saisies. Cela va au-delà de la vision par ordinateur traditionnelle vers l'interprétation, la narration et l'explication de type humain, ce qui la rend particulièrement pertinente pour les industries créatives, l'éducation et le tourisme, où le contexte ajoute de la valeur au-delà de la reconnaissance.9
Meta IA
Le framework UniBench de Meta a introduit une approche unifiée pour évaluer le raisonnement visuel en combinant plus de cinquante benchmarks pour la compréhension spatiale, le raisonnement compositionnel et le comptage. En testant près de soixante modèles vision-langage, Meta a constaté que la mise à l'échelle des données et de la taille des modèles améliore la perception mais pas le raisonnement, même les modèles avancés échouant à des tâches simples comme la reconnaissance de chiffres et le comptage d'objets.
Ces résultats ont changé la façon dont les progrès du raisonnement visuel sont mesurés, soulignant la nécessité de données de meilleure qualité, d'objectifs ciblés et d'un apprentissage structuré plutôt que de s'appuyer uniquement sur des modèles plus grands. Pour les entreprises, UniBench offre un moyen transparent de comparer les performances de raisonnement à travers les tâches multimodales avant le déploiement.10
Figure 6 : Le graphique montre la performance médiane de 59 VLMs sur 53 benchmarks, révélant que, malgré les progrès, de nombreux modèles fonctionnent encore près du niveau aléatoire, en particulier sur des tâches comme Winoground, iNaturalist, DSPR et autres (bleu : médiane zéro-shot ; gris : niveau aléatoire).11
OpenAI
OpenAI a fait progresser le raisonnement visuel avec les modèles o3 et o4-mini, qui peuvent penser avec les images en intégrant la manipulation d'images dans leur raisonnement. Pendant l'analyse, ils zooment, recadrent ou font pivoter les images pour se concentrer sur les détails pertinents, reflétant la manière dont les humains ajustent leur attention visuelle lors de l'interprétation de schémas ou de dessins.
Testés sur des benchmarks multimodaux tels que l'interprétation de graphiques, la résolution de problèmes visuels et le raisonnement mathématique, les modèles ont montré des gains nets en précision et en compréhension contextuelle. Cependant, les résultats ont également révélé des limitations, notamment un raisonnement incohérent et des erreurs de perception occasionnelles, soulignant le défi permanent de la fiabilité des systèmes de raisonnement visuel.
Figure 7 : Le graphique montre les résultats de tous les modèles évalués avec des paramètres de « effort de raisonnement » élevé.12
Efforts de recherche académique et ouverte
VisuLogic : Un benchmark pour l'évaluation du raisonnement visuel dans les grands modèles de langage multimodaux
Cet article présente VisuLogic, un benchmark pour évaluer les performances des modèles multimodaux sur les tâches de raisonnement visuel. Il combine plus de cinquante jeux de données couvrant différents types de raisonnement, y compris les relations spatiales, la logique compositionnelle et le comptage d'objets.
Les auteurs analysent des dizaines de modèles existants et constatent que l'augmentation de la taille ou de l'échelle des données améliore la reconnaissance d'images mais pas le raisonnement. Les modèles détectent souvent des motifs sans comprendre les relations entre les objets. L'article souligne que l'entraînement spécifique au raisonnement, une meilleure qualité des données et une évaluation détaillée sont essentiels pour des progrès significatifs.
VisuLogic offre un cadre unifié qui aide les chercheurs et les entreprises à analyser les capacités de raisonnement plutôt que de se fier uniquement aux métriques de perception, ce qui en fait une ressource précieuse pour évaluer les systèmes de raisonnement multimodal.13
Expliquez avant de répondre : une enquête sur le raisonnement visuel compositionnel
Cette enquête passe en revue les approches actuelles du raisonnement visuel compositionnel, en se concentrant sur la manière dont les modèles combinent les indices visuels et textuels pour parvenir à une réponse correcte. Elle identifie les faiblesses des méthodes existantes qui reposent sur la reconnaissance plutôt que sur un raisonnement structuré.
Les auteurs proposent d'entraîner les modèles à expliquer avant de répondre, garantissant que chaque processus de raisonnement est transparent et interprétable. Ils discutent des techniques d'alignement des représentations visuelles et linguistiques afin que les modèles puissent mieux comprendre les schémas, les figures et les associations d'objets.
L'article conclut que le raisonnement aligné et explicable améliore la fiabilité et l'interprétabilité dans les tâches multimodales. Il souligne que l'avenir de la recherche sur le raisonnement visuel dépend de l'intégration de l'apprentissage basé sur l'explication dans la conception des modèles.14
Défis des capacités de raisonnement visuel des LLM
Les progrès du raisonnement visuel apportent également des défis techniques et éthiques qui doivent être pris en compte.
La fiabilité reste une préoccupation majeure. Comme nous l'avons vu dans notre benchmark, les modèles peinent avec les visualisations densément regroupées, échouant au mappage barre-année et à la perception des hauteurs relatives dans les graphiques complexes, entraînant des erreurs systématiques dans l'identification des tendances. Même les modèles avancés échouent à des tâches simples comme la reconnaissance de chiffres et le comptage d'objets, et la mise à l'échelle des données améliore la perception mais pas le raisonnement.
Les problèmes de biais et d'interprétation sont répandus. Les modèles de raisonnement visuel apprennent et reflètent les biais présents dans leurs données d'entraînement lors de l'interprétation des images. Les modèles reflètent les hypothèses culturelles et les stéréotypes issus des données d'entraînement, y compris les biais liés au genre, à la race, à l'âge et au handicap. Par exemple, lorsqu'ils prédisent les professions des personnes dans une image ou interprètent des scénarios, ces biais peuvent fausser les résultats.
L'explicabilité est essentielle pour la confiance. Les modèles devraient expliquer leur processus de raisonnement de manière transparente, en particulier dans les applications à enjeux élevés comme les soins de santé, le recrutement et la justice pénale, où des résultats biaisés causent des préjudices.
Méthodologie du benchmark
Tous les modèles ont été évalués via l'API OpenRouter avec des paramètres standardisés : température réglée à 0,8 et le paramètre max tokens n'a pas été défini pour éviter de limiter les capacités de raisonnement. Les modèles devaient répondre avec une seule lettre (A-E) sans explication, bien que certains modèles aient tout de même fourni un raisonnement détaillé, que nous avons analysé pour extraire les réponses finales. L'évaluation a été exécutée en parallèle sur tous les modèles simultanément. Chaque question a été exécutée 5 fois pour garantir des résultats cohérents et fiables.
Le benchmark était composé de 200 questions réparties en deux catégories : Compréhension des graphiques (100 questions) couvrant les graphiques à barres, les graphiques linéaires, les nuages de points et les visualisations de données complexes, et Logique visuelle (10 questions) testant la reconnaissance de motifs, le raisonnement spatial et la logique visuelle mathématique. Toutes les questions étaient présentées sous forme de choix multiples avec cinq options (A-E), demandant aux modèles d'analyser les images et de sélectionner la réponse correcte.
Questions:
1. Compréhension des graphiques Nous avons évalué les modèles sur leur capacité à extraire, interpréter et analyser des informations à partir de diverses visualisations de données :
- Graphiques à barres : configurations horizontales et verticales, formats empilés et groupés
- Graphiques linéaires : tendances simples et multi-séries, données de séries chronologiques
- Nuages de points : analyse de corrélation, identification de motifs avec axes étiquetés
- Diagrammes circulaires : distributions en pourcentage et raisonnement proportionnel
- Visualisations complexes : graphiques combinés, graphiques à deux axes et affichages multi-panneaux
2. Logique visuelle Nous avons évalué le raisonnement abstrait et l'intelligence spatiale à travers :
- Reconnaissance de motifs : identifier des séquences et compléter des motifs visuels
- Raisonnement spatial : visualisation 3D, patrons de cubes et transformations géométriques
- Logique mathématique : motifs numériques, raisonnement algébrique et combinatoire
- Pensée abstraite : manipulation de symboles, déduction logique et inférence de règles
Format des questions
- Format de réponse : choix multiples (A, B, C, D, E)
Citez ce benchmark
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{ermut2026,
author = {Ermut, Sıla and Şipi, Nazlı},
title = {{Comparer les modèles d'IA multimodaux sur le raisonnement visuel}},
year = {2026},
month = feb,
howpublished = {\url{https://aimultiple.com/visual-reasoning}},
note = {AIMultiple. Consulté le 20 Février 2026}
}Résultats et horodatages de 0 points de données. Téléchargez les données utilisées dans cet article sous forme de fichier ZIP contenant 0 fichiers CSV et un README.





Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.