Grands modèles multimodaux (LMMs) vs LLMs
Nous avons évalué les performances des grands modèles multimodaux (LMMs) dans des tâches de raisonnement financier à l'aide d'un dataset soigneusement sélectionné. En analysant un sous-ensemble d'échantillons financiers de haute qualité, nous évaluons les capacités des modèles à traiter et à raisonner avec des données multimodales dans le domaine financier.
La section méthodologie fournit des informations détaillées sur le dataset et le cadre d'évaluation utilisé.
Explorez les grands modèles multimodaux et comparez-les aux grands modèles de langage.
Pourquoi les modèles ont-ils obtenu des résultats différents ?
La variation des taux de réussite reflète des différences dans la manière dont chaque modèle traite les tâches financières multimodales. Étant donné que le benchmark utilise des échantillons du dataset FinMME, qui nécessitent l'intégration de texte et de visuels financiers tels que des graphiques et des documents structurés, la performance dépend fortement de l'architecture du modèle, de la qualité de l'entraînement et de l'alignement multimodal.
Architecture du modèle et conception des paramètres
Les modèles diffèrent dans la manière dont ils combinent les encodeurs de texte et d'image, le nombre de paramètres actifs et la complexité de leur routage d'experts.
- Llama 4 Maverick, par exemple, utilise une conception plus large basée sur des experts, permettant un raisonnement plus puissant.
- Les modèles plus petits ou axés sur l'efficacité ont moins de paramètres alignés sur le raisonnement multimodal, ce qui limite leurs performances.
Ces distinctions architecturales affectent la capacité de chaque modèle à interpréter les relations numériques, les structures de graphiques et les visuels spécifiques au domaine.
Couverture des données d'entraînement
Certains modèles sont entraînés sur des datasets multimodaux étendus, tandis que d'autres s'appuient principalement sur des données généralistes.
- Les modèles des familles Claude 4 et Qwen 2.5 intègrent des données visuelles et textuelles à grande échelle, améliorant leur capacité à aligner les indices numériques et visuels.
- Les modèles entraînés sur des corpus multimodaux plus limités rencontrent des difficultés avec les graphiques financiers et les diagrammes structurés.
Les données d'entraînement influencent directement la fiabilité avec laquelle un modèle gère les concepts financiers intermodaux.
Fine-tuning pour le raisonnement intermodal
Le benchmark exige une coordination entre l'interprétation d'images et le raisonnement textuel.
- Les modèles Claude 4 sont décrits comme performants sur les tâches impliquant des graphiques et des diagrammes.
- Les modèles sans fine-tuning intermodal dédié peuvent détecter correctement les caractéristiques visuelles mais échouer à les relier au langage ou à la logique financière.
La stratégie de fine-tuning d'un modèle affecte sa capacité à fusionner les signaux textuels et visuels lors de l'analyse.
Capacité de gestion du contexte
Les échantillons financiers contiennent souvent plusieurs éléments qui doivent être lus ensemble, comme des graphiques en plusieurs parties ou des descriptions longues.
- Les modèles dotés de fenêtres de contexte plus larges peuvent conserver les relations à travers des entrées longues.
- Les modèles plus contraints peuvent manquer des dépendances, réduisant la précision dans les tâches qui nécessitent le suivi de plusieurs composants visuels et textuels.
La taille de la fenêtre de contexte influence la capacité d'un modèle à maintenir l'alignement entre les détails quantitatifs et visuels.
Taille du modèle et priorités d'efficacité
Certains modèles sont délibérément conçus pour un déploiement léger plutôt que pour un raisonnement de haute complexité.
- Phi-4 multimodal et les modèles similaires privilégient l'efficacité, limitant la profondeur du traitement multimodal.
- Les modèles plus grands conservent une capacité plus élevée pour les tâches de raisonnement impliquant une compréhension fine des graphiques.
Ce compromis se traduit par des scores plus faibles pour les modèles plus petits.
Différences de compréhension visuelle
L'évaluation inclut des tâches qui exigent une lecture précise des graphiques, l'identification d'objets dans les documents financiers et l'extraction de détails visuels.
- Les modèles dotés de pipelines visuels avancés, tels que les variantes Qwen 2.5-VL, gèrent ces tâches plus efficacement.
- D'autres peuvent bien traiter les images génériques mais obtiennent des résultats incohérents avec les visuels financiers structurés.
La force du raisonnement visuel affecte fortement les résultats sur les échantillons de type FinMME.
Caractéristiques du dataset d'évaluation
Le dataset se concentre sur le raisonnement financier multimodal plutôt que sur des tâches généralistes.
- Les modèles entraînés ou fine-tunés pour des tâches financières, numériques ou basées sur des graphiques obtiennent de meilleurs résultats.
- Les modèles généralistes sans exposition au domaine présentent une précision plus faible sur les datasets financiers.
La spécialisation du dataset rend la performance plus sensible à la qualité du raisonnement intermodal.
Que sont les grands modèles multimodaux open-source ?
LMMs open-source avec leur nombre d'étoiles GitHub :
Le graphique montre que la popularité GitHub de divers LMMs open-source a augmenté, certains modèles connaissant une adoption rapide peu après leur sortie.
La série Janus de DeepSeek a gagné des milliers d'étoiles GitHub en quelques jours après la sortie de Janus-Pro le 27 janvier 2025, dépassant ses concurrents, qui ont mis des mois à atteindre des chiffres similaires. Cette ascension rapide n'est pas seulement due au succès de Janus-Pro, mais aussi influencée par l'élan créé par DeepSeek-R1.
- Gemma 3 par Google : Gemma 3 est une famille de modèles ouverts légers et de pointe dérivés de la technologie Gemini 2.0. Ces modèles offrent des capacités avancées de raisonnement textuel et visuel, une fenêtre de contexte de 128k tokens, la prise en charge des appels de fonction et des versions quantifiées pour des performances optimisées. Il inclut ShieldGemma 2 pour la sécurité des images et prend en charge divers outils et options de déploiement.1
- Janus-Pro par DeepSeek : Janus-Pro est une version avancée du modèle Janus, conçu pour comprendre et générer à la fois du texte et des images. Il dispose d'une stratégie d'entraînement optimisée, de données d'entraînement étendues et d'une taille de modèle plus grande, améliorant ses capacités multimodales.2
- Qwen2.5-VL par Alibaba : Qwen2.5-VL d'Alibaba est une extension multimodale du modèle de langage Qwen2.5, conçu pour la compréhension à la fois du texte et des images. Il bénéficie d'un pré-entraînement à grande échelle (jusqu'à 18T tokens), d'une fenêtre de contexte étendue (jusqu'à 128K tokens), d'un suivi d'instructions amélioré et d'une prise en charge multilingue robuste, ce qui le rend adapté à des tâches telles que le sous-titrage d'images et la réponse à des questions visuelles. 3
- S'appuyant sur la série Qwen2.5-VL, Alibaba a optimisé et publié en open-source Qwen2.5-VL-32B-Instruct, un modèle VL 32B intégrant une compréhension et un raisonnement fins améliorés des images. Cela se traduit par des performances améliorées et une analyse détaillée dans des tâches telles que l'analyse d'images, la reconnaissance de contenu et la déduction logique visuelle.4
- CLIP (Contrastive Language–Image Pretraining) par OpenAI : CLIP est conçu pour comprendre les images dans le contexte du langage naturel. Il peut effectuer des tâches telles que la classification d'images zero-shot, où il peut classer avec précision des images même dans des catégories pour lesquelles il n'a pas été explicitement entraîné, en comprenant les descriptions textuelles.5
- S'appuyant sur la série Qwen2.5-VL, Alibaba a optimisé et publié en open-source Qwen2.5-VL-32B-Instruct, un modèle VL 32B intégrant une compréhension et un raisonnement fins améliorés des images. Cela se traduit par des performances améliorées et une analyse détaillée dans des tâches telles que l'analyse d'images, la reconnaissance de contenu et la déduction logique visuelle.6
- Flamingo par DeepMind : Flamingo est conçu pour tirer parti des forces de la compréhension du langage et de la vision, ce qui le rend capable d'effectuer des tâches nécessitant l'interprétation et l'intégration d'informations provenant à la fois du texte et des images.7
Figure 1 : Un exemple tiré de Chip Huyen8
Quels sont les principaux LMMs ?
Fonctionnalités UI et API des LLMs généralistes
Les fournisseurs sont sélectionnés parmi les LLMs multimodaux les plus populaires en fonction de la comparabilité, de la disponibilité des données et de l'actualité.
LMMs avec leur prix par token :
Pour sélectionner le modèle le plus adapté, tenez compte de facteurs tels que votre budget, les capacités et le niveau de performance requis, ainsi que le volume prévu de tokens d'entrée/sortie nécessaires pour votre cas d'utilisation spécifique.
En savoir plus sur la tarification des LLM.
Quelles sont les dernières avancées en matière de modèles multimodaux ?
Les avancées récentes en matière de modèles multimodaux ont introduit de nouvelles capacités et efficacités dans le développement de l'IA.
Modèles de fondation multimodaux orientés vidéo
Les modèles de fondation multimodaux orientés vidéo vont au-delà de la génération de légendes ou de résumés de haut niveau et apprennent plutôt à localiser explicitement les preuves dans les vidéos.
Plutôt que de dire ce qui se passe, ils peuvent identifier quand cela se passe (horodatages) et où cela se passe (boîtes englobantes autour des objets ou des régions).
Ce passage vers un ancrage spatio-temporel rend la compréhension vidéo plus précise et vérifiable. Il permet également des tâches telles que la recherche de moments précis, le suivi d'objets dans le temps, l'édition de vidéos en langage naturel et le soutien à la robotique et aux systèmes critiques pour la sécurité.
Par exemple, Vidi9 est un projet open-source de ByteDance axé sur les grands modèles multimodaux pour la compréhension et l'édition vidéo.
Le dépôt héberge le code et les ressources d'une famille de modèles (par ex., Vidi-7B, Vidi1.5-9B, Vidi2 et Vidi2.5) qui prennent la vision, l'audio et le texte comme entrées pour effectuer des tâches telles que :
- Récupération temporelle (trouver les segments temporels dans une vidéo correspondant à une requête textuelle)
- Ancrage spatio-temporel (localiser des objets dans le temps avec des boîtes englobantes)
- Réponse à des questions vidéo
Sortie frontière multimodale Mistral 3
Mistral AI a développé une nouvelle famille de modèles d'IA open-source appelée Mistral 3. La suite Mistral 3 comprend à la fois des modèles frontières multimodaux/multilingues et des modèles plus petits et efficaces conçus pour fonctionner sur une gamme d'appareils, du cloud à la périphérie, et même sur un seul GPU.
Publiés sous une licence open-source permissive (Apache 2.0), ces modèles visent à démocratiser l'accès à l'IA avancée, à permettre la personnalisation et la flexibilité de déploiement, et à renforcer la position de l'Europe dans le développement de l'IA, où l'on craint un retard par rapport aux États-Unis et à la Chine dans les technologies de pointe.10
Modèles vision-langage MoE open-source
Kimi-VL (de Moonshot AI) est un modèle vision-langage multimodal open-source construit avec une architecture Mixture-of-Experts (MoE), performant sur des tâches combinant texte, images et vidéo tout en maintenant l'efficacité computationnelle.
Il possède un backbone de 16 B de paramètres totaux mais n'active généralement qu'environ 2,8 B de paramètres pendant l'inférence, ce qui aide à équilibrer la capacité avec le coût.
Kimi-VL est conçu pour le raisonnement multimodal avancé, la compréhension de contexte long (jusqu'à environ 128 K tokens) et les interactions de type agent, et il rivalise bien avec les modèles plus grands sur des benchmarks tels que la compréhension vidéo, la reconnaissance optique de caractères (OCR), le raisonnement mathématique et les tâches multi-images.
Des variantes telles que Kimi-VL-A3B-Thinking sont davantage fine-tunées pour les tâches de chaîne de pensée et de raisonnement, tandis que l'encodeur visuel MoonViT prend en charge la compréhension d'entrées haute résolution.
Figure 2 : Conception de l'architecture Kimi-VL.11
Série Claude 4 d'Anthropic
La série Claude 4 d'Anthropic intègre une compréhension visuelle avancée à son moteur de raisonnement textuel, en intégrant la vision directement dans les flux de travail de résolution de problèmes.
Les modèles Claude 4 démontrent de solides performances sur les benchmarks de raisonnement multimodal tels que MMMU, en particulier dans l'interprétation de graphiques, de diagrammes et de données visuelles complexes. Une caractéristique distinctive de Claude Opus 4.1 est sa capacité à évaluer les qualités esthétiques des images, allant au-delà de la reconnaissance pour des évaluations plus nuancées.
Ces capacités, combinées aux fonctions agentiques de Claude, rendent la série efficace pour des tâches telles que la synthèse de recherches à partir de rapports contenant du texte et des visuels mixtes ou l'assistance à la conception d'interfaces par l'analyse de maquettes visuelles.
Gemini 3 de Google
Google a publié Gemini 3 en novembre 2025, avec Gemini 3 Pro disponible immédiatement et le mode Gemini 3 Deep Think déployé peu après pour les abonnés Google AI Ultra. Gemini 3 est présenté par Google comme son modèle multimodal le plus intelligent et le plus performant, avec une prise en charge native du texte, des images, de la vidéo, de l'audio et du code au sein d'une architecture unique.
Gemini 3 Pro est livré avec une fenêtre de contexte de 1 million de tokens et obtient des résultats solides sur les benchmarks multimodaux, y compris 81 % sur MMMU-Pro et 87,6 % sur Video-MMMU. Il a dominé le classement LMArena à sa sortie avec un score de 1501 Elo, et a obtenu 91,9 % sur GPQA Diamond pour le raisonnement de niveau universitaire et 76,2 % sur SWE-bench Verified pour les tâches de codage agentique.
Gemini 3 Deep Think est un mode de raisonnement amélioré qui améliore encore les performances sur les tâches les plus exigeantes, avec un score de 41,0 % sur Humanity's Last Exam (sans outils) et 45,1 % sur ARC-AGI-2. Parallèlement à Gemini 3, Google a également publié Google Antigravity, une plateforme de développement agentique qui associe Gemini 3 au modèle Gemini 2.5 Computer Use pour le contrôle du navigateur et au modèle d'édition d'images Nano Banana, permettant des flux de travail de développement logiciel de bout en bout dans lesquels le modèle peut planifier, coder et valider des tâches de manière autonome.12
GPT-5 par OpenAI
GPT-5 introduit une multimodalité native améliorée à travers le texte, la voix, l'image et la vidéo. Contrairement aux systèmes précédents qui s'appuyaient fortement sur des plugins, GPT-5 intègre ces modalités au sein d'une architecture unifiée, ce qui se traduit par une interaction plus fluide. Le modèle s'adapte de manière flexible à divers types d'entrées et peut passer de l'un à l'autre.
Une fonctionnalité notable est son mode vocal en temps réel, qui peut ajuster le ton, le rythme et le style selon les instructions de l'utilisateur. Cela crée une expérience conversationnelle plus naturelle et adaptative. Le traitement visuel s'est également amélioré, réduisant les hallucinations lors de l'interprétation ou de la génération d'images, de diagrammes et de graphiques. Une autre avancée réside dans ses capacités de mémoire, qui permettent au système de se souvenir des entrées antérieures et de maintenir le contexte sur des interactions prolongées.
Ces améliorations rendent GPT-5 particulièrement précieux pour les interfaces multimodales accessibles, en particulier pour les personnes ayant des déficiences sensorielles.
Modèles multimodaux axés sur la robotique de Google DeepMind
Google DeepMind a développé Gemini Robotics et Gemini Robotics-ER, des modèles conçus pour intégrer la vision, le langage et l'action dans les systèmes robotiques. Ces modèles permettent aux robots d'effectuer des tâches dans des environnements non structurés, comme plier du papier ou dévisser des bouchons de bouteille.
Une caractéristique clé de ces modèles est leur mécanisme de sécurité. Avant d'exécuter des actions, le système effectue des vérifications intégrées pour minimiser les risques et garantir la gestion appropriée des tâches. Cette approche répond à l'un des défis majeurs de la robotique : faire le pont entre le raisonnement avancé de l'IA et une exécution sûre et fiable dans le monde réel.
Llama 4 Scout et Llama 4 Maverick par Meta AI
Llama 4 Scout est un modèle multimodal avec 17 milliards de paramètres actifs et 16 experts. Ce modèle surpasse les modèles Llama de la génération précédente et est conçu pour fonctionner sur un seul GPU H100. Il dispose d'une fenêtre de contexte de 10 millions de tokens pour traiter de grandes quantités d'informations. Les résultats des benchmarks indiquent que Llama 4 Scout obtient de meilleurs résultats que Gemma 3, Gemini 2.0 Flash-Lite et Mistral 3.1 sur une gamme de benchmarks largement rapportés.
Llama 4 Maverick est un modèle multimodal avec 17 milliards de paramètres actifs et 128 experts. Ce modèle est présenté comme un leader de sa catégorie, surpassant GPT-4o et Gemini 2.0 Flash sur une gamme de benchmarks. Il atteint des performances comparables à DeepSeek v3 en raisonnement et en codage, tout en utilisant moins de paramètres actifs. Une version de chat expérimentale de Llama 4 Maverick a obtenu un score ELO de 1417 sur la plateforme LMArena.
Génération d'images 4o par OpenAI
Le dernier modèle de génération d'images d'OpenAI, intégré dans GPT-4o, fusionne la création textuelle et visuelle dans un système unifié. Cette capacité multimodale permet à GPT-4 de générer des images tout en s'appuyant sur ses connaissances textuelles et le contexte de la conversation, créant une interaction entre le langage et les visuels.
Grâce à la génération multi-tour, les utilisateurs peuvent affiner les images de manière conversationnelle, comme le montrent les figures ci-dessous. Le modèle s'appuie sur les entrées textuelles antérieures et les images téléchargées pour maintenir la cohérence. En analysant les visuels fournis par l'utilisateur et en apprenant en contexte, GPT-4o s'adapte à des détails spécifiques, améliorant sa capacité à produire des images contextuellement pertinentes.
Figure 3 : Prompting de la création d'un dessin en utilisant des références et en donnant des instructions sur les caractéristiques textuelles de l'image.
Figure 4 : Prompting de la création d'une photo à partir du dessin et son placement dans une scène.13
Qwen3-VL par Alibaba
La série Qwen3-VL d'Alibaba, publiée à partir de septembre 2025, s'appuie sur le modèle de langage Qwen3 en ajoutant des capacités de perception visuelle et de raisonnement plus approfondies. La famille comprend des variantes denses de 2B à 32B paramètres et des variantes Mixture-of-Experts jusqu'à 235B paramètres totaux (22B actifs), toutes publiées sous licence Apache 2.0.
Les fonctionnalités clés incluent une fenêtre de contexte native de 256K (extensible à 1 million de tokens), une OCR multilingue étendue dans 32 langues, un ancrage d'objets 2D et 3D pour le raisonnement spatial et l'IA incarnée, une compréhension vidéo de plusieurs heures avec indexation à la seconde près, et des capacités d'agent visuel pour le contrôle d'interface graphique.
Les variantes Thinking sont ajustées pour le raisonnement STEM et multimodal, tandis que les variantes Instruct ciblent les tâches générales de vision-langage telles que l'analyse de documents, l'extraction de graphiques et la réponse à des questions visuelles.
Gemma 3 par Google
Gemma 3 de Google s'appuie sur la technologie de leurs modèles Gemini 2.0. Il est disponible en quatre tailles (1B, 4B, 12B et 27B) pour différentes exigences matérielles et offre une fenêtre de contexte de 128k tokens. Gemma 3 est performant sur des configurations à accélérateur unique et inclut le raisonnement textuel et visuel, l'appel de fonction et la prise en charge de plus de 35 langues, avec un pré-entraînement pour plus de 140. Les versions quantifiées réduisent la taille du modèle et les besoins de calcul. Le système ShieldGemma 2 fournit une classification de sécurité du contenu.
Phi-4-multimodal par Microsoft
Phi-4-multimodal de Microsoft est un modèle de 5,6B paramètres qui traite la parole, la vision et le texte dans une architecture unifiée. Il utilise l'apprentissage intermodal pour des interactions contextuelles entre différents types d'entrées. Le modèle gère plusieurs formats d'entrée sans nécessiter de systèmes de traitement séparés et est conçu pour le déploiement sur appareil et l'informatique en périphérie. Les applications incluent l'IA sur smartphone, les systèmes automobiles et les services multilingues.
Qu'est-ce qu'un grand modèle multimodal (LMM) ?
Un grand modèle multimodal est un type avancé de modèle d'intelligence artificielle qui peut traiter et comprendre plusieurs types de modalités de données. Ces données multimodales peuvent inclure du texte, des images, de l'audio, de la vidéo et potentiellement d'autres. La caractéristique clé d'un modèle multimodal est sa capacité à intégrer et à interpréter des informations provenant de ces différentes sources de données, souvent simultanément.
On peut les comprendre comme des versions plus avancées des grands modèles de langage (LLMs) qui peuvent travailler avec du texte mais aussi avec divers types de données. De plus, les sorties des modèles de langage multimodaux sont conçues pour être non seulement textuelles mais aussi visuelles, auditives, etc.
Les modèles de langage multimodaux sont considérés comme la prochaine étape vers la réalisation de l'intelligence artificielle générale.
Qu'est-ce qu'un agent IA multimodal ?
Les agents IA multimodaux sont des systèmes conçus pour interagir avec le monde en utilisant divers types de données, y compris des images, des vidéos et du texte, leur permettant d'opérer à la fois dans des environnements numériques et physiques. Les modèles multimodaux sont le composant central de ces agents, leur permettant de percevoir et de comprendre des informations provenant de sources diverses.
Par exemple, des modèles comme Magma utilisent la compréhension vision-langage et l'intelligence spatiale, obtenues grâce à des techniques telles que Set-of-Mark et Trace-of-Mark pendant le pré-entraînement sur des datasets multimodaux.
Cela permet à l'agent d'effectuer des tâches allant de la compréhension de contenu vidéo et de la réponse à des questions à la navigation dans des interfaces utilisateur et au contrôle de robots, démontrant les capacités polyvalentes que les modèles multimodaux apportent aux agents IA en exploitant différentes modalités de données. L'illustration ci-dessous montre Magma planifiant des trajectoires de robot pour accomplir des tâches, mettant en valeur son intelligence spatiale en action.14
Quelle est la différence entre les LMMs et les LLMs ?
1. Modalités de données
- LMMs : Ils sont conçus pour comprendre et traiter plusieurs types d'entrées de données, ou modalités. Cela inclut le texte, les images, l'audio, la vidéo et parfois d'autres types de données comme les données sensorielles. La capacité clé des LMMs est leur aptitude à intégrer et à donner du sens à ces différents formats de données, souvent simultanément.
- LLMs : Ces modèles sont spécialisés dans le traitement et la génération de données textuelles. Ils sont entraînés principalement sur de grands corpus de texte et sont experts dans la compréhension et la génération du langage humain dans divers contextes. Ils ne traitent pas intrinsèquement les données non textuelles comme les images ou l'audio.
2. Applications et tâches
- LMMs : En raison de leur nature multimodale, ces modèles peuvent être appliqués à des tâches qui nécessitent de comprendre et d'intégrer des informations à travers différents types de données. Par exemple, un LMM pourrait analyser un article de presse (texte), ses photographies d'accompagnement (images) et des clips vidéo connexes pour obtenir une compréhension complète.
- LLMs : Leurs applications sont centrées sur des tâches impliquant du texte, telles que la rédaction d'articles, la traduction de langues, la réponse à des questions, le résumé de documents et la création de contenu textuel.
Ajouter comme source préféréeQuelles sont les modalités de données des grands modèles multimodaux ?
Texte
Cela inclut toute forme de contenu écrit, comme les livres, les articles, les pages web et les publications sur les réseaux sociaux. Le modèle peut comprendre, interpréter et générer du contenu textuel, y compris des tâches de traitement du langage naturel telles que la traduction, le résumé et la réponse à des questions.
Images
Ces modèles peuvent analyser et générer des données visuelles. Cela inclut la compréhension du contenu et du contexte des photographies, illustrations et autres représentations graphiques. Des tâches telles que la classification d'images, la détection d'objets et la génération d'images à partir de descriptions textuelles relèvent de cette catégorie.
Audio
Cela englobe les enregistrements sonores, la musique et le langage parlé. Les modèles peuvent être entraînés à reconnaître la parole, la musique, les sons ambiants et d'autres entrées auditives. Ils peuvent transcrire la parole, comprendre des commandes vocales et même générer de la parole ou de la musique synthétique.
Vidéo
Combinant à la fois des éléments visuels et auditifs, le traitement vidéo implique la compréhension d'images en mouvement et de leurs sons associés. Cela peut inclure l'analyse du contenu vidéo, la reconnaissance d'actions ou d'événements dans les vidéos et la génération de clips vidéo.
Bien que la plupart des grands modèles de langage multimodaux actuels ne puissent traiter que le texte et les images, les recherches futures visent à inclure des entrées de données audio et vidéo.
Comment les grands modèles multimodaux sont-ils entraînés ?
L'entraînement des grands modèles multimodaux (LMMs) diffère considérablement de celui des grands modèles de langage (LLMs) sur plusieurs aspects clés :
1. Collecte et préparation des données
- LLMs : Se concentrent sur les données textuelles provenant de livres, de sites web et de sources écrites, en mettant l'accent sur la diversité linguistique pour les sources de données d'entraînement des LLM.
- LMMs : Nécessitent des données textuelles, d'images, audio et vidéo. La collecte est plus complexe en raison des formats variés. L'annotation et l'alignement des données entre les modalités sont essentiels.
2. Conception de l'architecture du modèle
- LLMs : Utilisent des architectures transformer optimisées pour le traitement séquentiel du texte.
- LMMs : Emploient des architectures plus complexes qui intègrent plusieurs types de réseaux de neurones (CNN pour les images, transformers pour le texte) avec des mécanismes pour connecter ces modalités.
3. Pré-entraînement
- LLMs : Pré-entraînés sur des corpus de texte en utilisant des techniques comme la modélisation de langage masqué.
- LMMs : Pré-entraînés sur plusieurs types de données, apprenant à corréler le texte avec les images ou à comprendre des séquences vidéo.
4. Fine-tuning
- LLMs : Fine-tunés sur des datasets textuels spécialisés pour des tâches spécifiques.
- LMMs : Nécessitent un fine-tuning à la fois sur des datasets spécifiques aux modalités et des datasets intermodaux pour établir des relations entre différents types de données.
5. Évaluation et itération
- LLMs : Les métriques d'évaluation se concentrent sur les tâches de compréhension et de génération de langage, y compris la fluidité, la cohérence et la pertinence.
- LMMs : Évalués sur des métriques plus larges couvrant la reconnaissance d'images, le traitement audio et les capacités d'intégration intermodale.
Comment fonctionnent les LMMs ?
Les grands modèles multimodaux partagent des similitudes avec les grands modèles de langage dans leur processus d'entraînement, leur conception et leur fonctionnement. Ils utilisent la même architecture transformer et les mêmes stratégies d'entraînement. Les grands modèles multimodaux sont entraînés sur :
- Des données textuelles
- Des millions ou des milliards d'images avec des descriptions textuelles
- Des clips vidéo
- Des extraits audio
- D'autres données d'entrée, comme le code
Cet entraînement implique l'apprentissage simultané de multiples modalités de données, permettant au modèle de :
- Reconnaître une photo de chat
- Identifier un mot dans un extrait audio
- Comprendre des concepts et des détails sensoriels au-delà du texte
De cette façon, les utilisateurs peuvent télécharger :
- Une image pour :
- Obtenir une description de ce qui se passe
- Utiliser l'image comme partie d'un prompt pour générer du texte ou des images
- Poser des questions de suivi sur des éléments spécifiques de l'image
- Traduire le texte de l'image dans une autre langue (par ex., un menu)
Figure 5 : Téléchargement d'une image de chat sur ChatGPT pour la décrire.
- Des graphiques pour :
- Poser des questions de suivi complexes sur ce qu'ils montrent
- Une maquette de conception pour :
- Obtenir le code HTML et CSS nécessaire pour la créer.
Figure 6 : Prompting de l'image dans le style des films de Wes Anderson. ChatGPT transmet le prompt à un modèle de génération d'images (comme DALL·E), qui interprète la demande et produit l'image stylisée.
Après le processus d'entraînement, les modèles peuvent intégrer des stéréotypes malsains et des idées toxiques. Pour les affiner, des techniques comme :
- L'apprentissage par renforcement avec retour humain (RLHF)
- Des modèles d'IA de supervision
- Le red teaming (test de la robustesse du modèle) peuvent être utilisées.
De plus, les outils de gouvernance de l'IA et les outils d'IA responsable, qui fonctionnent comme des solutions de conformité IA, peuvent également permettre l'optimisation de l'inventaire IA, aidant à prévenir les biais de l'IA et autres dilemmes éthiques. Voici un exemple de la façon dont ces outils abordent les préoccupations liées aux droits d'auteur de l'IA générative :
Figure 7 : ChatGPT rejette ma demande en raison des directives de la politique de contenu pour protéger les droits d'auteur.
L'objectif est de développer un système multimodal fonctionnel capable de gérer :
- La synthèse texte-image
- Le sous-titrage d'images
- La récupération d'images basée sur le texte
- La réponse à des questions visuelles.
De cette manière, l'IA multimodale peut intégrer diverses modalités, offrant des capacités avancées pour des tâches impliquant à la fois le langage et la vision.
Quelles sont les limites des grands modèles de langage ?
- Exigences en matière de données et biais : Ces modèles nécessitent des datasets massifs et diversifiés pour l'entraînement. Cependant, la disponibilité et la qualité de ces datasets peuvent constituer un défi. De plus, si les données d'entraînement contiennent des biais, le modèle est susceptible d'hériter et éventuellement d'amplifier ces biais, conduisant à des résultats injustes ou contraires à l'éthique.
- Ressources computationnelles : L'entraînement et l'exécution de grands modèles multimodaux nécessitent des ressources computationnelles importantes, ce qui les rend coûteux et moins accessibles pour les petites organisations ou les chercheurs indépendants.
- Interprétabilité et explicabilité : Comme pour les modèles d'IA complexes, comprendre comment ils prennent des décisions peut être difficile. Ce manque de transparence peut être un problème critique, en particulier dans les applications sensibles comme la santé ou l'application de la loi.
- Intégration des modalités : Intégrer efficacement différents types de données (comme le texte, les images et l'audio) de manière à vraiment comprendre les nuances de chaque modalité est extrêmement difficile. Le modèle peut ne pas toujours saisir avec précision le contexte ou les subtilités de la communication humaine qui découlent de la combinaison de ces modalités.
- Généralisation et surapprentissage : Bien que ces modèles soient entraînés sur de vastes datasets, ils peuvent avoir du mal à généraliser à de nouvelles données ou à des scénarios inédits qui diffèrent considérablement de leurs données d'entraînement. Inversement, ils peuvent surapprendre les données d'entraînement, capturant le bruit et les anomalies comme des motifs.
Pour en savoir plus, explorez les défis et risques associés aux modèles génératifs et de langage.
Méthodologie de benchmark pour les LMMs
Nous avons évalué les performances des grands modèles multimodaux (LMMs) en utilisant un sous-ensemble du dataset FinMME15 , un benchmark complet conçu pour évaluer les capacités de raisonnement multimodal financier. FinMME comprend plus de 11 000 échantillons financiers de haute qualité couvrant 18 domaines financiers et 6 classes d'actifs, offrant un cadre robuste pour évaluer les LMMs dans le domaine financier.
Pour ce benchmarking, nous avons utilisé une sélection organisée de 100 échantillons du dataset FinMME pour analyser la capacité des modèles à traiter et à raisonner avec des données financières multimodales.
Avertissement
Cette évaluation a utilisé un sous-ensemble organisé de 100 échantillons provenant d'un dataset plus large pour benchmarker les LMMs. Pour une évaluation complète des performances des modèles, tous les échantillons du dataset de benchmark complet doivent être pris en compte.
Conclusion
Les grands modèles multimodaux (LMMs) intègrent divers types de données, tels que le texte, les images, l'audio et la vidéo, dépassant ainsi les capacités uniquement textuelles des grands modèles de langage (LLMs). Avec des avancées comme Llama 4 de Meta AI, GPT-4o d'OpenAI et Qwen2.5-VL d'Alibaba, les LMMs permettent des applications plus riches, du raisonnement visuel à la génération d'images contextuellement pertinente.
Cependant, leur complexité, leurs exigences computationnelles élevées et les défis liés à l'intégration des données et à l'atténuation des biais restent des obstacles. À mesure que les LMMs évoluent, ils ouvrent la voie à des agents IA plus polyvalents, nous rapprochant de l'intelligence artificielle générale. Pour les organisations et les chercheurs, choisir le bon modèle implique de trouver un équilibre entre performance, coût et besoins spécifiques du cas d'utilisation.
Citez ce benchmark
Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.
@misc{dilmegani2026,
author = {Dilmegani, Cem},
title = {{Grands modèles multimodaux (LMMs) vs LLMs}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/large-multimodal-models}},
note = {AIMultiple. Consulté le 22 Mai 2026}
}Liens de référence
Soyez le premier à commenter
Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.