Grands modèles multimodaux (LMM) vs LLMs

Nous avons évalué les performances des grands modèles multimodaux (LMM) dans des tâches de raisonnement financier en utilisant un jeu de données soigneusement sélectionné. En analysant un sous-ensemble d’échantillons financiers de haute qualité, nous évaluons les capacités des modèles à traiter et à raisonner avec des données multimodales dans le domaine financier.

La section méthodologie fournit des informations détaillées sur le jeu de données et le cadre d’évaluation employé.

Explorez les grands modèles multimodaux et comparez-les aux grands modèles de langage.

Pourquoi les modèles ont-ils obtenu des performances différentes ?

La variation des taux de réussite reflète des différences dans la manière dont chaque modèle traite les tâches financières multimodales. Étant donné que le benchmark utilise des échantillons du jeu de données FinMME, qui nécessitent d’intégrer du texte et des visuels financiers tels que des graphiques et des documents structurés, la performance dépend fortement de l’architecture du modèle, de la qualité de son entraînement et de son alignement multimodal.

Architecture du modèle et conception des paramètres

Les modèles diffèrent dans la manière dont ils combinent les encodeurs de texte et d’image, le nombre de paramètres actifs et la complexité de leur routage d’experts.

• Llama 4 Maverick, par exemple, utilise une conception plus large basée sur des experts, permettant un raisonnement plus robuste.
• Les modèles plus petits ou axés sur l’efficacité ont moins de paramètres alignés sur le raisonnement multimodal, ce qui limite leurs performances.

Ces distinctions architecturales affectent la capacité de chaque modèle à interpréter les relations numériques, les structures de graphiques et les visuels spécifiques au domaine.

Couverture des données d’entraînement

Certains modèles sont entraînés sur de vastes jeux de données multimodaux, tandis que d’autres s’appuient principalement sur des données généralistes.

• Les modèles des familles Claude 4 et Qwen 2.5 intègrent des données visuelles et textuelles à grande échelle, améliorant leur capacité à aligner les indices numériques et visuels.
• Les modèles entraînés sur des corpus multimodaux plus limités ont du mal avec les graphiques financiers et les diagrammes structurés.

Les données d’entraînement influencent directement la fiabilité avec laquelle un modèle traite les concepts financiers intermodaux.

Fine-tuning pour le raisonnement intermodal

Le benchmark exige une coordination entre l’interprétation d’images et le raisonnement textuel.

• Les modèles Claude 4 sont décrits comme performants sur les tâches impliquant des graphiques et des diagrammes.
• Les modèles sans fine-tuning intermodal dédié peuvent détecter correctement les caractéristiques visuelles, mais échouent lorsqu’il s’agit de les relier au langage ou à la logique financière.

La stratégie de fine-tuning d’un modèle affecte sa capacité à fusionner les signaux textuels et visuels pendant l’analyse.

Capacité de gestion du contexte

Les échantillons financiers contiennent souvent plusieurs éléments qui doivent être lus ensemble, comme des graphiques en plusieurs parties ou de longues descriptions.

• Les modèles dotés de fenêtres de contexte plus larges peuvent conserver les relations sur de longues entrées.
• Les modèles plus contraints peuvent manquer des dépendances, ce qui réduit la précision dans les tâches nécessitant le suivi de plusieurs composants visuels et textuels.

La taille de la fenêtre de contexte influence la capacité d’un modèle à maintenir l’alignement entre les détails quantitatifs et visuels.

Taille du modèle et priorités d’efficacité

Certains modèles sont délibérément conçus pour un déploiement léger plutôt que pour un raisonnement de haute complexité.

• Les modèles multimodaux Phi-4 et les modèles similaires privilégient l’efficacité, ce qui limite la profondeur du traitement multimodal.
• Les modèles plus grands maintiennent une capacité plus élevée pour les tâches de raisonnement qui nécessitent une compréhension fine des graphiques.

Ce compromis se traduit par des scores plus faibles pour les petits modèles.

Différences dans la compréhension visuelle

L’évaluation comprend des tâches qui exigent une lecture précise des graphiques, l’identification d’objets dans des documents financiers et l’extraction de détails visuels.

• Les modèles dotés de pipelines visuels avancés, comme les variantes Qwen 2.5-VL, gèrent ces tâches plus efficacement.
• D’autres peuvent traiter correctement des images génériques, mais obtiennent des résultats irréguliers avec des visuels financiers structurés.

La force du raisonnement visuel affecte fortement les résultats sur les échantillons de type FinMME.

Caractéristiques du jeu de données d’évaluation

Le jeu de données se concentre sur le raisonnement financier multimodal plutôt que sur des tâches généralistes.

• Les modèles entraînés ou fine-tunés pour des tâches financières, numériques ou liées à des graphiques obtiennent de meilleurs résultats.
• Les modèles généralistes sans exposition au domaine présentent une précision plus faible sur les jeux de données financiers.

La spécialisation du jeu de données rend la performance plus sensible à la qualité du raisonnement intermodal.

Que sont les grands modèles multimodaux open source ?

Modèles LMM open source et leur nombre d’étoiles GitHub :

Le graphique montre que la popularité sur GitHub de divers LMM open source a augmenté, certains modèles étant adoptés rapidement peu après leur sortie.

La série Janus de DeepSeek a gagné des milliers d’étoiles GitHub en quelques jours après la sortie de Janus-Pro le 27 janvier 2025, dépassant ses concurrents, qui ont mis des mois à atteindre des chiffres similaires. Cette ascension rapide est due au succès de Janus-Pro et a été influencée par l’élan créé par DeepSeek-R1.

1. Gemma 3 par Google : Gemma 3 est une famille de modèles ouverts légers et de pointe dérivés de la technologie Gemini 2.0. Ces modèles offrent des capacités avancées de raisonnement textuel et visuel, une fenêtre de contexte de 128k tokens, la prise en charge des appels de fonctions et des versions quantifiées pour des performances optimisées. Ils incluent ShieldGemma 2 pour la sécurité des images et prennent en charge divers outils et options de déploiement.¹
2. Janus-Pro par DeepSeek : Janus-Pro est une version avancée du modèle Janus, conçue pour comprendre et générer à la fois du texte et des images. Il présente une stratégie d’entraînement optimisée, des données d’entraînement étendues et une taille de modèle plus grande, ce qui améliore ses capacités multimodales.²
3. Qwen2.5-VL par Alibaba : Qwen2.5-VL d’Alibaba est une extension multimodale du modèle de langage Qwen2.5, conçu pour la compréhension du texte et des images. Il se distingue par un pré-entraînement à grande échelle (jusqu’à 18T tokens), une fenêtre de contexte étendue (jusqu’à 128K tokens), un suivi d’instructions amélioré et une prise en charge multilingue robuste, ce qui le rend adapté à des tâches telles que le sous-titrage d’images et la réponse à des questions visuelles. ³
   • En s’appuyant sur la série Qwen2.5-VL, Alibaba a optimisé et ouvert en open source Qwen2.5-VL-32B-Instruct, un modèle VL de 32B intégrant une compréhension fine des images et un raisonnement améliorés. Cela se traduit par des performances améliorées et une analyse détaillée dans des tâches telles que l’analyse d’images, la reconnaissance de contenu et la déduction logique visuelle.⁴
4. CLIP (Contrastive Language–Image Pretraining) par OpenAI : CLIP est conçu pour comprendre les images dans le contexte du langage naturel. Il peut effectuer des tâches telles que la classification d’images zero-shot, où il peut classer avec précision des images même dans des catégories pour lesquelles il n’a pas été explicitement entraîné, en comprenant les descriptions textuelles.⁵
   • En s’appuyant sur la série Qwen2.5-VL, Alibaba a optimisé et ouvert en open source Qwen2.5-VL-32B-Instruct, un modèle VL de 32B intégrant une compréhension fine des images et un raisonnement améliorés. Cela se traduit par des performances améliorées et une analyse détaillée dans des tâches telles que l’analyse d’images, la reconnaissance de contenu et la déduction logique visuelle.⁴
5. Flamingo par DeepMind : Flamingo est conçu pour tirer parti des atouts de la compréhension du langage et de la vision, ce qui le rend capable d’effectuer des tâches nécessitant l’interprétation et l’intégration d’informations provenant à la fois du texte et des images.⁶

Figure 1 : Un exemple tiré de Chip Huyen⁷

Quels sont les principaux LMM ?

Fonctionnalités d’interface utilisateur et d’API des LLM généralistes

Les fournisseurs sont sélectionnés parmi les LLM multimodaux les plus populaires en fonction de la comparabilité, de la disponibilité des données et de l’actualité.

Les LMM et leur prix par token :

Pour sélectionner le modèle plus adapté, tenez compte de facteurs tels que votre budget, les capacités et le niveau de performance requis, ainsi que le volume attendu de tokens d’entrée/sortie nécessaires pour votre cas d’utilisation spécifique.

En savoir plus sur la tarification des LLM.

Quelles sont les dernières avancées en matière de modèles multimodaux ?

Les avancées récentes dans les modèles multimodaux ont introduit de nouvelles capacités et efficacités dans le développement de l’IA.

Modèles de fondation multimodaux axés sur la vidéo

Les modèles de fondation multimodaux axés sur la vidéo vont au-delà de la génération de légendes ou de résumés de haut niveau ; ils apprennent désormais à localiser explicitement des preuves à l’intérieur des vidéos.

Plutôt que de dire ce qui se passe, ils peuvent identifier quand cela se produit (horodatages) et où cela se produit (boîtes englobantes autour d’objets ou de régions).

Cette évolution vers un ancrage spatio-temporel rend la compréhension vidéo plus précise et vérifiable. Elle permet également des tâches telles que la recherche de moments exacts, le suivi d’objets, le montage vidéo en langage naturel, ainsi que le soutien à la robotique et aux systèmes critiques pour la sécurité.

Par exemple, Vidi⁸ est un projet open source de ByteDance axé sur les grands modèles multimodaux pour la compréhension et le montage vidéo.

Le dépôt héberge le code et les ressources d’une famille de modèles (par exemple, Vidi-7B, Vidi1.5-9B, Vidi2 et Vidi2.5) qui prennent la vision, l’audio et le texte comme entrées pour effectuer des tâches telles que :

• Récupération temporelle (trouver les segments temporels d’une vidéo correspondant à une requête textuelle)
• Ancrage spatio-temporel (localiser des objets avec des boîtes englobantes)
• Réponse à des questions vidéo

Sortie multimodale de pointe Mistral 3

Mistral IA a développé une nouvelle famille de modèles d’IA open source appelés Mistral 3. La suite Mistral 3 comprend à la fois des modèles multimodaux/multilingues de pointe et des modèles plus petits et efficaces conçus pour fonctionner sur une gamme d’appareils, du cloud à la périphérie, et même sur des GPU uniques.

Publiés sous une licence open source permissive (Apache 2.0), ces modèles visent à démocratiser l’accès à l’IA avancée, à permettre la personnalisation et la flexibilité de déploiement, et à renforcer la position de l’Europe dans le développement de l’IA, alors qu’il existe des préoccupations concernant un retard par rapport aux États-Unis et à la Chine dans les technologies de pointe.⁹

Modèles vision-langage MoE open source

Kimi-VL (de Moonshot IA) est un modèle vision-langage multimodal open source construit avec une architecture Mixture-of-Experts (MoE), qui effectue des tâches combinant texte, images et vidéo tout en maintenant une efficacité de calcul.

Il dispose d’un backbone de 16 B de paramètres totaux, mais active généralement environ 2,8 B de paramètres pendant l’inférence, ce qui permet d’équilibrer capacité et coût.

Kimi-VL est conçu pour le raisonnement multimodal avancé, la compréhension de longs contextes (jusqu’à environ 128 K tokens) et les interactions de type agent, et il rivalise bien avec des modèles plus grands sur des benchmarks tels que la compréhension vidéo, la reconnaissance optique de caractères (OCR), le raisonnement mathématique et les tâches multi-images.

Des variantes telles que Kimi-VL-A3B-Thinking sont en outre fine-tunées pour les tâches de chaîne de pensée et de raisonnement, tandis que l’encodeur visuel MoonViT prend en charge la compréhension d’entrées haute résolution.

Figure 2 : Conception de l’architecture Kimi-VL.¹⁰

Série Claude 4 d’Anthropic

La série Claude 4 d’Anthropic intègre une compréhension visuelle avancée à son moteur de raisonnement textuel, en intégrant directement la vision dans les flux de travail de résolution de problèmes.

Les modèles Claude 4 affichent de solides performances sur des benchmarks de raisonnement multimodal tels que MMMU, notamment pour l’interprétation de graphiques, de diagrammes et de données visuelles complexes. Une caractéristique distinctive de Claude Opus 4.1 est sa capacité à évaluer les qualités esthétiques des images, allant au-delà de la reconnaissance pour des évaluations plus nuancées.

Ces capacités, combinées aux fonctions agentiques de Claude, rendent la série efficace pour des tâches telles que la synthèse de recherches à partir de rapports mêlant texte et visuels, ou l’assistance à la conception d’interfaces par l’analyse de maquettes visuelles.

Le Gemini 3 de Google

Google a lancé Gemini 3 en novembre 2025, avec Gemini 3 Pro disponible immédiatement et le mode Gemini 3 Deep Think déployé peu après auprès des abonnés Google IA Ultra. Gemini 3 est positionné par Google comme son modèle multimodal le plus intelligent et le plus performant, avec une prise en charge native du texte, des images, de la vidéo, de l’audio et du code au sein d’une architecture unique.

Gemini 3 Pro est livré avec une fenêtre de contexte d’un million de tokens et obtient de solides résultats sur les benchmarks multimodaux, notamment 81 % sur MMMU-Pro et 87,6 % sur Video-MMMU. Il a dominé le classement LMArena lors de sa sortie avec un score de 1501 Elo, et a obtenu 91,9 % sur GPQA Diamond pour le raisonnement de niveau supérieur et 76,2 % sur SWE-bench Verified pour les tâches de codage agentique.

Gemini 3 Deep Think est un mode de raisonnement amélioré qui augmente encore les performances sur les tâches les plus exigeantes, obtenant 41,0 % sur Humanity’s Last Exam (sans outils) et 45,1 % sur ARC-AGI-2. Parallèlement à Gemini 3, Google a également lancé Google Antigravity, une plateforme de développement agentique qui associe Gemini 3 au modèle Gemini 2.5 Computer Use pour le contrôle du navigateur et au modèle d’édition d’images Nano Banana, permettant des flux de travail de développement logiciel de bout en bout dans lesquels le modèle peut planifier, coder et valider des tâches de manière autonome.¹¹

GPT-5 d’OpenAI

GPT-5 introduit une multimodalité native améliorée entre le texte, la voix, l’image et la vidéo. Contrairement aux systèmes précédents qui s’appuyaient fortement sur des plugins, GPT-5 intègre ces modalités dans une architecture unifiée, ce qui se traduit par une interaction plus fluide. Le modèle s’adapte avec souplesse à différents types d’entrées et peut passer de l’un à l’autre.

Une fonctionnalité notable est son mode vocal en temps réel, qui peut ajuster le ton, le débit et le style selon les instructions de l’utilisateur. Cela crée une expérience conversationnelle plus naturelle et adaptative. Le traitement visuel a également été amélioré, réduisant les hallucinations lors de l’interprétation ou de la génération d’images, de diagrammes et de graphiques. Une autre avancée réside dans ses capacités de mémoire, qui permettent au système de se rappeler les entrées précédentes et de maintenir le contexte sur des interactions prolongées.

Ces améliorations rendent GPT-5 particulièrement précieux pour les interfaces multimodales accessibles, en particulier pour les personnes ayant des déficiences sensorielles.

Les modèles multimodaux de Google DeepMind axés sur la robotique

Google DeepMind a développé Gemini Robotics et Gemini Robotics-ER, des modèles conçus pour intégrer la vision, le langage et l’action au sein des systèmes robotiques. Ces modèles permettent aux robots d’effectuer des tâches dans des environnements non structurés, comme plier du papier ou dévisser des bouchons de bouteille.

Une caractéristique clé de ces modèles est leur mécanisme de sécurité. Avant d’exécuter des actions, le système effectue des vérifications intégrées pour minimiser les risques et garantir un traitement approprié des tâches. Cette approche répond à l’un des défis majeurs de la robotique : faire le lien entre un raisonnement IA avancé et une exécution réelle sûre et fiable.

Llama 4 Scout et Llama 4 Maverick par Meta IA

Llama 4 Scout est un modèle multimodal doté de 17 milliards de paramètres actifs et de 16 experts. Ce modèle surpasse les modèles Llama de la génération précédente et est conçu pour fonctionner sur un seul H100 GPU. Il dispose d’une fenêtre de contexte de 10 millions de tokens pour traiter de grandes quantités d’informations. Les résultats des benchmarks indiquent que Llama 4 Scout obtient de meilleurs résultats que Gemma 3, Gemini 2.0 Flash-Lite et Mistral 3.1 sur une gamme de benchmarks largement rapportés.

Llama 4 Maverick est un modèle multimodal doté de 17 milliards de paramètres actifs et de 128 experts. Ce modèle est présenté comme un des plus performants de sa catégorie, surpassant GPT-4o et Gemini 2.0 Flash sur une gamme de benchmarks. Il atteint des performances comparables à DeepSeek v3 en raisonnement et en codage, tout en utilisant moins de paramètres actifs. Une version de chat expérimentale de Llama 4 Maverick a atteint un score ELO de 1417 sur la plateforme LMArena.

ChatGPT Images 2.0 par OpenAI

La version 2.0 de ChatGPT Images d’OpenAI fait progresser la génération d’images avec une précision, un contrôle et un raisonnement visuel accrus. Le modèle améliore le suivi des instructions, le rendu du texte et la prise en charge multilingue. Il peut produire des visuels plus sophistiqués et réalistes dans la photographie, l’illustration, le manga, l’infographie, les affiches et d’autres styles. Il prend également en charge des formats d’image flexibles, ce qui rend le contenu généré adapté à des formats allant des écrans mobiles aux bannières et aux supports imprimés.

Combiné aux capacités de raisonnement de ChatGPT, ChatGPT Images 2.0 peut interpréter les documents sources et intégrer des informations contextuelles et réelles. Cela permet aux utilisateurs de développer des graphiques plus complexes et riches en informations, et d’affiner des concepts créatifs de manière conversationnelle tout en maintenant une plus grande cohérence dans la composition, la typographie et la direction visuelle.

Qwen3-VL par Alibaba

La série Qwen3-VL d’Alibaba, publiée à partir de septembre 2025, s’appuie sur le modèle de langage Qwen3 en ajoutant des capacités de perception visuelle et de raisonnement plus approfondies. La famille comprend des variantes denses de 2B à 32B paramètres et des variantes Mixture-of-Experts allant jusqu’à 235B paramètres totaux (22B actifs), toutes publiées sous la licence Apache 2.0.

Les principales caractéristiques comprennent une fenêtre de contexte native de 256K (extensible à 1 million de tokens), une OCR multilingue étendue sur 32 langues, un ancrage d’objets 2D et 3D pour le raisonnement spatial et l’IA incarnée, la compréhension de vidéos de plusieurs heures avec une indexation à la seconde près, et des capacités d’agent visuel pour le contrôle d’interfaces graphiques.

Les variantes Thinking sont optimisées pour le raisonnement STEM et multimodal, tandis que les variantes Instruct ciblent des tâches générales vision-langage telles que l’analyse de documents, l’extraction de graphiques et la réponse à des questions visuelles.

Gemma 3 par Google

Le Gemma 3 de Google s’appuie sur la technologie de ses modèles Gemini 2.0. Il est disponible en quatre tailles (1B, 4B, 12B et 27B) pour répondre à différentes exigences matérielles et offre une fenêtre de contexte de 128k tokens. Gemma 3 offre de bonnes performances sur les configurations à accélérateur unique et comprend le raisonnement textuel et visuel, l’appel de fonctions et la prise en charge de plus de 35 langues, avec un pré-entraînement pour plus de 140. Les versions quantifiées réduisent la taille du modèle et les besoins en calcul. Le système ShieldGemma 2 fournit une classification de la sécurité du contenu.

Phi-4-multimodal par Microsoft

Le Phi-4-multimodal de Microsoft est un modèle de 5,6B paramètres qui traite la parole, la vision et le texte dans une architecture unifiée. Il utilise l’apprentissage intermodal pour des interactions contextuelles entre différents types d’entrées. Le modèle gère plusieurs formats d’entrée sans nécessiter de systèmes de traitement distincts et est conçu pour le déploiement sur appareils et l’informatique en périphérie. Les applications comprennent l’IA pour smartphones, les systèmes automobiles et les services multilingues.

Qu’est-ce qu’un grand modèle multimodal (LMM) ?

Un grand modèle multimodal est un type avancé de modèle d’intelligence artificielle capable de traiter et de comprendre plusieurs types de modalités de données. Ces données multimodales peuvent inclure du texte, des images, de l’audio, de la vidéo et potentiellement d’autres types. La caractéristique clé d’un modèle multimodal est sa capacité à intégrer et à interpréter des informations provenant de ces différentes sources de données, souvent simultanément.

On peut les considérer comme des versions plus avancées des grands modèles de langage (LLMs) qui peuvent travailler avec du texte ainsi que divers types de données. De plus, les sorties des modèles de langage multimodaux sont conçues pour être textuelles, visuelles, auditives, etc.

Les modèles de langage multimodaux sont considérés comme la prochaine étape vers la intelligence artificielle générale.

Qu’est-ce qu’un agent IA multimodal ?

Les agents IA multimodaux sont des systèmes conçus pour interagir avec le monde en utilisant divers types de données, notamment des images, des vidéos et du texte, ce qui leur permet d’opérer dans des environnements numériques et physiques. Les modèles multimodaux sont le composant central de ces agents, leur permettant de percevoir et de comprendre des informations provenant de sources diverses.

Par exemple, des modèles comme Magma utilisent la compréhension vision-langage et l’intelligence spatiale, obtenues grâce à des techniques telles que Set-of-Mark et Trace-of-Mark pendant le pré-entraînement sur des jeux de données multimodaux.

Cela permet à l’agent d’effectuer des tâches allant de la compréhension du contenu vidéo et de la réponse à des questions jusqu’à la navigation dans des interfaces utilisateur et au contrôle de robots, démontrant les capacités polyvalentes que les modèles multimodaux apportent aux agents IA en exploitant différentes modalités de données. L’illustration ci-dessous montre Magma planifiant des trajectoires de robot pour accomplir des tâches, mettant en évidence son intelligence spatiale en action.¹²

Quelle est la différence entre les LMM et les LLMs ?

1. Modalités de données

• LMMs : Ils sont conçus pour comprendre et traiter plusieurs types d’entrées de données, ou modalités. Cela inclut le texte, les images, l’audio, la vidéo et parfois d’autres types de données comme les données sensorielles. La capacité clé des LMM est leur aptitude à intégrer et à donner un sens à ces différents formats de données, souvent simultanément.
• LLMs : Ces modèles sont spécialisés dans le traitement et la génération de données textuelles. Ils sont principalement entraînés sur de grands corpus de texte et sont capables de comprendre et de générer le langage humain dans divers contextes. Ils ne traitent pas intrinsèquement de données non textuelles comme les images ou l’audio.

2. Applications et tâches

• LMMs : En raison de leur nature multimodale, ces modèles peuvent être appliqués à des tâches qui nécessitent de comprendre et d’intégrer des informations de différents types de données. Par exemple, un LMM peut analyser un article de presse (texte), ses photographies d’accompagnement (images) et les clips vidéo associés pour obtenir une compréhension globale.
• LLMs : Leurs applications se concentrent sur des tâches impliquant du texte, comme la rédaction d’articles, la traduction de langues, la réponse à des questions, le résumé de documents et la création de contenu textuel.

Quelles sont les modalités de données des grands modèles multimodaux ?

Texte

Cela inclut toute forme de contenu écrit, comme les livres, les articles, les pages web et les publications sur les réseaux sociaux. Le modèle peut comprendre, interpréter et générer du contenu textuel, y compris des tâches de traitement du langage naturel telles que la traduction, le résumé et la réponse à des questions.

Images

Ces modèles peuvent analyser et générer des données visuelles. Cela inclut la compréhension du contenu et du contexte des photographies, des illustrations et d’autres représentations graphiques. Les tâches telles que la classification d’images, la détection d’objets et la génération d’images à partir de descriptions textuelles relèvent de cette catégorie.

Audio

Cela englobe les enregistrements sonores, la musique et la parole. Les modèles peuvent être entraînés à reconnaître la parole, la musique, les sons ambiants et d’autres entrées auditives. Ils peuvent transcrire la parole, comprendre des commandes vocales et même générer de la parole ou de la musique synthétiques.

Vidéo

Combinant des éléments visuels et auditifs, le traitement vidéo implique la compréhension d’images animées et de leurs sons associés. Cela peut inclure l’analyse du contenu vidéo, la reconnaissance d’actions ou d’événements dans des vidéos et la génération de clips vidéo.

Bien que la plupart des grands modèles de langage multimodaux actuels puissent traiter le texte et les images, les recherches futures visent à inclure des entrées audio et vidéo.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Comment les grands modèles multimodaux sont-ils entraînés ?

L’entraînement des grands modèles multimodaux (LMM) diffère considérablement de celui des grands modèles de langage (LLMs) sur plusieurs aspects clés :

1. Collecte et préparation des données

• LLMs : Se concentrent sur les données textuelles provenant de livres, de sites web et de sources écrites, en mettant l’accent sur la diversité linguistique pour les sources de données d’entraînement des LLM.
• LMMs : Nécessitent du texte, des images, de l’audio et de la vidéo. La collecte est plus complexe en raison de la variété des formats. L’annotation des données et l’alignement entre les modalités sont essentiels.

2. Conception de l’architecture du modèle

• LLMs : Utilisent des architectures transformer optimisées pour le traitement séquentiel du texte.
• LMMs : Emploient des architectures plus complexes qui intègrent plusieurs types de réseaux neuronaux (CNN pour les images, transformers pour le texte) avec des mécanismes pour relier ces modalités.

3. Pré-entraînement

• LLMs : Pré-entraînent sur des corpus de texte en utilisant des techniques comme la modélisation de langage masqué.
• LMMs : Pré-entraînent sur plusieurs types de données, apprenant à corréler le texte avec les images ou à comprendre des séquences vidéo.

4. Fine-tuning

• LLMs : Se fine-tunent sur des jeux de données textuels spécialisés pour des tâches spécifiques.
• LMMs : Nécessitent un fine-tuning sur des jeux de données spécifiques à chaque modalité et sur des jeux de données intermodaux pour établir des relations entre différents types de données.

5. Évaluation et itération

• LLMs : Les métriques d’évaluation se concentrent sur les tâches de compréhension et de génération de langage, notamment la fluidité, la cohérence et la pertinence.
• LMMs : Évalués sur des métriques plus larges couvrant la reconnaissance d’images, le traitement audio et les capacités d’intégration intermodale.

Comment fonctionnent les LMM ?

Les grands modèles multimodaux partagent des similitudes avec les grands modèles de langage dans leur processus d’entraînement, leur conception et leur fonctionnement. Ils utilisent la même architecture transformer et les mêmes stratégies d’entraînement. Les grands modèles multimodaux sont entraînés sur :

• Des données textuelles
• Des millions ou des milliards d’images avec des descriptions textuelles
• Des clips vidéo
• Des extraits audio
• D’autres données d’entrée, comme le code

Cet entraînement implique l’apprentissage simultané de plusieurs modalités de données, permettant au modèle de :

• Reconnaître la photo d’un chat
• Identifier un mot dans un extrait audio
• Comprendre des concepts et des détails sensoriels au-delà du texte

Ainsi, les utilisateurs peuvent importer :

• Une image pour :
  • Obtenir une description de ce qui se passe
  • Utiliser l’image comme partie d’un prompt pour générer du texte ou des images
  • Poser des questions complémentaires sur des éléments spécifiques de l’image
  • Traduire le texte de l’image dans une autre langue (par exemple, un menu)

Figure 3 : Importation d’une image de chat sur ChatGPT pour la décrire.

• Des graphiques et diagrammes pour :
  • Poser des questions complémentaires complexes sur ce qu’ils montrent
• Une maquette de conception pour :
  • Obtenir le code HTML et CSS nécessaire pour la créer.

Figure 4 : Génération de l’image dans le style des films de Wes Anderson. ChatGPT transmet le prompt à un modèle de génération d’images (comme DALL·E), qui interprète la demande et produit l’image stylisée.

Après le processus d’entraînement, les modèles peuvent incorporer des stéréotypes malsains et des idées toxiques. Pour les affiner, des techniques telles que :

• L’apprentissage par renforcement avec rétroaction humaine (RLHF)
• Des modèles d’IA de supervision
• Le red teaming (tester la robustesse du modèle) peuvent être utilisées.

De plus, les outils de gouvernance de l’IA et les outils d’IA responsable, qui fonctionnent comme des solutions de conformité IA, peuvent également permettre l’optimisation de l’inventaire d’IA, contribuant à prévenir les biais de l’IA et d’autres dilemmes éthiques. Voici un exemple de la manière dont ces outils répondent aux préoccupations liées aux droits d’auteur de l’IA générative :

Figure 5 : ChatGPT rejette ma demande en raison des règles de politique de contenu visant à protéger les droits d’auteur.

L’objectif est de développer un système multimodal fonctionnel capable de gérer :

• La synthèse texte-image
• Le sous-titrage d’images
• La recherche d’images à partir de texte
• La réponse à des questions visuelles.

De cette manière, l’IA multimodale peut intégrer diverses modalités, offrant des capacités avancées pour des tâches qui impliquent à la fois le langage et la vision.

Quelles sont les limites des grands modèles de langage ?

1. Exigences en matière de données et biais : Ces modèles nécessitent des jeux de données massifs et diversifiés pour l’entraînement. Cependant, la disponibilité et la qualité de ces jeux de données peuvent poser problème. De plus, si les données d’entraînement contiennent des biais, le modèle risque d’hériter de ces biais, voire de les amplifier, ce qui peut entraîner des résultats injustes ou contraires à l’éthique.
2. Ressources informatiques : L’entraînement et l’exécution de grands modèles multimodaux nécessitent des ressources informatiques importantes, ce qui les rend coûteux et moins accessibles aux petites organisations ou aux chercheurs indépendants.
3. Interprétabilité et explicabilité : Comme pour les modèles d’IA complexes, il peut être difficile de comprendre comment ils prennent des décisions. Ce manque de transparence peut être un problème critique, notamment dans des applications sensibles comme la santé ou l’application de la loi.
4. Intégration des modalités : Intégrer efficacement différents types de données (comme le texte, les images et l’audio) de manière à vraiment comprendre les nuances de chaque modalité est extrêmement difficile. Le modèle ne saisit pas toujours avec précision le contexte ou les subtilités de la communication humaine qui résultent de la combinaison de ces modalités.
5. Généralisation et surapprentissage : Bien que ces modèles soient entraînés sur de vastes jeux de données, ils peuvent avoir du mal à généraliser à de nouvelles données ou à des scénarios inédits qui diffèrent considérablement de leurs données d’entraînement. À l’inverse, ils peuvent faire du surapprentissage sur les données d’entraînement, capturant le bruit et les anomalies comme des motifs.

Pour en savoir plus, explorez les défis et risques associés aux modèles génératifs et aux modèles de langage.

Méthodologie de benchmark pour les LMM

Nous avons évalué les performances des grands modèles multimodaux (LMM) en utilisant un sous-ensemble du jeu de données FinMME¹³, un benchmark complet conçu pour évaluer les capacités de raisonnement financier multimodal. FinMME comprend plus de 11 000 échantillons financiers de haute qualité répartis sur 18 domaines financiers et 6 classes d’actifs, offrant un cadre robuste pour évaluer les LMM dans le domaine financier.

Pour ce benchmarking, nous avons utilisé une sélection de 100 échantillons du jeu de données FinMME afin d’analyser la capacité des modèles à traiter et à raisonner avec des données financières multimodales.

Avertissement

Cette évaluation a utilisé un sous-ensemble de 100 échantillons provenant d’un jeu de données plus vaste pour benchmarker les LMM. Pour une évaluation complète des performances du modèle, tous les échantillons du jeu de données de benchmark complet doivent être pris en compte.

Citer cette recherche

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Grands modèles multimodaux (LMM) vs LLMs}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/large-multimodal-models}},
  note   = {AIMultiple. Consulté le 17 Août 2026}
}

Journal des modifications

22 mises à jour

Toutes22Général21Méthodologie1

1. 202617 Août

   Remplacement de l'entrée du modèle Qwen3-VL par Qwen2.5-VL dans la section produits.

2. 22 Mai

   Ajout d'une section Gemini 3 et remplacement des entrées Qwen2.5-VL par des descriptions du modèle Qwen3-VL.

3. 27 Jan

   Ajout des modèles fondamentaux multimodaux "Video-first", de la version "Mistral 3 multimodal frontier" et des modèles de vision-langage MoE open source à la section sur les avancées récentes des modèles multimodaux.

4. 202525 Nov

   Ajout d'une section sur les raisons des performances différentes des modèles à l'introduction.

5. 5 Sep

   Ajout de la série Claude 4 d'Anthropic à la liste des modèles multimodaux.

6. 4 Sep

   Ajout de GPT-5 par OpenAI à la section sur les dernières avancées des modèles multimodaux.

7. 3 Juin

   La section d'introduction a été mise à jour avec une description de l'évaluation des LMM dans les tâches de raisonnement financier.

8. 3 Juin

   Une section méthodologique a été ajoutée.

9. 20 Mai

   Ajout de modèles multimodaux de grande taille open source à la section sur les LMMs principaux.

10. 5 Avr

    Ajout de Llama 4 Scout et Llama 4 Maverick par Meta AI.

11. 28 Mar

    Ajout de la génération d'images 4o par OpenAI à la section sur les dernières avancées.

12. 27 Mar

    Une nouvelle section, « Qu'est-ce qu'un agent d'IA multimodal ? », a été ajoutée à la section « Quelle est la différence entre les LMM et les LLM ? ».

13. 25 Mar

    Ajout de Qwen2.5-VL-32B-Instruct par Alibaba à la liste des modèles.

14. 12 Mar

    Ajout de Gemma 3 par Google à la section 'Quelles sont les dernières avancées en matière de modèles multimodaux ?'.

15. 1 Mar

    Ajout d'une section décrivant le modèle Phi-4-multimodal de Microsoft.

16. 21 Fév

    Qwen2.5-VL d'Alibaba a été ajouté à la liste des LMM open-source.

17. 12 Fév

    Les modèles o3-mini et DeepSeek-R1 ont été ajoutés à l'introduction.

18. 14 Jan

    Ajout d'un tableau à la section "Que sont les LMM de pointe ?".

19. 20247 Nov

    Supprimé les LMM avec leurs dates de lancement de la section Quels sont les LMM leaders ?

20. 5 Sep

    Ajout des Figures 1, 2, 3 et 4 à l'article.

21. 4 Sep

    Ajout de la section « Comment fonctionnent les LLM ? ».

22. 29 Août

    Ajout de OpenAI GPT-4o, Gemini 1.5 et Qwen-VL-Plus/Max aux LMMs principaux.

Liens de référence

1.

Gemma 3: Google’s new open model based on Gemini 2.0

Google

2.

GitHub - deepseek-ai/Janus: Janus-Series: Unified Multimodal Understanding and Generation Models · GitHub

3.

GitHub - QwenLM/Qwen3-VL: Qwen3-VL is the multimodal large language model series developed by Qwen team, Alibaba Cloud. · GitHub

4.

https://qwen.ai/blog?id=qwen2.5-vl-32b

5.

CLIP: Connecting text and images | OpenAI

6.

[2204.14198] Flamingo: a Visual Language Model for Few-Shot Learning

7.

Multimodality and Large Multimodal Models (LMMs)

8.

GitHub - bytedance/vidi: The official repo for "Vidi: Large Multimodal Models for Video Understanding and Editing" · GitHub

9.

Client Challenge

Financial Times

10.

GitHub - MoonshotAI/Kimi-VL: Kimi-VL: Mixture-of-Experts Vision-Language Model for Multimodal Reasoning, Long-Context Understanding, and Strong Agent Capabilities · GitHub

11.

Gemini 3: Introducing the latest Gemini AI model from Google

Google

12.

Magma: A Foundation Model for Multimodal AI Agents

13.

luojunyu/FinMME · Datasets at Hugging Face

Cem Dilmegani

Analyste principal

Suivre

Cem est analyste principal chez AIMultiple depuis 2017.

Le travail de Cem chez AIMultiple a été cité par des publications mondiales de premier plan, notamment Business Insider, Forbes, Morning Brew et Washington Post, par des entreprises mondiales comme Deloitte et HPE, par des ONG comme World Economic Forum et par des organisations supranationales comme European Commission. [1], [2], [3], [4], [5]

Tout au long de sa carrière, Cem a été consultant en technologies, acheteur de technologies et entrepreneur technologique. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la digitalisation.

Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité du PDG. Il a également dirigé la croissance commerciale de l'entreprise de technologie profonde Hypatos, qui a atteint un revenu récurrent annuel à 7 chiffres et une valorisation à 9 chiffres, passant de 0 à ce résultat en deux ans. Le travail de Cem chez Hypatos a été couvert par des publications technologiques de premier plan comme TechCrunch et Business Insider.

Cem intervient régulièrement lors de conférences technologiques internationales. Il est diplômé de Bogazici University en tant qu'ingénieur informatique et titulaire d'un MBA de la Columbia Business School.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire