Grands modèles multimodaux (LMM) vs LLMs

Nous avons évalué les performances des grands modèles multimodaux (LMM) dans des tâches de raisonnement financier à l’aide d’un dataset soigneusement sélectionné. En analysant un sous-ensemble d’échantillons financiers de haute qualité, nous évaluons la capacité des modèles à traiter et à raisonner avec des données multimodales dans le domaine financier.

La section méthodologie fournit des informations détaillées sur le dataset et le cadre d’évaluation utilisé.

Explorez les grands modèles multimodaux et comparez-les aux grands modèles de langage.

Pourquoi les modèles ont-ils obtenu des résultats différents ?

La variation des taux de réussite reflète les différences dans la manière dont chaque modèle traite les tâches financières multimodales. Étant donné que le benchmark utilise des échantillons du dataset FinMME, qui nécessitent d’intégrer du texte et des visuels financiers tels que des graphiques et des documents structurés, les performances dépendent fortement de l’architecture du modèle, de la qualité de l’entraînement et de l’alignement multimodal.

Architecture du modèle et conception des paramètres

Les modèles diffèrent par la manière dont ils combinent les encodeurs de texte et d’image, le nombre de paramètres actifs et la complexité de leur routage d’experts.

• Llama 4 Maverick, par exemple, utilise une conception davantage basée sur des experts, ce qui permet un raisonnement plus robuste.
• Les modèles plus petits ou axés sur l’efficacité ont moins de paramètres alignés sur le raisonnement multimodal, ce qui limite les performances.

Ces distinctions architecturales influent sur la capacité de chaque modèle à interpréter les relations numériques, les structures de graphiques et les visuels spécifiques au domaine.

Couverture des données d’entraînement

Certains modèles sont entraînés sur de vastes datasets multimodaux, tandis que d’autres s’appuient principalement sur des données généralistes.

• Les modèles des familles Claude 4 et Qwen 2.5 intègrent des données visuelles et textuelles à grande échelle, améliorant leur capacité à aligner les indices numériques et visuels.
• Les modèles entraînés sur des corpus multimodaux plus limités ont du mal avec les graphiques financiers et les diagrammes structurés.

Les données d’entraînement influencent directement la fiabilité avec laquelle un modèle traite les concepts financiers intermodaux.

Fine-tuning pour le raisonnement intermodal

Le benchmark nécessite une coordination entre l’interprétation d’images et le raisonnement textuel.

• Les modèles Claude 4 sont décrits comme performants sur les tâches impliquant des graphiques et des diagrammes.
• Les modèles sans fine-tuning intermodal dédié peuvent détecter correctement les caractéristiques visuelles, mais échouent lorsqu’il s’agit de les relier au langage ou à la logique financière.

La stratégie de fine-tuning d’un modèle affecte sa capacité à fusionner les signaux textuels et visuels pendant l’analyse.

Capacité de gestion du contexte

Les échantillons financiers contiennent souvent plusieurs éléments qui doivent être lus ensemble, comme des graphiques en plusieurs parties ou des descriptions longues.

• Les modèles dotés de fenêtres de contexte plus larges peuvent conserver les relations sur de longues entrées.
• Les modèles plus limités peuvent manquer des dépendances, ce qui réduit la précision dans les tâches nécessitant le suivi de plusieurs composants visuels et textuels.

La taille de la fenêtre de contexte influence la capacité d’un modèle à maintenir l’alignement entre les détails quantitatifs et visuels.

Taille du modèle et priorités d’efficacité

Certains modèles sont délibérément conçus pour un déploiement léger plutôt que pour un raisonnement de haute complexité.

• Phi-4 multimodal et les modèles similaires privilégient l’efficacité, limitant la profondeur du traitement multimodal.
• Les modèles plus grands conservent une capacité supérieure pour les tâches de raisonnement impliquant une compréhension fine des graphiques.

Ce compromis se traduit par des scores inférieurs pour les modèles plus petits.

Différences de compréhension visuelle

L’évaluation comprend des tâches qui nécessitent une lecture précise des graphiques, l’identification d’objets dans les documents financiers et l’extraction de détails visuels.

• Les modèles dotés de pipelines visuels avancés, comme les variantes Qwen 2.5-VL, gèrent ces tâches plus efficacement.
• D’autres peuvent bien gérer des images génériques, mais ont des performances irrégulières avec des visuels financiers structurés.

La force du raisonnement visuel affecte fortement les résultats sur les échantillons de type FinMME.

Caractéristiques du dataset d’évaluation

Le dataset se concentre sur le raisonnement financier multimodal plutôt que sur des tâches généralistes.

• Les modèles entraînés ou fine-tunés pour des tâches financières, numériques ou basées sur des graphiques obtiennent de meilleures performances.
• Les modèles généralistes sans exposition au domaine présentent une précision moindre sur les datasets financiers.

La spécialisation du dataset rend les performances plus sensibles à la qualité du raisonnement intermodal.

Que sont les grands modèles multimodaux open source ?

LMM open source avec leur nombre d’étoiles GitHub :

Le graphique montre que la popularité GitHub de divers LMM open source a augmenté, certains modèles connaissant une adoption rapide peu après leur sortie.

La série Janus de DeepSeek a gagné des milliers d’étoiles GitHub en quelques jours après la sortie de Janus-Pro le 27 janvier 2025, dépassant ses concurrents, qui ont mis des mois à atteindre des chiffres similaires. Cette ascension rapide est due au succès de Janus-Pro et a été influencée par l’élan créé par DeepSeek-R1.

1. Gemma 3 par Google : Gemma 3 est une famille de modèles ouverts légers et à la pointe de la technologie dérivés de la technologie Gemini 2.0. Ces modèles offrent des capacités avancées de raisonnement textuel et visuel, une fenêtre de contexte de 128k tokens, la prise en charge des appels de fonction et des versions quantifiées pour des performances optimisées. Il comprend ShieldGemma 2 pour la sécurité des images et prend en charge divers outils et options de déploiement.¹
2. Janus-Pro par DeepSeek : Janus-Pro est une version avancée du modèle Janus, conçue pour à la fois comprendre et générer du texte et des images. Il présente une stratégie d’entraînement optimisée, des données d’entraînement étendues et une taille de modèle plus grande, améliorant ses capacités multimodales.²
3. Qwen2.5-VL par Alibaba : Qwen2.5-VL d’Alibaba est une extension multimodale du modèle de langage Qwen2.5, conçu pour la compréhension du texte et des images. Il bénéficie d’un pré-entraînement à grande échelle (jusqu’à 18T tokens), d’une fenêtre de contexte étendue (jusqu’à 128K tokens), d’un meilleur suivi des instructions et d’une prise en charge multilingue robuste, ce qui le rend adapté à des tâches comme le sous-titrage d’images et la réponse à des questions visuelles. ³
   • S’appuyant sur la série Qwen2.5-VL, Alibaba a optimisé et open-sourcé Qwen2.5-VL-32B-Instruct, un modèle VL de 32B intégrant une compréhension et un raisonnement fins des images améliorés. Cela se traduit par des performances améliorées et une analyse détaillée dans des tâches comme l’analyse d’images, la reconnaissance de contenu et la déduction logique visuelle.⁴
4. CLIP (Contrastive Language–Image Pretraining) par OpenAI : CLIP est conçu pour comprendre les images dans le contexte du langage naturel. Il peut effectuer des tâches comme la classification d’images zero-shot, où il peut classer avec précision des images même dans des catégories pour lesquelles il n’a pas été explicitement entraîné, en comprenant les descriptions textuelles.⁵
   • S’appuyant sur la série Qwen2.5-VL, Alibaba a optimisé et open-sourcé Qwen2.5-VL-32B-Instruct, un modèle VL de 32B intégrant une compréhension et un raisonnement fins des images améliorés. Cela se traduit par des performances améliorées et une analyse détaillée dans des tâches comme l’analyse d’images, la reconnaissance de contenu et la déduction logique visuelle.⁴
5. Flamingo par DeepMind : Flamingo est conçu pour tirer parti des points forts de la compréhension du langage et du visuel, ce qui le rend capable d’effectuer des tâches nécessitant l’interprétation et l’intégration d’informations issues à la fois du texte et des images.⁶

Figure 1 : Un exemple tiré de Chip Huyen⁷

Quels sont les principaux LMM ?

Fonctionnalités UI & API des LLMs généralistes

Les fournisseurs sont sélectionnés parmi les LLMs multimodaux les plus populaires en fonction de la comparabilité, de la disponibilité des données et de l’actualité.

LMM avec leur prix par token :

Pour sélectionner le modèle plus adapté, tenez compte de facteurs tels que votre budget, les capacités et le niveau de performance requis, ainsi que le volume attendu de tokens d’entrée/sortie nécessaire à votre cas d’utilisation spécifique.

En savoir plus sur la tarification des LLM.

Quelles sont les dernières avancées des modèles multimodaux ?

Les avancées récentes des modèles multimodaux ont introduit de nouvelles capacités et efficacités dans le développement de l’IA.

Modèles de fondation multimodaux axés sur la vidéo

Les modèles de fondation multimodaux axés sur la vidéo vont au-delà de la génération de légendes ou de résumés de haut niveau et apprennent désormais à localiser explicitement les preuves dans les vidéos.

Plutôt que de dire ce qui se passe, ils peuvent identifier quand cela se produit (horodatages) et où cela se produit (boîtes englobantes autour des objets ou des régions).

Ce passage vers l’ancrage spatio-temporel rend la compréhension vidéo plus précise et vérifiable. Il permet également des tâches telles que la recherche de moments exacts, le suivi d’objets, le montage vidéo en langage naturel et le soutien à la robotique et aux systèmes critiques pour la sécurité.

Par exemple, Vidi⁸ est un projet open source de ByteDance axé sur les grands modèles multimodaux pour la compréhension et le montage vidéo.

Le dépôt héberge le code et les ressources d’une famille de modèles (par ex., Vidi-7B, Vidi1.5-9B, Vidi2 et Vidi2.5) qui prennent la vision, l’audio et le texte en entrée pour effectuer des tâches telles que :

• Récupération temporelle (trouver les segments temporels d’une vidéo correspondant à une requête textuelle)
• Ancrage spatio-temporel (localiser précisément les objets avec des boîtes englobantes)
• Réponse à des questions vidéo

Lancement de Mistral 3, modèle frontière multimodal

Mistral IA a développé une nouvelle famille de modèles d’IA open source appelée Mistral 3. La suite Mistral 3 comprend à la fois des modèles multimodaux/multilingues de niveau frontière et des modèles plus petits et efficaces conçus pour fonctionner sur une gamme d’appareils, du cloud à la périphérie, et même sur des GPU individuels.

Publiés sous une licence open source permissive (Apache 2.0), ces modèles visent à démocratiser l’accès à l’IA avancée, à permettre la personnalisation et la flexibilité de déploiement, et à renforcer la position de l’Europe dans le développement de l’IA, alors que des préoccupations existent quant au retard par rapport aux États-Unis et à la Chine dans les technologies de pointe.⁹

Modèles vision-langage MoE open source

Kimi-VL (de Moonshot IA) est un modèle vision-langage multimodal open source construit avec une architecture Mixture-of-Experts (MoE), performant sur des tâches combinant texte, images et vidéo tout en maintenant une efficacité de calcul.

Il possède une dorsale de 16 milliards de paramètres au total, mais active généralement environ 2,8 milliards de paramètres pendant l’inférence, ce qui aide à équilibrer capacité et coût.

Kimi-VL est conçu pour le raisonnement multimodal avancé, la compréhension à long contexte (jusqu’à environ 128 K tokens) et les interactions de type agent, et il rivalise bien avec des modèles plus grands sur des benchmarks comme la compréhension vidéo, la reconnaissance optique de caractères (OCR), le raisonnement mathématique et les tâches multi-images.

Des variantes telles que Kimi-VL-A3B-Thinking sont en outre fine-tunées pour les tâches de chaîne de pensée et de raisonnement, tandis que l’encodeur visuel MoonViT prend en charge la compréhension d’entrées haute résolution.

Figure 2 : Conception de l’architecture Kimi-VL.¹⁰

Anthropic : série Claude 4

Anthropic, avec sa série Claude 4, intègre une compréhension visuelle avancée à son moteur de raisonnement textuel, intégrant la vision directement dans les flux de travail de résolution de problèmes.

Les modèles Claude 4 démontrent de solides performances sur des benchmarks de raisonnement multimodal tels que MMMU, notamment pour interpréter des graphiques, des diagrammes et des données visuelles complexes. Une caractéristique distinctive de Claude Opus 4.1 est sa capacité à évaluer les qualités esthétiques des images, allant au-delà de la reconnaissance pour des évaluations plus nuancées.

Ces capacités, combinées à Claude et à ses fonctions agentiques, rendent la série efficace pour des tâches telles que la synthèse de recherches à partir de rapports mêlant texte et visuels ou l’assistance à la conception d’interfaces par l’analyse de maquettes visuelles.

Google : Gemini 3

Google a lancé Gemini 3 en novembre 2025, avec Gemini 3 Pro disponible immédiatement et le mode Gemini 3 Deep Think déployé peu après pour les abonnés Google IA Ultra. Gemini 3 est positionné par Google comme son modèle multimodal le plus intelligent et le plus capable, avec une prise en charge native du texte, des images, de la vidéo, de l’audio et du code dans une architecture unique.

Gemini 3 Pro est livré avec une fenêtre de contexte de 1 million de tokens et obtient de solides résultats sur les benchmarks multimodaux, notamment 81 % sur MMMU-Pro et 87.6 % sur Video-MMMU. Il a dominé le classement LMArena à sa sortie avec un score de 1501 Elo, et a obtenu 91.9 % sur GPQA Diamond pour le raisonnement de niveau universitaire et 76.2 % sur SWE-bench Verified pour les tâches de codage agentiques.

Gemini 3 Deep Think est un mode de raisonnement amélioré qui augmente encore les performances sur les tâches les plus exigeantes, avec des scores de 41.0 % sur Humanity’s Last Exam (sans outils) et de 45.1 % sur ARC-AGI-2. Parallèlement à Gemini 3, Google a également lancé Google Antigravity, une plateforme de développement agentique qui associe Gemini 3 au modèle Gemini 2.5 Computer Use pour le contrôle du navigateur et au modèle d’édition d’images Nano Banana, permettant des flux de travail de développement logiciel de bout en bout dans lesquels le modèle peut planifier, coder et valider des tâches de manière autonome.¹¹

GPT-5 par OpenAI

GPT-5 introduit une multimodalité native améliorée sur le texte, la voix, l’image et la vidéo. Contrairement aux systèmes précédents qui reposaient fortement sur des plugins, GPT-5 intègre ces modalités dans une architecture unifiée, ce qui se traduit par une interaction plus fluide. Le modèle s’adapte de manière flexible à différents types d’entrée et peut passer de l’un à l’autre.

Une caractéristique notable est son mode vocal en temps réel, qui peut ajuster le ton, le rythme et le style selon les instructions de l’utilisateur. Cela crée une expérience conversationnelle plus naturelle et adaptative. Le traitement visuel a également été amélioré, réduisant les hallucinations lors de l’interprétation ou de la génération d’images, de diagrammes et de graphiques. Une autre avancée réside dans ses capacités de mémoire, qui permettent au système de se rappeler les entrées précédentes et de maintenir le contexte sur des interactions prolongées.

Ces améliorations rendent GPT-5 particulièrement précieux pour les interfaces multimodales accessibles, en particulier pour les personnes ayant des déficiences sensorielles.

Google DeepMind : modèles multimodaux axés sur la robotique

Google DeepMind a développé Gemini Robotics et Gemini Robotics-ER, des modèles conçus pour intégrer la vision, le langage et l’action dans les systèmes robotiques. Ces modèles permettent aux robots d’effectuer des tâches dans des environnements non structurés, comme plier du papier ou dévisser des bouchons de bouteille.

Une caractéristique clé de ces modèles est leur mécanisme de sécurité. Avant d’exécuter des actions, le système effectue des vérifications intégrées pour minimiser les risques et garantir le traitement approprié des tâches. Cette approche répond à l’un des défis majeurs de la robotique : relier le raisonnement avancé de l’IA à une exécution réelle sûre et fiable.

Llama 4 Scout et Llama 4 Maverick par Meta IA

Llama 4 Scout est un modèle multimodal doté de 17 milliards de paramètres actifs et de 16 experts. Ce modèle surpasse les modèles Llama de la génération précédente et est conçu pour fonctionner sur un seul H100 GPU. Il dispose d’une fenêtre de contexte de 10 millions de tokens pour traiter de grandes quantités d’informations. Les résultats des benchmarks indiquent que Llama 4 Scout obtient de meilleurs résultats que Gemma 3, Gemini 2.0 Flash-Lite et Mistral 3.1 sur une gamme de benchmarks largement rapportés.

Llama 4 Maverick est un modèle multimodal doté de 17 milliards de paramètres actifs et de 128 experts. Ce modèle est présenté comme l’un des plus performants de sa catégorie, surpassant GPT-4o et Gemini 2.0 Flash sur une gamme de benchmarks. Il atteint des performances comparables à celles de DeepSeek v3 en raisonnement et en codage, tout en utilisant moins de paramètres actifs. Une version de chat expérimentale de Llama 4 Maverick a obtenu un score ELO de 1417 sur la plateforme LMArena.

ChatGPT Images 2.0 par OpenAI

OpenAI a fait progresser ChatGPT Images 2.0 avec une précision, un contrôle et un raisonnement visuel accrus. Le modèle améliore le suivi des instructions, le rendu du texte et la prise en charge multilingue. Il peut produire des visuels plus sophistiqués et réalistes dans les domaines de la photographie, de l’illustration, du manga, des infographies, des affiches et d’autres styles. Il prend également en charge des ratios d’aspect flexibles, ce qui rend le contenu généré adapté à des formats allant des écrans mobiles aux bannières et aux supports imprimés.

Combiné aux capacités de raisonnement de ChatGPT, ChatGPT Images 2.0 peut interpréter des documents sources et intégrer des informations contextuelles et du monde réel. Cela permet aux utilisateurs de développer des graphiques plus complexes et riches en informations et d’affiner des concepts créatifs de manière conversationnelle, tout en maintenant une plus grande cohérence dans la composition, la typographie et la direction visuelle.

Qwen3-VL par Alibaba

La série Qwen3-VL d’Alibaba, lancée à partir de septembre 2025, s’appuie sur le modèle de langage Qwen3 en ajoutant des capacités de perception visuelle et de raisonnement plus approfondies. La famille comprend des variantes denses de 2B à 32B paramètres et des variantes Mixture-of-Experts allant jusqu’à 235B paramètres au total (22B actifs), toutes publiées sous licence Apache 2.0.

Les principales caractéristiques incluent une fenêtre de contexte native de 256K (extensible à 1 million de tokens), une OCR multilingue élargie couvrant 32 langues, un ancrage d’objets 2D et 3D pour le raisonnement spatial et l’IA incarnée, une compréhension vidéo de plusieurs heures avec indexation à la seconde et des capacités d’agent visuel pour le contrôle des interfaces graphiques.

Les variantes Thinking sont ajustées pour les STIM et le raisonnement multimodal, tandis que les variantes Instruct ciblent des tâches générales de vision-langage telles que l’analyse de documents, l’extraction de graphiques et la réponse à des questions visuelles.

Gemma 3 par Google

Google a fait évoluer Gemma 3 à partir de la technologie de ses modèles Gemini 2.0. Il est proposé en quatre tailles (1B, 4B, 12B et 27B) pour différentes exigences matérielles et offre une fenêtre de contexte de 128k tokens. Gemma 3 est performant sur des configurations à un seul accélérateur et inclut le raisonnement textuel et visuel, l’appel de fonctions et la prise en charge de plus de 35 langues, avec un pré-entraînement pour plus de 140. Les versions quantifiées réduisent la taille du modèle et les besoins en calcul. Le système ShieldGemma 2 fournit une classification de la sécurité du contenu.

Phi-4-multimodal par Microsoft

Microsoft a développé Phi-4-multimodal, un modèle de 5.6B paramètres qui traite la parole, la vision et le texte dans une architecture unifiée. Il utilise l’apprentissage intermodal pour des interactions contextuelles entre différents types d’entrée. Le modèle gère plusieurs formats d’entrée sans nécessiter de systèmes de traitement séparés et est conçu pour le déploiement sur appareils et l’informatique en périphérie. Les applications incluent l’IA sur smartphone, les systèmes automobiles et les services multilingues.

Qu’est-ce qu’un grand modèle multimodal (LMM) ?

Un grand modèle multimodal est un type avancé de modèle d’intelligence artificielle capable de traiter et de comprendre plusieurs types de modalités de données. Ces données multimodales peuvent inclure du texte, des images, de l’audio, de la vidéo et potentiellement d’autres. La caractéristique clé d’un modèle multimodal est sa capacité à intégrer et à interpréter des informations provenant de ces différentes sources de données, souvent simultanément.

Ceux-ci peuvent être compris comme des versions plus avancées des grands modèles de langage (LLMs) qui peuvent travailler avec du texte et également sur divers types de données. De plus, les sorties des modèles de langage multimodaux sont conçues pour être textuelles, visuelles, auditives, etc.

Les modèles de langage multimodaux sont considérés comme la prochaine étape vers la réalisation de l’intelligence artificielle générale.

Qu’est-ce qu’un agent IA multimodal ?

Les agents IA multimodaux sont des systèmes conçus pour interagir avec le monde en utilisant divers types de données, notamment des images, des vidéos et du texte, leur permettant d’opérer à la fois dans des environnements numériques et physiques. Les modèles multimodaux sont le composant central de ces agents, leur permettant de percevoir et de comprendre des informations provenant de sources diverses.

Par exemple, des modèles comme Magma utilisent la compréhension vision-langage et l’intelligence spatiale, obtenues grâce à des techniques telles que Set-of-Mark et Trace-of-Mark lors du pré-entraînement sur des datasets multimodaux.

Cela permet à l’agent d’effectuer des tâches allant de la compréhension de contenu vidéo et de la réponse à des questions à la navigation dans des interfaces utilisateur et au contrôle de robots, démontrant les capacités polyvalentes que les modèles multimodaux apportent aux agents IA en exploitant différentes modalités de données. L’illustration ci-dessous montre Magma planifiant des trajectoires de robot pour accomplir des tâches, mettant en évidence son intelligence spatiale en action.¹²

Quelle est la différence entre les LMM et les LLMs ?

1. Modalités de données

• LMMs : Ils sont conçus pour comprendre et traiter plusieurs types d’entrées de données, ou modalités. Cela inclut le texte, les images, l’audio, la vidéo et parfois d’autres types de données comme les données sensorielles. La capacité clé des LMMs est leur capacité à intégrer et à donner un sens à ces différents formats de données, souvent simultanément.
• LLMs : Ces modèles sont spécialisés dans le traitement et la génération de données textuelles. Ils sont principalement entraînés sur de grands corpus de texte et sont capables de comprendre et de générer le langage humain dans divers contextes. Ils ne traitent pas intrinsèquement les données non textuelles comme les images ou l’audio.

2. Applications et tâches

• LMMs : En raison de leur nature multimodale, ces modèles peuvent être appliqués à des tâches qui nécessitent de comprendre et d’intégrer des informations provenant de différents types de données. Par exemple, un LMM pourrait analyser un article de presse (texte), ses photographies d’accompagnement (images) et les clips vidéo associés pour en obtenir une compréhension complète.
• LLMs : Leurs applications sont centrées sur des tâches impliquant du texte, comme la rédaction d’articles, la traduction de langues, la réponse à des questions, le résumé de documents et la création de contenu textuel.

Quelles sont les modalités de données des grands modèles multimodaux ?

Texte

Cela inclut toute forme de contenu écrit, comme les livres, les articles, les pages Web et les publications sur les réseaux sociaux. Le modèle peut comprendre, interpréter et générer du contenu textuel, y compris des tâches de traitement du langage naturel telles que la traduction, le résumé et la réponse à des questions.

Images

Ces modèles peuvent analyser et générer des données visuelles. Cela inclut la compréhension du contenu et du contexte des photographies, des illustrations et d’autres représentations graphiques. Les tâches telles que la classification d’images, la détection d’objets et la génération d’images à partir de descriptions textuelles relèvent de cette catégorie.

Audio

Cela englobe les enregistrements sonores, la musique et la langue parlée. Les modèles peuvent être entraînés à reconnaître la parole, la musique, les sons ambiants et d’autres entrées auditives. Ils peuvent transcrire la parole, comprendre des commandes vocales et même générer de la parole ou de la musique synthétiques.

Vidéo

Combinant à la fois des éléments visuels et auditifs, le traitement vidéo implique de comprendre les images animées et les sons qui les accompagnent. Cela peut inclure l’analyse de contenu vidéo, la reconnaissance d’actions ou d’événements dans les vidéos et la génération de clips vidéo.

Bien que la plupart des grands modèles de langage multimodaux actuels puissent traiter le texte et les images, les recherches futures visent à inclure des entrées audio et vidéo.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Comment les grands modèles multimodaux sont-ils entraînés ?

L’entraînement des grands modèles multimodaux (LMM) diffère considérablement de celui des grands modèles de langage (LLMs) sur plusieurs aspects clés :

1. Collecte et préparation des données

• LLMs : Se concentrent sur les données textuelles provenant de livres, de sites Web et de sources écrites, en mettant l’accent sur la diversité linguistique pour les sources de données d’entraînement des LLM.
• LMMs : Nécessitent des données textuelles, visuelles, audio et vidéo. La collecte est plus complexe en raison de la variété des formats. L’annotation des données et l’alignement entre les modalités sont essentiels.

2. Conception de l’architecture du modèle

• LLMs : Utilisent des architectures de transformers optimisées pour le traitement séquentiel du texte.
• LMMs : Utilisent des architectures plus complexes qui intègrent plusieurs types de réseaux de neurones (CNN pour les images, transformers pour le texte) avec des mécanismes pour connecter ces modalités.

3. Pré-entraînement

• LLMs : Pré-entraînent sur des corpus de texte à l’aide de techniques telles que la modélisation de langage masqué.
• LMMs : Pré-entraînent sur plusieurs types de données, apprenant à corréler le texte avec les images ou à comprendre des séquences vidéo.

4. Fine-tuning

• LLMs : Fine-tunent sur des datasets textuels spécialisés pour des tâches spécifiques.
• LMMs : Nécessitent un fine-tuning à la fois sur des datasets spécifiques à chaque modalité et sur des datasets intermodaux pour établir des relations entre les différents types de données.

5. Évaluation et itération

• LLMs : Les métriques d’évaluation se concentrent sur les tâches de compréhension et de génération du langage, notamment la fluidité, la cohérence et la pertinence.
• LMMs : Évalués sur des métriques plus larges couvrant la reconnaissance d’images, le traitement audio et les capacités d’intégration intermodales.

Comment fonctionnent les LMM ?

Les grands modèles multimodaux partagent des similitudes avec les grands modèles de langage dans leur processus d’entraînement, leur conception et leur fonctionnement. Ils utilisent la même architecture de transformer et les mêmes stratégies d’entraînement. Les grands modèles multimodaux sont entraînés sur :

• Données textuelles
• Des millions ou des milliards d’images avec des descriptions textuelles
• Des clips vidéo
• Des extraits audio
• D’autres données d’entrée, comme le code

Cet entraînement implique l’apprentissage simultané de plusieurs modalités de données, permettant au modèle de :

• Reconnaître la photo d’un chat
• Identifier un mot dans un extrait audio
• Comprendre des concepts et des détails sensoriels au-delà du texte

Ainsi, les utilisateurs peuvent téléverser :

• Une image pour :
  • Obtenir une description de ce qui se passe
  • Utiliser l’image comme partie d’un prompt pour générer du texte ou des images
  • Poser des questions de suivi sur des éléments spécifiques de l’image
  • Traduire le texte de l’image dans une autre langue (par ex., Menu)

Figure 3 : Téléversement d’une image de chat sur ChatGPT pour la décrire.

• Des graphiques et diagrammes pour :
  • Poser des questions de suivi complexes sur ce qu’ils montrent
• Une maquette de conception pour :
  • Obtenir le code HTML et CSS nécessaire pour la créer.

Figure 4 : Soumission d’un prompt d’image dans le style du film de Wes Anderson. ChatGPT transmet le prompt à un modèle de génération d’images (comme DALL·E), qui interprète la demande et produit l’image stylisée.

Après le processus d’entraînement, les modèles peuvent intégrer des stéréotypes malsains et des idées toxiques. Pour les affiner, des techniques telles que :

• Apprentissage par renforcement avec rétroaction humaine (RLHF)
• Modèles d’IA de supervision
• Red teaming (test de la robustesse du modèle) peuvent être utilisées.

De plus, les outils de gouvernance de l’IA et les outils d’IA responsable, qui fonctionnent comme des solutions de conformité de l’IA, peuvent également permettre l’optimisation de l’inventaire d’IA, aidant ainsi à prévenir les biais de l’IA et d’autres dilemmes éthiques. Voici un exemple de la manière dont ces outils répondent aux préoccupations liées aux droits d’auteur de l’IA générative :

Figure 5 : ChatGPT rejette ma demande en raison des directives de la politique de contenu visant à protéger les droits d’auteur.

L’objectif est de développer un système multimodal fonctionnel capable de gérer :

• Synthèse texte-image
• Sous-titrage d’images
• Récupération d’images à partir de texte
• Réponse à des questions visuelles.

De cette manière, l’IA multimodale peut intégrer diverses modalités, offrant des capacités avancées pour des tâches impliquant à la fois le langage et la vision.

Quelles sont les limites des grands modèles de langage ?

1. Exigences en matière de données et biais : Ces modèles nécessitent des datasets massifs et diversifiés pour l’entraînement. Cependant, la disponibilité et la qualité de ces datasets peuvent constituer un défi. De plus, si les données d’entraînement contiennent des biais, le modèle est susceptible d’hériter et éventuellement d’amplifier ces biais, ce qui conduit à des résultats injustes ou contraires à l’éthique.
2. Ressources de calcul : L’entraînement et l’exécution de grands modèles multimodaux nécessitent des ressources de calcul importantes, ce qui les rend coûteux et moins accessibles aux petites organisations ou aux chercheurs indépendants.
3. Interprétabilité et explicabilité : Comme pour les modèles d’IA complexes, il peut être difficile de comprendre comment ils prennent des décisions. Ce manque de transparence peut être un problème critique, en particulier dans des applications sensibles comme la santé ou l’application de la loi.
4. Intégration des modalités : Intégrer efficacement différents types de données (comme le texte, les images et l’audio) de manière à vraiment comprendre les nuances de chaque modalité est extrêmement difficile. Le modèle peut ne pas toujours saisir avec précision le contexte ou les subtilités de la communication humaine qui résultent de la combinaison de ces modalités.
5. Généralisation et surapprentissage : Bien que ces modèles soient entraînés sur de vastes datasets, ils peuvent avoir du mal à généraliser à de nouvelles données ou à des scénarios inédits très différents de leurs données d’entraînement. Inversement, ils peuvent surapprendre les données d’entraînement, capturant le bruit et les anomalies comme des motifs.

Pour en savoir plus, explorez les défis et risques associés aux modèles génératifs et de langage.

Méthodologie de benchmark pour les LMM

Nous avons évalué les performances des grands modèles multimodaux (LMM) à l’aide d’un sous-ensemble du dataset FinMME¹³ , un benchmark complet conçu pour évaluer les capacités de raisonnement multimodale financière. FinMME comprend plus de 11 000 échantillons financiers de haute qualité répartis sur 18 domaines financiers et 6 classes d’actifs, offrant un cadre solide pour évaluer les LMM dans le domaine financier.

Pour ce benchmarking, nous avons utilisé une sélection de 100 échantillons du dataset FinMME afin d’analyser la capacité des modèles à traiter et à raisonner avec des données financières multimodales.

Avertissement

Cette évaluation a utilisé un sous-ensemble de 100 échantillons d’un dataset plus vaste pour benchmarker les LMM. Pour une évaluation complète des performances du modèle, tous les échantillons du dataset de benchmark complet doivent être pris en compte.

Citez ce benchmark

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Grands modèles multimodaux (LMM) vs LLMs}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/large-multimodal-models}},
  note   = {AIMultiple. Consulté le 17 Août 2026}
}

Liens de référence

1.

Gemma 3: Google’s new open model based on Gemini 2.0

Google

2.

GitHub - deepseek-ai/Janus: Janus-Series: Unified Multimodal Understanding and Generation Models · GitHub

3.

GitHub - QwenLM/Qwen3-VL: Qwen3-VL is the multimodal large language model series developed by Qwen team, Alibaba Cloud. · GitHub

4.

https://qwen.ai/blog?id=qwen2.5-vl-32b

5.

CLIP: Connecting text and images | OpenAI

6.

[2204.14198] Flamingo: a Visual Language Model for Few-Shot Learning

7.

Multimodality and Large Multimodal Models (LMMs)

8.

GitHub - bytedance/vidi: The official repo for "Vidi: Large Multimodal Models for Video Understanding and Editing" · GitHub

9.

Client Challenge

Financial Times

10.

GitHub - MoonshotAI/Kimi-VL: Kimi-VL: Mixture-of-Experts Vision-Language Model for Multimodal Reasoning, Long-Context Understanding, and Strong Agent Capabilities · GitHub

11.

Gemini 3: Introducing the latest Gemini AI model from Google

Google

12.

Magma: A Foundation Model for Multimodal AI Agents

13.

luojunyu/FinMME · Datasets at Hugging Face

Cem Dilmegani

Analyste principal

Suivre

Cem est analyste principal chez AIMultiple depuis 2017. AIMultiple informe des centaines de milliers d'entreprises (selon SimilarWeb) dont 60 % du Fortune 500 chaque mois.

Les travaux de Cem ont été cités par des publications internationales de premier plan telles que Business Insider, Forbes, Washington Post, des entreprises mondiales comme Deloitte, HPE et des ONG comme le Forum économique mondial et des organisations supranationales comme la Commission européenne.

Tout au long de sa carrière, Cem a exercé en tant que consultant tech, acheteur tech et entrepreneur tech. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus d'une décennie. Il a également publié un rapport McKinsey sur la numérisation.

Il a dirigé la stratégie technologique et les achats d'un opérateur télécom tout en rendant compte au PDG. Il a également mené la croissance commerciale de l'entreprise deep tech Hypatos qui a atteint un chiffre d'affaires récurrent annuel à 7 chiffres et une valorisation à 9 chiffres à partir de 0 en 2 ans. Le travail de Cem chez Hypatos a été couvert par des publications technologiques de premier plan comme TechCrunch et Business Insider.

Cem intervient régulièrement lors de conférences technologiques internationales. Il est diplômé de la Bogazici University en tant qu'ingénieur informatique et détient un MBA de la Columbia Business School.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire