Grands modèles multimodaux (LMM) vs LLMs

Nous avons évalué les performances des grands modèles multimodaux (LMM) dans des tâches de raisonnement financier en utilisant un ensemble de données soigneusement sélectionné. En analysant un sous-ensemble d'échantillons financiers de haute qualité, nous évaluons les capacités des modèles à traiter et à raisonner avec des données multimodales dans le domaine financier.

La section méthodologie fournit des informations détaillées sur l'ensemble de données et le cadre d'évaluation employés.

Explorez les grands modèles multimodaux et comparez-les aux grands modèles de langage.

Pourquoi les modèles ont-ils obtenu des performances différentes ?

La variation des taux de réussite reflète les différences dans la manière dont chaque modèle traite les tâches financières multimodales. Étant donné que le benchmark utilise des échantillons de l'ensemble de données FinMME, qui nécessitent l'intégration de texte et de visuels financiers tels que des graphiques et des documents structurés, la performance dépend fortement de l'architecture du modèle, de la qualité de l'entraînement et de l'alignement multimodal.

Architecture du modèle et conception des paramètres

Les modèles diffèrent dans la façon dont ils combinent les encodeurs de texte et d'image, le nombre de paramètres actifs et la complexité de leur routage d'experts.

• Llama 4 Maverick, par exemple, utilise une conception plus large basée sur des experts, permettant un raisonnement plus solide.
• Les modèles plus petits ou axés sur l'efficacité ont moins de paramètres alignés sur le raisonnement multimodal, ce qui limite les performances.

Ces distinctions architecturales affectent la capacité de chaque modèle à interpréter les relations numériques, les structures de graphiques et les visuels spécifiques au domaine.

Couverture des données d'entraînement

Certains modèles sont entraînés sur de vastes ensembles de données multimodales, tandis que d'autres s'appuient principalement sur des données généralistes.

• Les modèles des familles Claude 4 et Qwen 2.5 intègrent des données visuelles et textuelles à grande échelle, améliorant leur capacité à aligner les indices numériques et visuels.
• Les modèles entraînés sur des corpus multimodaux plus limités ont du mal avec les graphiques financiers et les diagrammes structurés.

Les données d'entraînement influencent directement la fiabilité avec laquelle un modèle gère les concepts financiers intermodaux.

Ajustement fin pour le raisonnement intermodal

Le benchmark nécessite une coordination entre l'interprétation d'image et le raisonnement basé sur le texte.

• Les modèles Claude 4 sont décrits comme performants sur les tâches impliquant des graphiques et des diagrammes.
• Les modèles sans ajustement fin intermodal dédié peuvent détecter correctement les caractéristiques visuelles mais échouer lorsqu'il s'agit de les relier au langage ou à la logique financière.

La stratégie d'ajustement fin d'un modèle affecte sa capacité à fusionner les signaux textuels et visuels pendant l'analyse.

Capacité de gestion du contexte

Les échantillons financiers contiennent souvent plusieurs éléments qui doivent être lus ensemble, comme des graphiques en plusieurs parties ou des descriptions longues.

• Les modèles avec des fenêtres de contexte plus larges peuvent conserver les relations entre les entrées longues.
• Les modèles plus contraints peuvent manquer des dépendances, réduisant la précision dans les tâches qui nécessitent le suivi de plusieurs composants visuels et textuels.

La taille de la fenêtre de contexte influence la capacité d'un modèle à maintenir l'alignement entre les détails quantitatifs et visuels.

Taille du modèle et priorités d'efficacité

Certains modèles sont délibérément conçus pour un déploiement léger plutôt que pour un raisonnement de haute complexité.

• Phi-4 multimodal et les modèles similaires privilégient l'efficacité, limitant la profondeur du traitement multimodal.
• Les modèles plus grands conservent une capacité plus élevée pour les tâches de raisonnement impliquant une compréhension fine des graphiques.

Ce compromis se traduit par des scores plus faibles pour les modèles plus petits.

Différences de compréhension visuelle

L'évaluation inclut des tâches qui nécessitent une lecture précise des graphiques, l'identification d'objets dans les documents financiers et l'extraction de détails visuels.

• Les modèles avec des pipelines visuels avancés, tels que les variantes Qwen 2.5-VL, gèrent ces tâches plus efficacement.
• D'autres peuvent bien gérer les images génériques mais avoir des performances incohérentes avec les visuels financiers structurés.

La force du raisonnement visuel affecte fortement les résultats sur les échantillons de style FinMME.

Caractéristiques de l'ensemble de données d'évaluation

L'ensemble de données se concentre sur le raisonnement financier multimodal plutôt que sur des tâches généralistes.

• Les modèles entraînés ou ajustés pour des tâches financières, numériques ou basées sur des graphiques obtiennent de meilleurs résultats.
• Les modèles généralistes sans exposition au domaine affichent une précision moindre sur les ensembles de données financières.

La spécialisation de l'ensemble de données rend la performance plus sensible à la qualité du raisonnement intermodal.

Que sont les grands modèles multimodaux open-source ?

LMM open-source avec leur nombre d'étoiles GitHub :

Le graphique montre que la popularité sur GitHub de divers LMM open-source a augmenté, certains modèles connaissant une adoption rapide peu après leur sortie.

La série Janus de DeepSeek a gagné des milliers d'étoiles GitHub en quelques jours après la sortie de Janus-Pro le 27 janvier 27 2025, surpassant ses concurrents, qui ont mis des mois à atteindre des chiffres similaires. Cette ascension rapide est due au succès de Janus-Pro et a été influencée par la dynamique créée par DeepSeek-R1.

1. Gemma 3 par Google : Gemma 3 est une famille de modèles ouverts légers et à la pointe de la technologie, dérivés de la technologie Gemini 2.0. Ces modèles offrent des capacités avancées de raisonnement textuel et visuel, une fenêtre de contexte de 128k tokens, la prise en charge des appels de fonction et des versions quantifiées pour des performances optimisées. Il inclut ShieldGemma 2 pour la sécurité des images et prend en charge divers outils et options de déploiement.¹
2. Janus-Pro par DeepSeek: Janus-Pro est une version avancée du modèle Janus, conçue pour comprendre et générer à la fois du texte et des images. Il dispose d'une stratégie d'entraînement optimisée, de données d'entraînement élargies et d'une taille de modèle plus grande, renforçant ses capacités multimodales.²
3. Qwen2.5-VL par Alibaba : Qwen2.5-VL d'Alibaba est une extension multimodale du modèle de langage Qwen2.5, conçue pour la compréhension du texte et de l'image. Il bénéficie d'un pré-entraînement à grande échelle (jusqu'à 18T de tokens), d'une fenêtre de contexte étendue (jusqu'à 128K tokens), d'un suivi d'instructions amélioré et d'un support multilingue robuste, le rendant adapté à des tâches comme le sous-titrage d'images et la réponse visuelle aux questions. ³
   • En s'appuyant sur la série Qwen2.5-VL, Alibaba a optimisé et ouvert en open-source Qwen2.5-VL-32B-Instruct, un modèle VL de 32B intégrant une compréhension et un raisonnement améliorés des images à grain fin. Cela se traduit par des performances améliorées et une analyse détaillée dans des tâches comme l'analyse d'images, la reconnaissance de contenu et la déduction logique visuelle.⁴
4. CLIP (Contrastive Language–Image Pretraining) par OpenAI : CLIP est conçu pour comprendre les images dans le contexte du langage naturel. Il peut effectuer des tâches comme la classification d'images zero-shot, où il peut classer précisément des images même dans des catégories pour lesquelles il n'a pas été explicitement entraîné, en comprenant les descriptions textuelles.⁵
   • En s'appuyant sur la série Qwen2.5-VL, Alibaba a optimisé et ouvert en open-source Qwen2.5-VL-32B-Instruct, un modèle VL de 32B intégrant une compréhension et un raisonnement améliorés des images à grain fin. Cela se traduit par des performances améliorées et une analyse détaillée dans des tâches comme l'analyse d'images, la reconnaissance de contenu et la déduction logique visuelle.⁶
5. Flamingo par DeepMind : Flamingo est conçu pour tirer parti des forces de la compréhension du langage et de la vision, le rendant capable d'effectuer des tâches qui nécessitent l'interprétation et l'intégration d'informations provenant à la fois du texte et des images.⁷

Figure 1 : Un exemple tiré de Chip Huyen⁸

Quels sont les principaux LMM ?

Fonctionnalités UI & API des LLMs généralistes

Les fournisseurs sont sélectionnés parmi les LLMs multimodaux les plus populaires en fonction de la comparabilité, de la disponibilité des données et de l'actualité.

LMM avec leur prix par token :

Pour sélectionner le modèle le plus adapté, tenez compte de facteurs tels que votre budget, les capacités et le niveau de performance requis, ainsi que le volume prévu de tokens d'entrée/sortie nécessaires pour votre cas d'utilisation spécifique.

En savoir plus sur la tarification des LLM.

Quelles sont les dernières avancées en matière de modèles multimodaux ?

Les avancées récentes dans les modèles multimodaux ont introduit de nouvelles capacités et efficacités dans le développement de l'IA.

Modèles de fondation multimodaux axés sur la vidéo

Les modèles de fondation multimodaux axés sur la vidéo vont au-delà de la génération de légendes ou de résumés de haut niveau et apprennent plutôt à localiser explicitement les preuves à l'intérieur des vidéos.

Au lieu de dire ce qui se passe, ils peuvent identifier quand cela se passe (horodatages) et où cela se passe (boîtes englobantes autour des objets ou des régions).

Ce passage vers l'ancrage spatio-temporel rend la compréhension vidéo plus précise et vérifiable. Il permet également des tâches telles que la recherche de moments exacts, le suivi d'objets, l'édition de vidéos en langage naturel et le soutien à la robotique et aux systèmes critiques pour la sécurité.

Par exemple, Vidi⁹ est un projet open-source de ByteDance axé sur les grands modèles multimodaux pour la compréhension et l'édition vidéo.

Le dépôt héberge le code et les ressources pour une famille de modèles (par ex., Vidi-7B, Vidi1.5-9B, Vidi2 et Vidi2.5) qui prennent la vision, l'audio et le texte comme entrées pour effectuer des tâches telles que :

• Récupération temporelle (trouver les segments temporels dans une vidéo correspondant à une requête textuelle)
• Ancrage spatio-temporel (localiser des objets avec des boîtes englobantes)
• Réponse aux questions vidéo

Sortie de la frontière multimodale Mistral 3

Mistral IA a développé une nouvelle famille de modèles d'IA open-source appelés Mistral 3. La suite Mistral 3 comprend à la fois des modèles multimodaux/multilingues de niveau frontière et des modèles plus petits et efficaces conçus pour fonctionner sur une gamme d'appareils, du cloud à la périphérie, et même sur un seul GPU.

Publiés sous une licence open-source permissive (Apache 2.0), ces modèles visent à démocratiser l'accès à l'IA avancée, à permettre la personnalisation et la flexibilité de déploiement, et à renforcer la position de l'Europe dans le développement de l'IA, où l'on craint un retard par rapport aux États-Unis et à la Chine dans les technologies de pointe.¹⁰

Modèles vision-langage MoE open source

Kimi-VL (de Moonshot IA) est un modèle vision-langage multimodal open-source construit avec une architecture de mélange d'experts (MoE), performant sur des tâches combinant texte, images et vidéo tout en gardant le calcul efficace.

Il a un squelette de paramètres total de 16 B mais active généralement environ 2.8 B de paramètres pendant l'inférence, ce qui aide à équilibrer la capacité et le coût.

Kimi-VL est conçu pour le raisonnement multimodal avancé, la compréhension de longs contextes (jusqu'à environ 128 K tokens) et les interactions de type agent, et il rivalise bien avec les modèles plus grands sur des benchmarks comme la compréhension vidéo, la reconnaissance optique de caractères (OCR), le raisonnement mathématique et les tâches multi-images.

Des variantes telles que Kimi-VL-A3B-Thinking sont davantage ajustées pour les tâches de chaîne de pensée et de raisonnement, tandis que l'encodeur visuel MoonViT prend en charge la compréhension d'entrées haute résolution.

Figure 2 : Conception de l'architecture Kimi-VL.¹¹

La série Claude 4 d'Anthropic

La série Claude 4 d'Anthropic intègre une compréhension visuelle avancée à son moteur de raisonnement textuel, intégrant la vision directement dans les flux de travail de résolution de problèmes.

Les modèles Claude 4 démontrent de solides performances sur les benchmarks de raisonnement multimodal tels que MMMU, en particulier dans l'interprétation de graphiques, de diagrammes et de données visuelles complexes. Une caractéristique distinctive de Claude Opus 4.1 est sa capacité à évaluer les qualités esthétiques des images, allant au-delà de la reconnaissance pour des évaluations plus nuancées.

Ces capacités, combinées aux fonctions agentiques de Claude, rendent la série efficace pour des tâches telles que la synthèse de recherches à partir de rapports mêlant texte et visuels ou l'assistance à la conception d'interfaces par l'analyse de maquettes visuelles.

Gemini 3 de Google

Google a publié Gemini 3 en novembre 2025, avec Gemini 3 Pro disponible immédiatement et le mode Gemini 3 Deep Think déployé peu après pour les abonnés Google IA Ultra. Gemini 3 est présenté par Google comme son modèle multimodal le plus intelligent et le plus performant, avec un support natif du texte, des images, de la vidéo, de l'audio et du code au sein d'une architecture unique.

Gemini 3 Pro est livré avec une fenêtre de contexte d'un million de tokens et obtient des résultats solides sur les benchmarks multimodaux, y compris 81% sur MMMU-Pro et 87.6% sur Video-MMMU. Il a dominé le classement LMArena à sa sortie avec un score de 1501 Elo, et a obtenu 91.9% sur GPQA Diamond pour le raisonnement de niveau universitaire et 76.2% sur SWE-bench Verified pour les tâches de codage agentique.

Gemini 3 Deep Think est un mode de raisonnement amélioré qui augmente encore les performances sur les tâches les plus exigeantes, obtenant 41.0% sur Humanity's Last Exam (sans outils) et 45.1% sur ARC-AGI-2. Parallèlement à Gemini 3, Google a également publié Google Antigravity, une plateforme de développement agentique qui associe Gemini 3 au modèle Gemini 2.5 Computer Use pour le contrôle du navigateur et au modèle d'édition d'images Nano Banana, permettant des flux de travail de développement logiciel de bout en bout dans lesquels le modèle peut planifier, coder et valider des tâches de manière autonome.¹²

GPT-5 par OpenAI

GPT-5 introduit une multimodalité native améliorée à travers le texte, la voix, l'image et la vidéo. Contrairement aux systèmes précédents qui s'appuyaient fortement sur des plugins, GPT-5 intègre ces modalités dans une architecture unifiée, ce qui se traduit par une interaction plus fluide. Le modèle s'adapte de manière flexible à divers types d'entrée et peut passer de l'un à l'autre.

Une caractéristique notable est son mode vocal en temps réel, qui peut ajuster le ton, le rythme et le style selon les instructions de l'utilisateur. Cela crée une expérience conversationnelle plus naturelle et adaptative. Le traitement visuel s'est également amélioré, réduisant les hallucinations dans l'interprétation ou la génération d'images, de diagrammes et de graphiques. Une autre avancée réside dans ses capacités de mémoire, qui permettent au système de se souvenir des entrées précédentes et de maintenir le contexte sur des interactions prolongées.

Ces améliorations rendent GPT-5 particulièrement précieux pour les interfaces multimodales accessibles, en particulier pour les personnes ayant des déficiences sensorielles.

Les modèles multimodaux axés sur la robotique de Google DeepMind

Google DeepMind a développé Gemini Robotics et Gemini Robotics-ER, des modèles conçus pour intégrer la vision, le langage et l'action au sein des systèmes robotiques. Ces modèles permettent aux robots d'effectuer des tâches dans des environnements non structurés, comme plier du papier ou dévisser des bouchons de bouteille.

Une caractéristique clé de ces modèles est leur mécanisme de sécurité. Avant d'exécuter des actions, le système effectue des vérifications intégrées pour minimiser les risques et garantir le traitement approprié des tâches. Cette approche répond à l'un des défis majeurs de la robotique : faire le lien entre le raisonnement avancé de l'IA et l'exécution sûre et fiable dans le monde réel.

Llama 4 Scout et Llama 4 Maverick par Meta IA

Llama 4 Scout est un modèle multimodal avec 17 milliards de paramètres actifs et 16 experts. Ce modèle surpasse les modèles Llama de la génération précédente et est conçu pour fonctionner sur un seul GPU H100. Il dispose d'une fenêtre de contexte de 10 millions de tokens pour traiter de grandes quantités d'informations. Les résultats des benchmarks indiquent que Llama 4 Scout obtient de meilleurs résultats que Gemma 3, Gemini 2.0 Flash-Lite et Mistral 3.1 sur une gamme de benchmarks largement reconnus.

Llama 4 Maverick est un modèle multimodal avec 17 milliards de paramètres actifs et 128 experts. Ce modèle est présenté comme un des meilleurs de sa catégorie, surpassant GPT-4o et Gemini 2.0 Flash sur une gamme de benchmarks. Il atteint des performances comparables à DeepSeek v3 en raisonnement et codage, tout en utilisant moins de paramètres actifs. Une version chat expérimentale de Llama 4 Maverick a obtenu un score ELO de 1417 sur la plateforme LMArena.

Génération d'images 4o par OpenAI

Le dernier modèle de génération d'images d'OpenAI, intégré dans GPT-4o, fusionne la création textuelle et visuelle dans un système unifié. Cette capacité multimodale permet à GPT-4 de générer des images tout en s'appuyant sur ses connaissances textuelles et le contexte de la conversation, créant une interaction entre le langage et les visuels.

Grâce à la génération en plusieurs tours, les utilisateurs peuvent affiner les images de manière conversationnelle, comme le montrent les figures ci-dessous. Le modèle s'appuie sur les entrées textuelles précédentes et les images téléchargées pour maintenir la cohérence. En analysant les visuels fournis par l'utilisateur et en apprenant en contexte, GPT-4o s'adapte aux détails spécifiques, améliorant sa capacité à produire des images contextuellement pertinentes.

Figure 3 : Invitation à créer un dessin en utilisant des références et en donnant des instructions sur les caractéristiques textuelles de l'image.

Figure 4 : Invitation à créer une photo à partir du dessin et à la placer dans une scène.¹³

Qwen3-VL par Alibaba

La série Qwen3-VL d'Alibaba, dont la sortie a commencé en septembre 2025, s'appuie sur le modèle de langage Qwen3 en ajoutant des capacités de perception visuelle et de raisonnement plus approfondies. La famille comprend des variantes denses de 2B à 32B paramètres et des variantes de mélange d'experts jusqu'à 235B paramètres totaux (22B actifs), toutes publiées sous la licence Apache 2.0.

Les principales caractéristiques incluent une fenêtre de contexte native de 256K (extensible à 1 million de tokens), une OCR multilingue étendue à 32 langues, l'ancrage d'objets 2D et 3D pour le raisonnement spatial et l'IA incarnée, la compréhension de vidéos de plusieurs heures avec indexation à la seconde, et des capacités d'agent visuel pour le contrôle d'interface graphique.

Les variantes Thinking sont optimisées pour les STIM et le raisonnement multimodal, tandis que les variantes Instruct ciblent les tâches générales de vision-langage telles que l'analyse de documents, l'extraction de graphiques et la réponse visuelle aux questions.

Gemma 3 par Google

Gemma 3 de Google s'appuie sur la technologie de ses modèles Gemini 2.0. Il est disponible en quatre tailles (1B, 4B, 12B et 27B) pour différentes exigences matérielles et offre une fenêtre de contexte de 128k tokens. Gemma 3 fonctionne bien sur des configurations à accélérateur unique et inclut le raisonnement textuel et visuel, les appels de fonction et la prise en charge de plus de 35 langues, avec un pré-entraînement pour plus de 140. Les versions quantifiées réduisent la taille du modèle et les besoins de calcul. Le système ShieldGemma 2 fournit une classification de la sécurité du contenu.

Phi-4-multimodal par Microsoft

Phi-4-multimodal de Microsoft est un modèle de 5.6B paramètres qui traite la parole, la vision et le texte dans une architecture unifiée. Il utilise l'apprentissage intermodal pour des interactions contextuelles entre différents types d'entrée. Le modèle gère plusieurs formats d'entrée sans nécessiter de systèmes de traitement séparés et est conçu pour le déploiement sur appareil et l'informatique en périphérie. Les applications incluent l'IA pour smartphone, les systèmes automobiles et les services multilingues.

Qu'est-ce qu'un grand modèle multimodal (LMM) ?

Un grand modèle multimodal est un type avancé de modèle d'intelligence artificielle capable de traiter et de comprendre plusieurs types de modalités de données. Ces données multimodales peuvent inclure du texte, des images, de l'audio, de la vidéo et potentiellement d'autres. La caractéristique clé d'un modèle multimodal est sa capacité à intégrer et à interpréter les informations provenant de ces différentes sources de données, souvent simultanément.

Ceux-ci peuvent être compris comme des versions plus avancées des grands modèles de langage (LLMs) qui peuvent travailler avec du texte et aussi sur divers types de données. De plus, les sorties des modèles de langage multimodaux sont conçues pour être textuelles, visuelles, auditives, etc.

Les modèles de langage multimodaux sont considérés comme la prochaine étape vers la réalisation de l'intelligence artificielle générale.

Qu'est-ce qu'un agent IA multimodal ?

Les agents IA multimodaux sont des systèmes conçus pour interagir avec le monde en utilisant divers types de données, y compris les images, les vidéos et le texte, leur permettant d'opérer à la fois dans des environnements numériques et physiques. Les modèles multimodaux sont le composant central de ces agents, leur permettant de percevoir et de comprendre les informations provenant de sources diverses.

Par exemple, des modèles comme Magma utilisent la compréhension vision-langage et l'intelligence spatiale, obtenues grâce à des techniques comme Set-of-Mark et Trace-of-Mark pendant le pré-entraînement sur des ensembles de données multimodales.

Cela permet à l'agent d'effectuer des tâches allant de la compréhension du contenu vidéo et de la réponse à des questions à la navigation dans les interfaces utilisateur et au contrôle de robots, démontrant les capacités polyvalentes que les modèles multimodaux apportent aux agents IA en exploitant différentes modalités de données. L'illustration ci-dessous montre Magma planifiant des trajectoires de robot pour accomplir des tâches, mettant en valeur son intelligence spatiale en action.¹⁴

Quelle est la différence entre les LMM et les LLMs ?

1. Modalités de données

• LMM : Ils sont conçus pour comprendre et traiter plusieurs types d'entrées de données, ou modalités. Cela inclut le texte, les images, l'audio, la vidéo et parfois d'autres types de données comme les données sensorielles. La capacité clé des LMM est leur faculté à intégrer et à donner un sens à ces différents formats de données, souvent simultanément.
• LLMs : Ces modèles sont spécialisés dans le traitement et la génération de données textuelles. Ils sont entraînés principalement sur de grands corpus de texte et sont aptes à comprendre et à générer le langage humain dans une variété de contextes. Ils ne traitent pas intrinsèquement les données non textuelles comme les images ou l'audio.

2. Applications et tâches

• LMM : En raison de leur nature multimodale, ces modèles peuvent être appliqués à des tâches qui nécessitent de comprendre et d'intégrer des informations à travers différents types de données. Par exemple, un LMM pourrait analyser un article de presse (texte), ses photographies d'accompagnement (images) et les clips vidéo associés pour obtenir une compréhension globale.
• LLMs : Leurs applications sont centrées sur les tâches impliquant du texte, comme la rédaction d'articles, la traduction de langues, la réponse à des questions, le résumé de documents et la création de contenu textuel.

Quelles sont les modalités de données des grands modèles multimodaux ?

Texte

Cela inclut toute forme de contenu écrit, comme les livres, les articles, les pages Web et les publications sur les réseaux sociaux. Le modèle peut comprendre, interpréter et générer du contenu textuel, y compris des tâches de traitement du langage naturel telles que la traduction, le résumé et la réponse à des questions.

Images

Ces modèles peuvent analyser et générer des données visuelles. Cela inclut la compréhension du contenu et du contexte des photographies, illustrations et autres représentations graphiques. Des tâches telles que la classification d'images, la détection d'objets et la génération d'images à partir de descriptions textuelles entrent dans cette catégorie.

Audio

Cela englobe les enregistrements sonores, la musique et la langue parlée. Les modèles peuvent être entraînés à reconnaître la parole, la musique, les sons ambiants et d'autres entrées auditives. Ils peuvent transcrire la parole, comprendre des commandes vocales et même générer de la parole ou de la musique synthétique.

Vidéo

Combinant des éléments visuels et auditifs, le traitement vidéo implique la compréhension d'images en mouvement et des sons qui les accompagnent. Cela peut inclure l'analyse du contenu vidéo, la reconnaissance d'actions ou d'événements dans les vidéos et la génération de clips vidéo.

Alors que la plupart des grands modèles de langage multimodaux actuels peuvent traiter le texte et les images, les recherches futures visent à inclure les entrées de données audio et vidéo.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Comment les grands modèles multimodaux sont-ils entraînés ?

L'entraînement des grands modèles multimodaux (LMM) diffère considérablement de l'entraînement des grands modèles de langage (LLMs) sur plusieurs aspects clés :

1. Collecte et préparation des données

• LLMs : Se concentrent sur les données textuelles provenant de livres, de sites Web et de sources écrites, en mettant l'accent sur la diversité linguistique pour les sources de données d'entraînement des LLM.
• LMM : Nécessitent des données textuelles, d'images, audio et vidéo. La collecte est plus complexe en raison des formats variés. L'annotation des données et l'alignement entre les modalités sont essentiels.

2. Conception de l'architecture du modèle

• LLMs : Utilisent des architectures transformer optimisées pour le traitement séquentiel du texte.
• LMM : Emploient des architectures plus complexes qui intègrent plusieurs types de réseaux de neurones (CNN pour les images, transformers pour le texte) avec des mécanismes pour connecter ces modalités.

3. Pré-entraînement

• LLMs : Pré-entraînement sur des corpus de texte en utilisant des techniques comme la modélisation de langage masqué.
• LMM : Pré-entraînement sur plusieurs types de données, en apprenant à corréler le texte avec les images ou à comprendre les séquences vidéo.

4. Ajustement fin

• LLMs : Ajustement fin sur des ensembles de données textuelles spécialisés pour des tâches spécifiques.
• LMM : Nécessitent un ajustement fin à la fois sur des ensembles de données spécifiques à la modalité et sur des ensembles de données intermodaux pour établir des relations entre les différents types de données.

5. Évaluation et itération

• LLMs : Les mesures d'évaluation se concentrent sur les tâches de compréhension et de génération du langage, y compris la fluidité, la cohérence et la pertinence.
• LMM : Évalués sur des mesures plus larges couvrant la reconnaissance d'images, le traitement audio et les capacités d'intégration intermodale.

Comment fonctionnent les LMM ?

Les grands modèles multimodaux partagent des similitudes avec les grands modèles de langage dans leur processus d'entraînement, leur conception et leur fonctionnement. Ils utilisent la même architecture transformer et les mêmes stratégies d'entraînement. Les grands modèles multimodaux sont entraînés sur :

• Données textuelles
• Des millions ou des milliards d'images avec des descriptions textuelles
• Des clips vidéo
• Des extraits audio
• D'autres données d'entrée, comme le code

Cet entraînement implique l'apprentissage simultané de plusieurs modalités de données, permettant au modèle de :

• Reconnaître une photo de chat
• Identifier un mot dans un clip audio
• Comprendre des concepts et des détails sensoriels au-delà du texte

De cette manière, les utilisateurs peuvent télécharger :

• Une image pour :
  • Obtenir une description de ce qui se passe
  • Utiliser l'image comme partie d'un prompt pour générer du texte ou des images
  • Poser des questions de suivi sur des éléments spécifiques de l'image
  • Traduire le texte de l'image dans une langue différente (par ex., Menu)

Figure 5 : Téléchargement d'une image de chat sur ChatGPT pour la décrire.

• Des graphiques et des diagrammes pour :
  • Poser des questions de suivi complexes sur ce qu'ils montrent
• Une maquette de conception pour :
  • Obtenir le code HTML et CSS nécessaire pour la créer.

Figure 6 : Demande de style de film de Wes Anderson pour l'image. ChatGPT transmet le prompt à un modèle de génération d'images (comme DALL·E), qui interprète la demande et produit l'image stylisée.

Après le processus d'entraînement, les modèles peuvent incorporer des stéréotypes malsains et des idées toxiques. Pour les affiner, des techniques telles que :

• L'apprentissage par renforcement avec rétroaction humaine (RLHF)
• Les modèles d'IA de supervision
• La red teaming (test de la robustesse du modèle) peuvent être utilisées.

De plus, les outils de gouvernance de l'IA et les outils d'IA responsable, qui fonctionnent comme des solutions de conformité IA, peuvent également permettre l'optimisation de l'inventaire IA, aidant à prévenir les biais de l'IA et autres dilemmes éthiques. Voici un exemple de la manière dont ces outils traitent les préoccupations liées aux droits d'auteur de l'IA générative :

Figure 7 : ChatGPT rejette ma demande en raison des règles de la politique de contenu pour protéger les droits d'auteur.

L'objectif est de développer un système multimodal fonctionnel capable de gérer :

• La synthèse texte-image
• Le sous-titrage d'images
• La recherche d'images basée sur le texte
• La réponse visuelle aux questions.

De cette manière, l'IA multimodale peut intégrer diverses modalités, offrant des capacités avancées pour les tâches qui impliquent à la fois le langage et la vision.

Quelles sont les limites des grands modèles de langage ?

1. Exigences en matière de données et biais : Ces modèles nécessitent des ensembles de données massifs et diversifiés pour l'entraînement. Cependant, la disponibilité et la qualité de ces ensembles de données peuvent être un défi. De plus, si les données d'entraînement contiennent des biais, le modèle est susceptible d'hériter et éventuellement d'amplifier ces biais, conduisant à des résultats injustes ou contraires à l'éthique.
2. Ressources computationnelles : L'entraînement et l'exécution de grands modèles multimodaux nécessitent des ressources computationnelles importantes, ce qui les rend coûteux et moins accessibles aux petites organisations ou aux chercheurs indépendants.
3. Interprétabilité et explicabilité : Comme pour les modèles d'IA complexes, comprendre comment ils prennent des décisions peut être difficile. Ce manque de transparence peut être un problème critique, en particulier dans les applications sensibles comme les soins de santé ou l'application de la loi.
4. Intégration des modalités : Intégrer efficacement différents types de données (comme le texte, les images et l'audio) d'une manière qui comprend vraiment les nuances de chaque modalité est extrêmement difficile. Le modèle peut ne pas toujours saisir avec précision le contexte ou les subtilités de la communication humaine qui découlent de la combinaison de ces modalités.
5. Généralisation et surapprentissage : Bien que ces modèles soient entraînés sur de vastes ensembles de données, ils peuvent avoir du mal à généraliser à de nouvelles données ou scénarios inédits qui diffèrent considérablement de leurs données d'entraînement. Inversement, ils peuvent sur-apprendre les données d'entraînement, capturant le bruit et les anomalies comme des modèles.

Pour en savoir plus, explorez les défis et les risques associés aux modèles génératifs et de langage.

Méthodologie de benchmark pour les LMM

Nous avons évalué les performances des grands modèles multimodaux (LMM) en utilisant un sous-ensemble de l'ensemble de données FinMME¹⁵ , un benchmark complet conçu pour évaluer les capacités de raisonnement multimodal financier. FinMME comprend plus de 11,000 échantillons financiers de haute qualité répartis dans 18 domaines financiers et 6 classes d'actifs, fournissant un cadre robuste pour évaluer les LMM dans le domaine financier.

Pour ce benchmarking, nous avons utilisé une sélection organisée de 100 échantillons de l'ensemble de données FinMME pour analyser la capacité des modèles à traiter et à raisonner avec des données financières multimodales.

Avertissement

Cette évaluation a utilisé un sous-ensemble organisé de 100 échantillons provenant d'un ensemble de données plus vaste pour benchmarker les LMM. Pour une évaluation complète des performances du modèle, tous les échantillons de l'ensemble de données de benchmark complet doivent être pris en compte.

Citez ce benchmark

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Grands modèles multimodaux (LMM) vs LLMs}},
  year   = {2026},
  month  = may,
  howpublished    = {\url{https://aimultiple.com/large-multimodal-models}},
  note   = {AIMultiple. Consulté le 22 Mai 2026}
}

Liens de référence

1.

Gemma 3: Google’s new open model based on Gemini 2.0

Google

2.

GitHub - deepseek-ai/Janus: Janus-Series: Unified Multimodal Understanding and Generation Models · GitHub

3.

GitHub - QwenLM/Qwen3-VL: Qwen3-VL is the multimodal large language model series developed by Qwen team, Alibaba Cloud. · GitHub

4.

https://qwen.ai/blog?id=qwen2.5-vl-32b

5.

CLIP: Connecting text and images | OpenAI

6.

https://qwen.ai/blog?id=qwen2.5-vl-32b

7.

[2204.14198] Flamingo: a Visual Language Model for Few-Shot Learning

8.

Multimodality and Large Multimodal Models (LMMs)

9.

GitHub - bytedance/vidi: The official repo for "Vidi: Large Multimodal Models for Video Understanding and Editing" · GitHub

10.

Client Challenge

Financial Times

11.

GitHub - MoonshotAI/Kimi-VL: Kimi-VL: Mixture-of-Experts Vision-Language Model for Multimodal Reasoning, Long-Context Understanding, and Strong Agent Capabilities · GitHub

12.

Gemini 3: Introducing the latest Gemini AI model from Google

Google

13.

Introducing 4o Image Generation | OpenAI

14.

Magma: A Foundation Model for Multimodal AI Agents

15.

luojunyu/FinMME · Datasets at Hugging Face

Cem Dilmegani

Analyste principal

Suivre

Cem est analyste principal chez AIMultiple depuis 2017. AIMultiple informe chaque mois des centaines de milliers d'entreprises (selon similarWeb), dont 55 % des entreprises du classement Fortune 500. Les travaux de Cem ont été cités par des publications internationales de premier plan telles que Business Insider, Forbes et le Washington Post, ainsi que par des entreprises mondiales comme Deloitte et HPE, des ONG comme le Forum économique mondial et des organisations supranationales comme la Commission européenne. Vous trouverez d'autres entreprises et ressources réputées ayant fait référence à AIMultiple. Tout au long de sa carrière, Cem a exercé les fonctions de consultant, d'acheteur et d'entrepreneur dans le secteur des technologies. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la numérisation. Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité directe du PDG. Il a également piloté la croissance commerciale de la société de deep tech Hypatos, qui a atteint un chiffre d'affaires annuel récurrent à sept chiffres et une valorisation à neuf chiffres en seulement deux ans. Les travaux de Cem chez Hypatos ont été présentés dans des publications technologiques de référence telles que TechCrunch et Business Insider. Cem intervient régulièrement lors de conférences internationales sur les technologies. Diplômé en génie informatique de l'université de Bogazici, il est également titulaire d'un MBA de la Columbia Business School.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire