Grands modèles multimodaux (LMMs) vs LLMs

Nous avons évalué la performance des grands modèles multimodaux (LMMs) dans des tâches de raisonnement financier en utilisant un jeu de données soigneusement sélectionné. En analysant un sous-ensemble d'échantillons financiers de haute qualité, nous évaluons les capacités des modèles à traiter et à raisonner avec des données multimodales dans le domaine financier.

La section méthodologie fournit des informations détaillées sur le jeu de données et le cadre d'évaluation utilisés.

Explorez les grands modèles multimodaux et comparez-les aux grands modèles de langage.

Pourquoi les modèles ont-ils obtenu des performances différentes ?

La variation des taux de succès reflète les différences dans la manière dont chaque modèle traite les tâches financières multimodales. Étant donné que le benchmark utilise des échantillons du jeu de données FinMME, qui nécessitent d'intégrer du texte et des visuels financiers tels que des graphiques et des documents structurés, la performance dépend fortement de l'architecture du modèle, de la qualité de l'entraînement et de l'alignement multimodal.

Architecture du modèle et conception des paramètres

Les modèles diffèrent dans la manière dont ils combinent les encodeurs de texte et d'image, le nombre de paramètres actifs et la complexité de leur routage d'experts.

• Llama 4 Maverick, par exemple, utilise une conception basée sur des experts plus large, permettant un raisonnement plus fort.
• Les modèles plus petits ou axés sur l'efficacité ont moins de paramètres alignés sur le raisonnement multimodal, ce qui limite les performances.

Ces distinctions architecturales affectent la capacité de chaque modèle à interpréter les relations numériques, les structures de graphiques et les visuels spécifiques au domaine.

Couverture des données d'entraînement

Certains modèles sont entraînés sur des jeux de données multimodaux étendus, tandis que d'autres s'appuient principalement sur des données généralistes.

• Les modèles des familles Claude 4 et Qwen 2.5 intègrent des données visuelles et textuelles à grande échelle, améliorant leur capacité à aligner les indices numériques et visuels.
• Les modèles entraînés sur des corpus multimodaux plus limités peinent avec les graphiques financiers et les diagrammes structurés.

Les données d'entraînement influencent directement la fiabilité avec laquelle un modèle gère les concepts financiers cross-modaux.

Ajustement fin pour le raisonnement cross-modal

Le benchmark nécessite une coordination entre l'interprétation d'images et le raisonnement textuel.

• Les modèles Claude 4 sont décrits comme étant performants sur les tâches impliquant des graphiques et des diagrammes.
• Les modèles sans ajustement fin cross-modal dédié peuvent détecter correctement les caractéristiques visuelles mais échouer à les relier au langage ou à la logique financière.

La stratégie d'ajustement fin d'un modèle affecte sa capacité à fusionner les signaux textuels et visuels pendant l'analyse.

Capacité de gestion du contexte

Les échantillons financiers contiennent souvent des éléments multiples qui doivent être lus ensemble, tels que des graphiques en plusieurs parties ou de longues descriptions.

• Les modèles avec des fenêtres de contexte plus larges peuvent conserver les relations à travers de longues entrées.
• Les modèles plus contraints peuvent manquer des dépendances, réduisant la précision dans les tâches qui nécessitent le suivi de plusieurs composants visuels et textuels.

La taille de la fenêtre de contexte influence la capacité d'un modèle à maintenir l'alignement entre les détails quantitatifs et visuels.

Taille du modèle et priorités d'efficacité

Certains modèles sont délibérément conçus pour un déploiement léger plutôt que pour un raisonnement de haute complexité.

• Phi-4 multimodal et les modèles similaires privilégient l'efficacité, limitant la profondeur du traitement multimodal.
• Les modèles plus grands conservent une capacité plus élevée pour les tâches de raisonnement impliquant une compréhension fine des graphiques.

Ce compromis entraîne des scores plus bas pour les petits modèles.

Différences dans la compréhension visuelle

L'évaluation inclut des tâches qui nécessitent une lecture précise des graphiques, l'identification d'objets dans les documents financiers et l'extraction de détails visuels.

• Les modèles avec des pipelines visuels avancés, tels que les variantes Qwen 2.5-VL, gèrent ces tâches plus efficacement.
• D'autres peuvent bien gérer les images génériques mais avoir des performances incohérentes avec les visuels financiers structurés.

La force du raisonnement visuel affecte fortement les résultats sur les échantillons de style FinMME.

Caractéristiques du jeu de données d'évaluation

Le jeu de données se concentre sur le raisonnement financier multimodal plutôt que sur des tâches généralistes.

• Les modèles entraînés ou ajustés pour des tâches financières, numériques ou basées sur des graphiques obtiennent de meilleurs résultats.
• Les modèles généralistes sans exposition au domaine présentent une précision plus faible sur les jeux de données financiers.

La spécialisation du jeu de données rend la performance plus sensible à la qualité du raisonnement cross-modal.

Que sont les grands modèles multimodaux open-source ?

LMMs open-source avec leur nombre d'étoiles GitHub :

Le graphique montre que la popularité sur GitHub de divers LMMs open-source a augmenté, certains modèles connaissant une adoption rapide peu après leur sortie.

La série Janus de DeepSeek a gagné des milliers d'étoiles GitHub en quelques jours après la sortie de Janus-Pro le 27 janvier 2025, surpassant ses concurrents, qui ont mis des mois à atteindre des chiffres similaires. Cette ascension rapide était due au succès de Janus-Pro et a été influencée par l'élan créé par DeepSeek-R1.

1. Gemma 3 par Google : Gemma 3 est une famille de modèles ouverts légers et de pointe dérivés de la technologie Gemini 2.0. Ces modèles offrent des capacités avancées de raisonnement textuel et visuel, une fenêtre de contexte de 128k tokens, la prise en charge des appels de fonction, et des versions quantifiées pour des performances optimisées. Il inclut ShieldGemma 2 pour la sécurité des images et prend en charge divers outils et options de déploiement.¹
2. Janus-Pro par DeepSeek : Janus-Pro est une version avancée du modèle Janus, conçue pour comprendre et générer à la fois du texte et des images. Il propose une stratégie d'entraînement optimisée, des données d'entraînement étendues et une taille de modèle plus grande, améliorant ses capacités multimodales.²
3. Qwen2.5-VL par Alibaba : Qwen2.5-VL d'Alibaba est une extension multimodale du modèle de langage Qwen2.5, conçu pour la compréhension à la fois du texte et de l'image. Il bénéficie d'un pré-entraînement à grande échelle (jusqu'à 18T tokens), d'une fenêtre de contexte étendue (jusqu'à 128K tokens), d'un suivi d'instructions amélioré et d'un support multilingue robuste, ce qui le rend adapté à des tâches comme le sous-titrage d'images et la réponse à des questions visuelles. ³
   • S'appuyant sur la série Qwen2.5-VL, Alibaba a optimisé et ouvert en open-source Qwen2.5-VL-32B-Instruct, un modèle VL de 32B intégrant une compréhension et un raisonnement fins des images améliorés. Cela se traduit par des performances et une analyse détaillée améliorées pour des tâches telles que l'analyse d'images, la reconnaissance de contenu et la déduction logique visuelle.⁴
4. CLIP (Contrastive Language–Image Pretraining) par OpenAI : CLIP est conçu pour comprendre les images dans le contexte du langage naturel. Il peut effectuer des tâches comme la classification d'images zero-shot, où il peut classer avec précision des images même dans des catégories pour lesquelles il n'a pas été explicitement entraîné, en comprenant les descriptions textuelles.⁵
   • S'appuyant sur la série Qwen2.5-VL, Alibaba a optimisé et ouvert en open-source Qwen2.5-VL-32B-Instruct, un modèle VL de 32B intégrant une compréhension et un raisonnement fins des images améliorés. Cela se traduit par des performances et une analyse détaillée améliorées pour des tâches telles que l'analyse d'images, la reconnaissance de contenu et la déduction logique visuelle.⁶
5. Flamingo par DeepMind : Flamingo est conçu pour tirer parti des atouts de la compréhension linguistique et visuelle, ce qui le rend capable d'effectuer des tâches nécessitant l'interprétation et l'intégration d'informations provenant à la fois du texte et des images.⁷

Figure 1 : Un exemple tiré de Chip Huyen⁸

Quels sont les principaux LMMs ?

Fonctionnalités UI & API des LLMs généralistes

Les fournisseurs sont sélectionnés parmi les LLMs multimodaux les plus populaires sur la base de la comparabilité, de la disponibilité des données et de l'actualité.

LMMs avec leur prix par token :

Pour sélectionner le modèle plus adapté, tenez compte de facteurs tels que votre budget, les capacités et le niveau de performance requis, ainsi que le volume attendu de tokens d'entrée/sortie nécessaires pour votre cas d'utilisation spécifique.

En savoir plus sur la tarification des LLM.

Quelles sont les dernières avancées en matière de modèles multimodaux ?

Les avancées récentes dans les modèles multimodaux ont introduit de nouvelles capacités et efficacités dans le développement de l'IA.

Modèles de fondation multimodaux axés sur la vidéo

Les modèles de fondation multimodaux axés sur la vidéo vont au-delà de la génération de légendes ou de résumés de haut niveau et apprennent plutôt à localiser explicitement les preuves à l'intérieur des vidéos.

Plutôt que de dire ce qui se passe, ils peuvent identifier quand cela se passe (horodatages) et où cela se passe (boîtes englobantes autour d'objets ou de régions).

Ce changement vers l'ancrage spatio-temporel rend la compréhension vidéo plus précise et vérifiable. Il permet également des tâches telles que la recherche de moments exacts, le suivi d'objets, le montage vidéo en langage naturel et le soutien à la robotique et aux systèmes critiques pour la sécurité.

Par exemple, Vidi⁹ est un projet open-source de ByteDance axé sur les grands modèles multimodaux pour la compréhension et l'édition vidéo.

Le dépôt héberge le code et les ressources pour une famille de modèles (par ex., Vidi-7B, Vidi1.5-9B, Vidi2, et Vidi2.5) qui prennent la vision, l'audio et le texte comme entrées pour effectuer des tâches telles que :

• Récupération temporelle (trouver les segments temporels dans une vidéo correspondant à une requête textuelle)
• Ancrage spatio-temporel (localiser des objets avec des boîtes englobantes)
• Réponse à des questions vidéo

Version multimodale frontière Mistral 3

Mistral IA a développé une nouvelle famille de modèles d'IA open-source appelée Mistral 3. La suite Mistral 3 comprend à la fois des modèles multimodaux/multilingues de niveau frontière et des modèles plus petits et efficaces conçus pour fonctionner sur une gamme d'appareils, du cloud à la périphérie, et même sur des GPU uniques.

Publiés sous une licence open-source permissive (Apache 2.0), ces modèles visent à démocratiser l'accès à l'IA avancée, à permettre la personnalisation et la flexibilité de déploiement, et à renforcer la position de l'Europe dans le développement de l'IA, où l'on craint un retard par rapport aux États-Unis et à la Chine dans les technologies de pointe.¹⁰

Modèles de langage visuel MoE open-source

Kimi-VL (de Moonshot IA) est un modèle de langage visuel multimodal open-source construit avec une architecture de mélange d'experts (MoE), qui effectue des tâches combinant texte, images et vidéo tout en maintenant l'efficacité du calcul.

Il possède une colonne vertébrale de 16 milliards de paramètres totaux mais active généralement environ 2,8 milliards de paramètres pendant l'inférence, ce qui aide à équilibrer la capacité et le coût.

Kimi-VL est conçu pour le raisonnement multimodal avancé, la compréhension de contextes longs (jusqu'à environ 128 K tokens) et les interactions de type agent, et il rivalise bien avec les modèles plus grands sur des benchmarks comme la compréhension vidéo, la reconnaissance optique de caractères (OCR), le raisonnement mathématique et les tâches multi-images.

Des variantes telles que Kimi-VL-A3B-Thinking sont en outre ajustées pour les tâches de chaîne de pensée et de raisonnement, tandis que l'encodeur visuel MoonViT prend en charge la compréhension d'entrées haute résolution.

Figure 2 : Conception de l'architecture Kimi-VL.¹¹

Série Claude 4 d'Anthropic

La série Claude 4 d'Anthropic intègre une compréhension visuelle avancée à son moteur de raisonnement textuel, intégrant la vision directement dans les flux de travail de résolution de problèmes.

Les modèles Claude 4 démontrent de solides performances sur les benchmarks de raisonnement multimodal tels que MMMU, en particulier dans l'interprétation de graphiques, de diagrammes et de données visuelles complexes. Une caractéristique distinctive de Claude Opus 4.1 est sa capacité à évaluer les qualités esthétiques des images, allant au-delà de la reconnaissance pour des évaluations plus nuancées.

Ces capacités, combinées aux fonctions agentiques de Claude, rendent la série efficace pour des tâches telles que la synthèse de recherches à partir de rapports avec du texte et des visuels mixtes ou l'assistance à la conception d'interfaces par l'analyse de maquettes visuelles.

Gemini 3 de Google

Google a publié Gemini 3 en novembre 2025, avec Gemini 3 Pro disponible immédiatement et le mode Gemini 3 Deep Think déployé peu après pour les abonnés Google IA Ultra. Gemini 3 est positionné par Google comme son modèle multimodal le plus intelligent et le plus capable, avec un support natif pour le texte, les images, la vidéo, l'audio et le code au sein d'une architecture unique.

Gemini 3 Pro est livré avec une fenêtre de contexte de 1 million de tokens et obtient de solides résultats sur les benchmarks multimodaux, notamment 81 % sur MMMU-Pro et 87,6 % sur Video-MMMU. Il a dominé le classement LMArena à sa sortie avec un score de 1501 Elo, et a obtenu 91,9 % sur GPQA Diamond pour le raisonnement de niveau universitaire et 76,2 % sur SWE-bench Verified pour les tâches de codage agentique.

Gemini 3 Deep Think est un mode de raisonnement amélioré qui améliore encore les performances sur les tâches les plus exigeantes, avec un score de 41,0 % sur Humanity's Last Exam (sans outils) et de 45,1 % sur ARC-AGI-2. Parallèlement à Gemini 3, Google a également publié Google Antigravity, une plateforme de développement agentique qui associe Gemini 3 au modèle Gemini 2.5 Computer Use pour le contrôle du navigateur et au modèle d'édition d'image Nano Banana, permettant des flux de travail de développement logiciel de bout en bout dans lesquels le modèle peut planifier, coder et valider des tâches de manière autonome.¹²

GPT-5 par OpenAI

GPT-5 introduit une multimodalité native améliorée à travers le texte, la voix, l'image et la vidéo. Contrairement aux systèmes précédents qui dépendaient fortement de plugins, GPT-5 intègre ces modalités au sein d'une architecture unifiée, ce qui se traduit par une interaction plus fluide. Le modèle s'adapte avec souplesse à divers types d'entrées et peut passer de l'un à l'autre.

Une caractéristique notable est son mode vocal en temps réel, qui peut ajuster le ton, le rythme et le style en fonction des instructions de l'utilisateur. Cela crée une expérience conversationnelle plus naturelle et adaptative. Le traitement visuel a également été amélioré, réduisant les hallucinations lors de l'interprétation ou de la génération d'images, de diagrammes et de graphiques. Une autre avancée réside dans ses capacités de mémoire, qui permettent au système de se souvenir des entrées précédentes et de maintenir le contexte sur des interactions prolongées.

Ces améliorations rendent GPT-5 particulièrement précieux pour les interfaces multimodales accessibles, en particulier pour les personnes ayant des déficiences sensorielles.

Modèles multimodaux axés sur la robotique de Google DeepMind

Google DeepMind a développé Gemini Robotics et Gemini Robotics-ER, des modèles conçus pour intégrer la vision, le langage et l'action au sein des systèmes robotiques. Ces modèles permettent aux robots d'effectuer des tâches dans des environnements non structurés, comme plier du papier ou dévisser des bouchons de bouteille.

Une caractéristique clé de ces modèles est leur mécanisme de sécurité. Avant d'exécuter des actions, le système effectue des vérifications intégrées pour minimiser les risques et assurer la manipulation appropriée des tâches. Cette approche répond à l'un des défis majeurs de la robotique : relier le raisonnement avancé de l'IA à une exécution sûre et fiable dans le monde réel.

Llama 4 Scout et Llama 4 Maverick par Meta IA

Llama 4 Scout est un modèle multimodal avec 17 milliards de paramètres actifs et 16 experts. Ce modèle surpasse les modèles Llama de la génération précédente et est conçu pour fonctionner sur un seul GPU H100. Il dispose d'une fenêtre de contexte de 10 millions de tokens pour traiter de grandes quantités d'informations. Les résultats des benchmarks indiquent que Llama 4 Scout obtient de meilleurs résultats que Gemma 3, Gemini 2.0 Flash-Lite, et Mistral 3.1 sur une gamme de benchmarks largement rapportés.

Llama 4 Maverick est un modèle multimodal avec 17 milliards de paramètres actifs et 128 experts. Ce modèle est présenté comme un modèle de premier plan dans sa catégorie, surpassant GPT-4o et Gemini 2.0 Flash sur une gamme de benchmarks. Il atteint des performances comparables à DeepSeek v3 en raisonnement et en codage, tout en utilisant moins de paramètres actifs. Une version expérimentale de chat de Llama 4 Maverick a obtenu un score ELO de 1417 sur la plateforme LMArena.

Génération d'images 4o par OpenAI

Le dernier modèle de génération d'images d'OpenAI, intégré dans GPT-4o, intègre la création textuelle et visuelle dans un système unifié. Cette capacité multimodale permet à GPT-4 de générer des images tout en s'appuyant sur ses connaissances textuelles et le contexte de la conversation, créant une interplay entre le langage et les visuels.

Grâce à la génération multi-tours, les utilisateurs peuvent affiner les images de manière conversationnelle, comme le montrent les figures ci-dessous. Le modèle s'appuie sur les entrées textuelles et les images téléchargées précédentes pour maintenir la cohérence. En analysant les visuels fournis par l'utilisateur et en apprenant en contexte, GPT-4o s'adapte aux détails spécifiques, améliorant sa capacité à produire des images contextuellement pertinentes.

Figure 3 : Invitation à la création d'un dessin en utilisant des références et en donnant des instructions sur les caractéristiques du texte pour l'image.

Figure 4 : Invitation à la création d'une photo à partir du dessin et à son placement dans une scène.¹³

Qwen3-VL par Alibaba

La série Qwen3-VL d'Alibaba, publiée à partir de septembre 2025, s'appuie sur le modèle de langage Qwen3 en ajoutant des capacités de perception visuelle et de raisonnement plus profondes. La famille comprend des variantes denses de 2B à 32B paramètres et des variantes de mélange d'experts jusqu'à 235B paramètres totaux (22B actifs), toutes publiées sous licence Apache 2.0.

Les caractéristiques clés incluent une fenêtre de contexte native de 256K (extensible à 1 million de tokens), une OCR multilingue étendue pour 32 langues, l'ancrage d'objets en 2D et 3D pour le raisonnement spatial et l'IA incarnée, la compréhension de vidéos durant des heures avec une indexation à la seconde près, et des capacités d'agent visuel pour le contrôle d'interface graphique.

Les variantes Thinking sont conçues pour les STEM et le raisonnement multimodal, tandis que les variantes Instruct ciblent des tâches générales de langage visuel telles que l'analyse de documents, l'extraction de graphiques et la réponse à des questions visuelles.

Gemma 3 par Google

Gemma 3 de Google s'appuie sur la technologie de leurs modèles Gemini 2.0. Il est disponible en quatre tailles (1B, 4B, 12B et 27B) pour différentes exigences matérielles et offre une fenêtre de contexte de 128k tokens. Gemma 3 fonctionne bien sur des configurations à accélérateur unique et inclut le raisonnement textuel et visuel, l'appel de fonction, et le support de plus de 35 langues, avec un pré-entraînement pour plus de 140. Les versions quantifiées réduisent la taille du modèle et les besoins en calcul. Le système ShieldGemma 2 fournit une classification de sécurité du contenu.

Phi-4-multimodal par Microsoft

Phi-4-multimodal de Microsoft est un modèle de 5,6B paramètres qui traite la parole, la vision et le texte dans une architecture unifiée. Il utilise l'apprentissage cross-modal pour des interactions contextuelles entre différents types d'entrées. Le modèle gère plusieurs formats d'entrée sans nécessiter de systèmes de traitement séparés et est conçu pour le déploiement sur appareil et l'informatique en périphérie. Les applications incluent l'IA pour smartphones, les systèmes automobiles et les services multilingues.

Qu'est-ce qu'un grand modèle multimodal (LMM) ?

Un grand modèle multimodal est un type avancé de modèle d'intelligence artificielle capable de traiter et de comprendre plusieurs types de modalités de données. Ces données multimodales peuvent inclure du texte, des images, de l'audio, de la vidéo et potentiellement d'autres. La caractéristique clé d'un modèle multimodal est sa capacité à intégrer et à interpréter des informations provenant de ces différentes sources de données, souvent simultanément.

Celles-ci peuvent être comprises comme des versions plus avancées des grands modèles de langage (LLMs) qui peuvent travailler avec du texte et aussi sur divers types de données. De plus, les sorties des modèles de langage multimodal sont conçues pour être textuelles, visuelles, auditives, etc.

Les modèles de langage multimodal sont considérés comme la prochaine étape vers la réalisation de l'intelligence artificielle générale.

Qu'est-ce qu'un agent IA multimodal ?

Les agents IA multimodaux sont des systèmes conçus pour interagir avec le monde en utilisant divers types de données, y compris des images, des vidéos et du texte, leur permettant d'opérer à la fois dans des environnements numériques et physiques. Les modèles multimodaux sont le composant central de ces agents, leur permettant de percevoir et de comprendre des informations provenant de diverses sources.

Par exemple, des modèles comme Magma utilisent la compréhension du langage visuel et l'intelligence spatiale, obtenues grâce à des techniques comme Set-of-Mark et Trace-of-Mark pendant le pré-entraînement sur des jeux de données multimodaux.

Cela permet à l'agent d'effectuer des tâches allant de la compréhension du contenu vidéo et de la réponse aux questions à la navigation dans les interfaces utilisateur et au contrôle de robots, démontrant les capacités polyvalentes que les modèles multimodaux apportent aux agents IA en exploitant différentes modalités de données. L'illustration ci-dessous montre Magma planifiant des trajectoires de robot pour accomplir des tâches, mettant en valeur son intelligence spatiale en action.¹⁴

Quelle est la différence entre les LMMs et les LLMs ?

1. Modalités de données

• LMMs : Ils sont conçus pour comprendre et traiter plusieurs types d'entrées de données, ou modalités. Cela inclut le texte, les images, l'audio, la vidéo, et parfois d'autres types de données comme les données sensorielles. La capacité clé des LMMs est leur aptitude à intégrer et à donner un sens à ces différents formats de données, souvent simultanément.
• LLMs : Ces modèles sont spécialisés dans le traitement et la génération de données textuelles. Ils sont principalement entraînés sur de grands corpus de texte et sont aptes à comprendre et à générer le langage humain dans divers contextes. Ils ne traitent pas intrinsèquement les données non textuelles comme les images ou l'audio.

2. Applications et tâches

• LMMs : En raison de leur nature multimodale, ces modèles peuvent être appliqués à des tâches qui nécessitent de comprendre et d'intégrer des informations à travers différents types de données. Par exemple, un LMM pourrait analyser un article de presse (texte), ses photographies d'accompagnement (images) et des clips vidéo connexes pour acquérir une compréhension globale.
• LLMs : Leurs applications sont centrées sur des tâches impliquant du texte, comme la rédaction d'articles, la traduction de langues, la réponse à des questions, le résumé de documents et la création de contenu textuel.

Quelles sont les modalités de données des grands modèles multimodaux ?

Texte

Cela inclut toute forme de contenu écrit, comme les livres, les articles, les pages web et les publications sur les réseaux sociaux. Le modèle peut comprendre, interpréter et générer du contenu textuel, y compris des tâches de traitement du langage naturel telles que la traduction, le résumé et la réponse aux questions.

Images

Ces modèles peuvent analyser et générer des données visuelles. Cela inclut la compréhension du contenu et du contexte des photographies, des illustrations et d'autres représentations graphiques. Des tâches telles que la classification d'images, la détection d'objets et la génération d'images à partir de descriptions textuelles relèvent de cette catégorie.

Audio

Cela englobe les enregistrements sonores, la musique et la langue parlée. Les modèles peuvent être entraînés à reconnaître la parole, la musique, les sons ambiants et d'autres entrées auditives. Ils peuvent transcrire la parole, comprendre les commandes vocales et même générer de la parole ou de la musique synthétique.

Vidéo

Combinant des éléments visuels et auditifs, le traitement vidéo implique de comprendre les images en mouvement et leurs sons d'accompagnement. Cela peut inclure l'analyse du contenu vidéo, la reconnaissance d'actions ou d'événements dans les vidéos, et la génération de clips vidéo.

Bien que la plupart des grands modèles de langage multimodal actuels puissent traiter le texte et les images, les recherches futures visent à inclure des entrées de données audio et vidéo.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Comment les grands modèles multimodaux sont-ils entraînés ?

L'entraînement des grands modèles multimodaux (LMMs) diffère considérablement de celui des grands modèles de langage (LLMs) sur plusieurs aspects clés :

1. Collecte et préparation des données

• LLMs : Se concentrent sur les données textuelles provenant de livres, de sites web et de sources écrites, en mettant l'accent sur la diversité linguistique pour les sources de données d'entraînement des LLM.
• LMMs : Nécessitent des données textuelles, d'images, d'audio et de vidéo. La collecte est plus complexe en raison des formats variés. L'annotation et l'alignement des données entre les modalités sont essentiels.

2. Conception de l'architecture du modèle

• LLMs : Utilisent des architectures transformer optimisées pour le traitement séquentiel du texte.
• LMMs : Utilisent des architectures plus complexes qui intègrent plusieurs types de réseaux de neurones (CNN pour les images, transformers pour le texte) avec des mécanismes pour connecter ces modalités.

3. Pré-entraînement

• LLMs : Pré-entraînent sur des corpus de texte en utilisant des techniques comme la modélisation du langage masqué.
• LMMs : Pré-entraînent sur plusieurs types de données, apprenant à corréler le texte avec des images ou à comprendre des séquences vidéo.

4. Ajustement fin

• LLMs : Ajustent finement sur des jeux de données textuelles spécialisés pour des tâches spécifiques.
• LMMs : Nécessitent un ajustement fin à la fois sur des jeux de données spécifiques à la modalité et sur des jeux de données intermodales pour établir des relations entre différents types de données.

5. Évaluation et itération

• LLMs : Les métriques d'évaluation se concentrent sur les tâches de compréhension et de génération du langage, y compris la fluidité, la cohérence et la pertinence.
• LMMs : Évalués sur des métriques plus larges couvrant la reconnaissance d'images, le traitement audio et les capacités d'intégration intermodale.

Comment fonctionnent les LMMs ?

Les grands modèles multimodaux partagent des similitudes avec les grands modèles de langage dans leur processus d'entraînement, leur conception et leur fonctionnement. Ils utilisent la même architecture transformer et les mêmes stratégies d'entraînement. Les grands modèles multimodaux sont entraînés sur :

• Données textuelles
• Des millions ou des milliards d'images avec des descriptions textuelles
• Clips vidéo
• Extraits audio
• Autres données d'entrée, comme le code

Cet entraînement implique l'apprentissage simultané de modalités de données multiples, permettant au modèle de :

• Reconnaître une photo d'un chat
• Identifier un mot dans un clip audio
• Comprendre des concepts et des détails sensoriels au-delà du texte

Ainsi, les utilisateurs peuvent télécharger :

• Une image pour :
  • Obtenir une description de ce qui se passe
  • Utiliser l'image dans le cadre d'un prompt pour générer du texte ou des images
  • Poser des questions de suivi sur des éléments spécifiques de l'image
  • Traduire le texte de l'image dans une autre langue (par ex., un menu)

Figure 5 : Téléchargement d'une image de chat sur ChatGPT pour la décrire.

• Graphiques pour :
  • Poser des questions de suivi complexes sur ce qu'ils montrent
• Maquette de conception pour :
  • Obtenir le code HTML et CSS nécessaire pour la créer.

Figure 6 : Demander le style du film Wes Anderson pour l'image. ChatGPT envoie le prompt à un modèle de génération d'images (comme DALL·E), qui interprète la demande et produit l'image stylisée.

Après le processus d'entraînement, les modèles pourraient intégrer des stéréotypes malsains et des idées toxiques. Pour les affiner, des techniques telles que :

• L'apprentissage par renforcement avec retour humain (RLHF)
• Les modèles d'IA de supervision
• La red teaming (test de la robustesse du modèle) peuvent être utilisées.

De plus, les outils de gouvernance de l'IA et les outils d'IA responsable, qui fonctionnent comme des solutions de conformité de l'IA, peuvent également permettre l'optimisation de l'inventaire de l'IA, aidant à prévenir les biais de l'IA et autres dilemmes éthiques. Voici un exemple de la manière dont ces outils traitent les préoccupations de droit d'auteur de l'IA générative :

Figure 7 : ChatGPT rejette ma demande en raison des directives de la politique de contenu pour protéger les droits d'auteur.

L'objectif est de développer un système multimodal fonctionnel capable de gérer :

• La synthèse texte-image
• Le sous-titrage d'images
• La récupération d'images basée sur le texte
• La réponse à des questions visuelles.

De cette manière, l'IA multimodale peut intégrer diverses modalités, offrant des capacités avancées pour les tâches qui impliquent à la fois le langage et la vision.

Quelles sont les limites des grands modèles de langage ?

1. Exigences en matière de données et biais : Ces modèles nécessitent des jeux de données massifs et diversifiés pour l'entraînement. Cependant, la disponibilité et la qualité de ces jeux de données peuvent constituer un défi. De plus, si les données d'entraînement contiennent des biais, le modèle est susceptible d'hériter et éventuellement d'amplifier ces biais, conduisant à des résultats injustes ou contraires à l'éthique.
2. Ressources computationnelles : L'entraînement et l'exécution de grands modèles multimodaux nécessitent des ressources computationnelles importantes, ce qui les rend coûteux et moins accessibles pour les petites organisations ou les chercheurs indépendants.
3. Interprétabilité et explicabilité : Comme pour les modèles d'IA complexes, comprendre comment ils prennent des décisions peut être difficile. Ce manque de transparence peut être un problème critique, en particulier dans des applications sensibles comme la santé ou l'application de la loi.
4. Intégration des modalités : L'intégration efficace de différents types de données (comme le texte, les images et l'audio) d'une manière qui comprend réellement les nuances de chaque modalité est extrêmement difficile. Le modèle pourrait ne pas toujours saisir avec précision le contexte ou les subtilités de la communication humaine qui découlent de la combinaison de ces modalités.
5. Généralisation et sur-apprentissage : Bien que ces modèles soient entraînés sur de vastes jeux de données, ils pourraient avoir du mal à généraliser à de nouvelles données ou à des scénarios inédits qui diffèrent considérablement de leurs données d'entraînement. Inversement, ils pourraient surajuster les données d'entraînement, capturant le bruit et les anomalies comme des motifs.

Pour en savoir plus, explorez les défis et risques associés aux modèles génératifs et de langage.

Méthodologie de benchmark pour les LMMs

Nous avons évalué la performance des grands modèles multimodaux (LMMs) en utilisant un sous-ensemble du jeu de données FinMME¹⁵ , un benchmark complet conçu pour évaluer les capacités de raisonnement multimodal financier. FinMME comprend plus de 11 000 échantillons financiers de haute qualité à travers 18 domaines financiers et 6 classes d'actifs, fournissant un cadre robuste pour évaluer les LMMs dans le domaine financier.

Pour ce benchmark, nous avons utilisé une sélection organisée de 100 échantillons du jeu de données FinMME pour analyser la capacité des modèles à traiter et à raisonner avec des données financières multimodales.

Avertissement

Cette évaluation a utilisé un sous-ensemble organisé de 100 échantillons d'un jeu de données plus large pour évaluer les LMMs. Pour une évaluation complète des performances du modèle, tous les échantillons du jeu de données de benchmark complet doivent être pris en compte.

Citez ce benchmark

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{dilmegani2026,
  author = {Dilmegani, Cem},
  title  = {{Grands modèles multimodaux (LMMs) vs LLMs}},
  year   = {2026},
  month  = may,
  howpublished    = {\url{https://aimultiple.com/large-multimodal-models}},
  note   = {AIMultiple. Consulté le 22 Mai 2026}
}

Liens de référence

1.

Gemma 3: Google’s new open model based on Gemini 2.0

Google

2.

GitHub - deepseek-ai/Janus: Janus-Series: Unified Multimodal Understanding and Generation Models · GitHub

3.

GitHub - QwenLM/Qwen3-VL: Qwen3-VL is the multimodal large language model series developed by Qwen team, Alibaba Cloud. · GitHub

4.

https://qwen.ai/blog?id=qwen2.5-vl-32b

5.

CLIP: conexión de texto e imágenes | OpenAI

6.

https://qwen.ai/blog?id=qwen2.5-vl-32b

7.

[2204.14198] Flamingo: a Visual Language Model for Few-Shot Learning

8.

Multimodality and Large Multimodal Models (LMMs)

9.

GitHub - bytedance/vidi: The official repo for "Vidi: Large Multimodal Models for Video Understanding and Editing" · GitHub

10.

Client Challenge

Financial Times

11.

GitHub - MoonshotAI/Kimi-VL: Kimi-VL: Mixture-of-Experts Vision-Language Model for Multimodal Reasoning, Long-Context Understanding, and Strong Agent Capabilities · GitHub

12.

Gemini 3: Introducing the latest Gemini AI model from Google

Google

13.

Introducing 4o Image Generation | OpenAI

14.

Magma: A Foundation Model for Multimodal AI Agents

15.

luojunyu/FinMME · Datasets at Hugging Face

Cem Dilmegani

Analyste principal

Suivre

Cem est analyste principal chez AIMultiple depuis 2017. AIMultiple informe des centaines de milliers d'entreprises (selon SimilarWeb) dont 60 % du Fortune 500 chaque mois. Les travaux de Cem ont été cités par des publications internationales de premier plan telles que Business Insider, Forbes, Washington Post, des entreprises mondiales comme Deloitte, HPE et des ONG comme le Forum économique mondial et des organisations supranationales comme la Commission européenne. Tout au long de sa carrière, Cem a exercé en tant que consultant tech, acheteur tech et entrepreneur tech. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus d'une décennie. Il a également publié un rapport McKinsey sur la numérisation. Il a dirigé la stratégie technologique et les achats d'un opérateur télécom tout en rendant compte au PDG. Il a également mené la croissance commerciale de l'entreprise deep tech Hypatos qui a atteint un chiffre d'affaires récurrent annuel à 7 chiffres et une valorisation à 9 chiffres à partir de 0 en 2 ans. Le travail de Cem chez Hypatos a été couvert par des publications technologiques de premier plan comme TechCrunch et Business Insider. Cem intervient régulièrement lors de conférences technologiques internationales. Il est diplômé de la Bogazici University en tant qu'ingénieur informatique et détient un MBA de la Columbia Business School.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire