Large World Models: Cas d'Usage et Exemples

Malgré les avancées des large language models, l’intelligence artificielle reste limitée dans sa capacité à comprendre et à interagir avec le monde physique en raison des contraintes des représentations textuelles.

Les large world models comblent cette lacune en intégrant des données multimodales pour raisonner sur les actions, modéliser les dynamiques du monde réel et prédire les changements environnementaux.

Découvrez ce que sont les large world models, en quoi ils diffèrent des autres approches, leurs principaux cas d’usage, des exemples concrets et les défis liés à leur construction.

Qu’est-ce qu’un large world model ?

Un large world model (LWM) est une classe avancée de systèmes d’intelligence artificielle qui vont au-delà de l’approche centrée sur le texte des large language models (LLMs). Alors que les LLMs apprennent des motifs à partir de séquences linguistiques, les LWM sont conçus pour intégrer et traiter des données multimodales à travers les dimensions spatiales, temporelles et physiques.

Ils visent à représenter le monde réel en intégrant du texte, des images, de l’audio, des signaux de capteurs, des séquences vidéo et des environnements interactifs.

Les LWM sont souvent décrits comme un pas de plus vers la construction de systèmes d’IA capables de comprendre et d’interagir avec le monde physique, offrant des capacités telles que le raisonnement spatial, la compréhension vidéo à long terme et la capacité de prédire les dynamiques dans des environnements complexes.

Figure 1 : Un exemple de large world model capable de répondre à des questions dans des vidéos YouTube.¹

Architecture des large world models

• Inférence précondition-effet : une caractéristique essentielle, éclairée par des recherches récentes, est la modélisation explicite de ce qui doit être vrai avant une action (précondition) et de ce qui change après (effet).²
• Correspondance d’états sémantiques : les LWM utilisent des modules qui alignent les préconditions et les effets inférés avec les états actuels du monde, permettant ainsi de prédire des actions valides et des transitions d’état.
• Models génératifs : ils génèrent des vidéos, simulent des environnements et prédisent les dynamiques dans des séquences vidéo étendues et des environnements réels.
• Scalabilité : l’entraînement repose à la fois sur des données réelles et sur des environnements d’entraînement diversifiés et illimités, y compris des simulations synthétiques.

Les techniques émergentes, telles que les champs de radiance neuronale (NeRFs), le Gaussian splatting et les mécanismes d’attention en anneau, sont utilisées pour améliorer la capacité à traiter de longues séquences et des interactions dynamiques.

En quoi diffère-t-il des world foundation models et des autres world models ?

• World foundation models visent à fournir une ossature généraliste pour raisonner sur le monde. Ils restent toutefois souvent plus proches du paradigme des LLM, en mettant l’accent sur la représentation symbolique et sémantique des connaissances humaines.
• World models en apprentissage par renforcement ou en robotique modélisent généralement des environnements spécifiques pour l’entraînement d’agents autonomes, souvent limités à des outils de simulation ou à des tâches étroites.
• Large world models : vont plus loin en modélisant de longues séquences d’actions, en prédisant les dynamiques et en intégrant des entrées multimodales. Les LWM mettent l’accent sur le raisonnement précondition-effet, ce qui leur permet de répondre à des questions telles que « Cette action est-elle valide maintenant ? » et « Que se passe-t-il si je fais ceci ? », des capacités souvent absentes chez les autres models.

En bref, les world foundation models fournissent une base de référence, tandis que les LWM étendent ces capacités aux systèmes d’IA physiques et aux expériences interactives.

Perspectives des chercheurs sur les large world models

Selon les recherches sur les large world models, on peut en déduire qu’il s’agit d’un simulateur interne et généraliste qui utilise des représentations abstraites pour prédire et évaluer des états futurs dans des environnements ouverts.

Il se distingue à la fois des world models de petite taille et spécifiques à une tâche et des grandes simulations purement interactives. Son objectif n’est pas de restituer le monde, mais de raisonner à son sujet avant d’agir.

Voici quelques-uns des principaux enseignements :

• D’abord, l’échelle seule ne suffit pas. Les environnements vastes ou les simulations complexes ne produisent pas automatiquement des large world models, et des systèmes plus petits peuvent toujours être considérés comme des world models lorsqu’ils capturent la manière dont les environnements évoluent. Ce qui compte, c’est la capacité à généraliser à travers les tâches et les domaines, et non la taille brute.
• Deuxièmement, les large world models reposent sur l’abstraction. Les détails sensoriels bruts sont souvent trop fragiles pour une planification générale ; ces systèmes opèrent donc sur des représentations conceptuelles compressées qui préservent ce qui est pertinent pour le raisonnement d’un contexte à l’autre.
• Troisièmement, les large world models modifient le rôle des language models. Au lieu de générer des actions ou du texte, les language models agissent comme des simulateurs internes qui prédisent comment le monde pourrait réagir à des actions hypothétiques, permettant la délibération plutôt que la réaction.
• Enfin, les large world models redéfinissent la planification. La planification devient un processus de simulation des futurs possibles, de comparaison des résultats et de sélection des actions en fonction des conséquences attendues, rapprochant le raisonnement de l’IA de la prise de décision humaine.

PoE-World

L’article PoE-World³ aborde les world models comme des modélisations explicites de la dynamique de l’environnement qui soutiennent la planification et le contrôle. L’article traite un world model comme quelque chose qui prédit comment l’environnement change en réponse aux actions. Sa préoccupation centrale n’est pas l’échelle, mais la structure : comment représenter le monde de manière à favoriser la généralisation et le raisonnement à long horizon.

Au lieu de s’appuyer sur un unique grand réseau de neurones, les auteurs affirment que les world models devraient être compositionnels. Ils proposent de construire le world model à partir de plusieurs experts programmatiques plus petits, chacun responsable d’un facteur spécifique de l’environnement, tel que le mouvement des objets ou les interactions. Ces experts sont combinés mathématiquement pour produire des prédictions globales des états futurs.

L’article se montre prudent à l’égard des grands world models neuronaux de bout en bout. Il suggère que l’augmentation de la taille des models à elle seule ne résout pas des problèmes tels que l’interprétabilité ou le raisonnement systématique. Selon eux, la structure et la modularité comptent davantage que le nombre de paramètres.

Points clés

• Définit un world model comme un prédicteur des observations futures à partir des observations et actions passées.
• Met l’accent sur une structure compositionnelle et symbolique plutôt que sur de grands réseaux de neurones.
• Utilise plusieurs petits experts combinés en un seul model prédictif.
• Soutient que les large world models monolithiques peinent avec le raisonnement à long horizon et compositionnel.
• Se concentre sur la planification et le contrôle dans des environnements contraints plutôt que dans des cadres ouverts.

LatticeWorld

LatticeWorld⁴ utilise le terme world model dans un sens différent. Dans cet article, un world model est avant tout un environnement virtuel interactif à grande échelle plutôt qu’un model prédictif appris. L’accent est mis sur la construction de mondes 3D détaillés et explorables pour l’interaction, la simulation et la génération de données.

L’article considère les world models comme des environnements externes avec lesquels des agents ou des humains peuvent interagir. Ces environnements comprennent le terrain, les objets, la physique et plusieurs agents, et sont conçus pour ressembler étroitement à des cadres réels afin de réduire l’écart entre la simulation et la réalité. L’accent est mis sur le réalisme et l’interactivité, et non sur la prédiction interne des états futurs.

Les large language models jouent un rôle de soutien. Ils sont utilisés pour traduire des instructions textuelles et visuelles en représentations symboliques qui définissent la disposition des scènes et les configurations. Le comportement réel du monde, y compris la physique et les interactions, est géré par un moteur de jeu plutôt que par un world model appris.

Points clés

• Utilise le terme « world model » pour désigner un environnement simulé interactif de haute fidélité.
• Se concentre sur la génération de mondes plutôt que sur l’apprentissage de la dynamique de l’environnement.
• Considère les world models comme des sources de données et d’interaction plutôt que comme des outils de raisonnement.
• Utilise les LLMs pour la génération de la disposition des scènes et des configurations, et non pour la prédiction ou la planification.
• Ne modélise pas les transitions d’état ni les futurs contrefactuels en interne.

SIMURA

SIMURA⁵ place les world models au centre du comportement intelligent. Il définit un world model comme un simulateur interne qu’un agent utilise pour imaginer des états futurs avant d’agir. L’article oppose explicitement cela au raisonnement autorégressif token par token, dont il affirme qu’il manque de prévoyance et de capacité d’évaluation contrefactuelle.

Dans ce cadre, le world model prédit comment l’environnement réagira aux actions candidates. Ces prédictions sont ensuite évaluées au regard des objectifs de l’agent, ce qui lui permet de choisir des actions en fonction de résultats simulés plutôt que de réponses immédiates. Le world model est donc le mécanisme qui permet la planification.

Ce qui distingue SIMURA, c’est son échelle et sa généralité. Le world model est mis en œuvre à l’aide de large language models et fonctionne dans des environnements ouverts comme le web. Les états du monde sont représentés en langage naturel, ce qui permet l’abstraction et le transfert entre les tâches sans réentraîner de models distincts pour chaque environnement.

Points clés

• Définit un world model comme un simulateur interne utilisé pour la planification et la prise de décision.
• Utilise les world models pour évaluer des futurs contrefactuels avant d’agir.
• Met en œuvre le world model à l’aide de large language models.
• Représente les états du monde et les transitions en langage naturel plutôt que par des embeddings continus.
• Vise des environnements généraux et ouverts plutôt que des tâches étroites.

Cas d’usage des large world models

Santé

Les LWM dans le domaine de la santé peuvent intégrer les dossiers des patients, les données génomiques et les biométries en temps réel avec des entrées environnementales. En modélisant les interactions entre ces datasets, ils peuvent soutenir des traitements personnalisés, prédire plus tôt les risques pour la santé et guider la prise de décision chirurgicale grâce à une analyse en temps réel.

Planification urbaine et villes intelligentes

En analysant les flux de trafic, la consommation d’énergie et les données environnementales, les LWM peuvent simuler des interventions à l’échelle de la ville. Par exemple, ils peuvent prédire l’impact de nouveaux projets d’infrastructure sur la pollution, la mobilité ou la demande énergétique, permettant des décisions éclairées dans des environnements complexes.

Robotique et systèmes autonomes

Pour les véhicules autonomes et les robots, les LWM offrent une compréhension plus approfondie des propriétés spatiales et des interactions entre objets. Ils soutiennent l’entraînement dans divers environnements d’entraînement et conditions réelles, permettant aux machines autonomes de naviguer de manière plus sûre et adaptative.

Éducation et formation

Les LWM peuvent générer des expériences interactives et des mondes virtuels réalistes pour la formation aux compétences. Dans des domaines tels que l’aviation ou la médecine, les LWM peuvent simuler des scénarios à haut risque, permettant aux apprenants de s’exercer dans des environnements virtuels sûrs mais réalistes.

Surveillance environnementale

Les LWM traitent les données satellitaires, les flux de capteurs et les séquences étendues d’informations environnementales pour prédire la dynamique climatique. Cela permet aux parties prenantes d’optimiser l’utilisation des ressources, de suivre les impacts de la déforestation ou de modéliser des scénarios de catastrophe.

Jeux vidéo et divertissement

Grâce à leur capacité à générer des vidéos et des simulations immersives à partir d’une seule image de prompt ou d’une description en langage, les LWM ouvrent des possibilités d’expériences interactives dans les jeux, la RA et la RV. Leur capacité à créer des séquences vidéo d’une longueur d’un million de frames offre un bond en matière de réalisme et de créativité.

Exemples concrets de large world models

Marble : un world model multimodal

Marble⁶ est un multimodal world model développé par World Labs. Il est conçu pour créer des mondes 3D haute fidélité et persistants, qui peuvent être générés, modifiés et explorés de manière interactive à partir d’une variété d’entrées.

Caractéristiques clés

• Génération de mondes multimodaux : Marble peut générer des environnements 3D complets à partir de textes de prompt, d’images, de vidéos ou de dispositions 3D.
• Édition et expansion interactives : une fois un environnement créé, Marble fournit des outils pour le modifier et l’étendre. Les utilisateurs peuvent affiner des éléments du monde, modifier les dispositions et itérer sur les conceptions.
• Mondes 3D persistants : les mondes créés par Marble conservent une cohérence spatiale et peuvent être revisités, itérés ou composés avec d’autres mondes générés.
• Capacités d’export : Marble permet aux utilisateurs d’exporter les mondes générés dans plusieurs formats, notamment les splats gaussiens, les maillages et la vidéo. Ces sorties sont utilisables dans d’autres outils, flux de travail et applications en aval au-delà de l’interface Marble elle-même.

Voir la vidéo ci-dessous pour un exemple de génération texte-vidéo :

WorldsNQ

Worlds a présenté WorldsNQ, une plateforme de large world model conçue pour les entreprises industrielles qui ont besoin de systèmes d’IA capables de comprendre et d’optimiser les opérations physiques.

La plateforme utilise les données des caméras et des capteurs IoT pour construire des modélisations dynamiques des environnements réels, tels que les entrepôts, les usines et les installations énergétiques. WorldsNQ automatise la création des modélisations et les met continuellement à jour à mesure que les environnements opérationnels évoluent.

Principales capacités :

• Automated model training : réduit le besoin d’annotation humaine en transformant les données des capteurs en systèmes d’IA utilisables.
• Apprentissage continu : soutient les systèmes en boucle fermée qui s’adaptent à mesure que les environnements physiques et les processus évoluent.
• Compatibilité avec le matériel existant : fonctionne avec les caméras et capteurs actuels d’une organisation, réduisant les obstacles au déploiement.
• Accélération opérationnelle : Worlds affirme que la plateforme peut réduire les flux de travail d’entraînement et de maintenance de plusieurs mois à quelques jours, voire à une seule journée.

Applications :

• Surveillance des processus industriels : aide les fabricants, les prestataires logistiques et les entreprises énergétiques à convertir les opérations physiques en flux de données mesurables.
• Automatisation dans les environnements physiques : permet aux entreprises de construire des systèmes d’IA capables d’observer, d’apprendre et d’améliorer les flux de travail réels.
• IA model lifecycle management : traite la dérive du model en maintenant celui-ci aligné sur les données opérationnelles en direct au lieu de s’appuyer sur des ensembles d’entraînement statiques.

Niantic Spatial / Large Geospatial Model

Niantic Spatial développe un Large Geospatial Model (LGM) pour fournir une compréhension spatiale du monde réel aux systèmes d’IA physiques.

L’approche de Niantic se concentre sur des données géoréférencées du monde réel pour aider les machines à comprendre où elles se trouvent, ce qu’elles regardent et comment elles doivent agir dans l’espace physique.

Principales capacités :

• Ancrage géospatial : utilise des scans 3D du monde réel, des cartes spatiales, des données de positionnement et d’autres entrées géoréférencées pour modéliser les environnements physiques.
• Localisation et orientation : aide les téléphones, les robots, les drones, les lunettes de RA et d’autres appareils à déterminer leur position et leur direction.
• Compréhension spatiale sémantique : soutient l’interprétation des environnements réels, comme l’identification d’objets, de structures ou de détails pertinents pour l’inspection.
• Rôle complémentaire aux WFM : Niantic positionne les LGM comme une couche d’ancrage pouvant fonctionner aux côtés des world foundation models et des large language models.

Applications :

• Robotique et navigation autonome : permet aux robots ou drones de naviguer plus précisément dans des environnements urbains ou industriels complexes.
• Opérations sur le terrain : permet d’aligner les commentaires d’inspection, les ordres de travail et la documentation avec l’environnement bâti réel.
• Environnements sans GPS : fournit une intelligence spatiale là où le positionnement GPS conventionnel est peu fiable ou indisponible.
• RA et informatique spatiale : prend en charge les appareils qui ont besoin d’une compréhension 3D partagée du monde physique pour offrir des expériences sensibles à la localisation.

Genie 3 : un world model photoréaliste en temps réel pour les environnements interactifs

Google DeepMind a présenté Genie 3⁷ comme un world model généraliste capable de générer des environnements interactifs et photoréalistes à partir de prompts textuels.

Contrairement aux systèmes génératifs antérieurs qui produisent des scènes statiques ou de courts clips vidéo, Genie 3 simule des mondes qui peuvent être explorés et avec lesquels on peut interagir en temps réel, marquant une avancée majeure dans la modélisation d’environnements pour l’IA incarnée.

Le model est conçu pour aider les systèmes d’IA à apprendre comment le monde fonctionne en leur permettant de vivre, d’agir dans et d’observer les conséquences des actions dans des environnements dynamiques. Cela positionne Genie 3 comme une capacité fondamentale pour l’entraînement d’agents qui doivent raisonner, planifier et s’adapter dans des contextes complexes.

La vidéo ci-dessous montre comment Genie peut modéliser le monde physique et créer des sorties à l’aide de prompts d’environnement et de personnages :

Principales capacités

• Simulation du monde en temps réel : Genie 3 génère des environnements qui fonctionnent à environ 20–24 images par seconde, permettant une interaction continue plutôt que des séquences prégénérées.
• Contrôlabilité interactive : les mondes générés sont entièrement navigables. Les humains ou les agents IA peuvent se déplacer dans les environnements et interagir avec eux, le model simulant la manière dont le monde répond à ces actions.
• Rendu photoréaliste : les mondes sont produits à une résolution de 720p avec une haute fidélité visuelle, capturant des textures, un éclairage et des détails environnementaux réalistes.
• Cohérence du monde et mémoire : Genie 3 maintient une cohérence interne. Lorsque les utilisateurs revisitent des lieux déjà vus, le model se souvient et reconstruit les détails antérieurs plutôt que de les générer à nouveau.
• Plausibilité physique : les environnements reflètent la structure et la dynamique du monde réel, permettant au model de simuler des paysages et des cadres naturels de manière à favoriser une exploration intuitive.

Limites de Genie 3

• Gamme d’actions limitée : Genie 3 ne prend actuellement en charge qu’un ensemble restreint d’interactions. Si les utilisateurs peuvent naviguer dans les environnements et déclencher certains changements via des prompts textuels, les agents ne peuvent pas encore effectuer un large éventail d’actions totalement autonomes dans le monde.
• Dynamique multi-agents de base : le model est limité dans sa capacité à simuler des interactions complexes entre plusieurs agents indépendants. La coordination réaliste, la compétition ou les comportements émergents entre plusieurs agents restent un défi de recherche ouvert.
• Pas de précision exacte du monde réel : Genie 3 ne produit pas de reconstructions totalement fiables de lieux réels spécifiques. Bien que les environnements semblent réalistes, ils doivent être compris comme des simulations plausibles plutôt que comme des jumeaux numériques précis.
• Limites de rendu du texte : le texte dans les environnements (comme les panneaux ou les étiquettes écrites) n’est pas généré de manière fiable sauf s’il est explicitement spécifié dans le prompt, et même dans ce cas, il peut être imparfait.

Decart

Le travail de Decart sur les large world models (LWM) couvre à la fois les expériences grand public et l’infrastructure d’entreprise.

Sa plateforme Oasis permet aux utilisateurs de générer et d’explorer des mondes virtuels adaptatifs avec des fonctionnalités vidéo et interactives en temps réel qui évoluent en réponse aux entrées des utilisateurs. Souvent comparée à Minecraft, Oasis a attiré des millions d’utilisateurs grâce à ses expériences audiovisuelles dynamiques.

Pour les entreprises, Decart fournit un outil d’optimisation de GPU qui améliore l’efficacité pendant l’entraînement et l’inférence. Cette solution accélère le développement des models, réduit les coûts de déploiement et permet aux entreprises de faire évoluer les applications d’IA à moindre coût.⁸

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Défis et comment les atténuer

Malgré leurs promesses, les LWM sont confrontés à plusieurs défis :

• Complexité des données : l’entraînement nécessite des datasets multimodaux massifs couvrant des séquences vidéo, audio, de capteurs et de langage. L’atténuation consiste à combiner la génération de données synthétiques avec le fine-tuning sur des données réelles.
• Intensité de calcul : le traitement de longues séquences et la compréhension vidéo exigent une puissance de calcul considérable. Des techniques comme l’attention en anneau et des longueurs de séquence optimisées sont en cours de développement pour rendre l’entraînement plus efficace.
• Biais et sécurité : l’intégration de connaissances humaines et de données du monde réel soulève des risques de biais ou de mauvaise utilisation. Un entraînement soigneux des models, une évaluation sur de nouveaux benchmarks et une supervision éthique sont essentiels.
• Confidentialité : les environnements réels incluent souvent des informations personnelles et sensibles. Un entraînement préservant la confidentialité et des cadres de gouvernance clairs sont nécessaires.

Perspectives d’avenir

Les large world models représentent un changement de paradigme dans l’intelligence artificielle. Ils ne sont pas simplement des versions plus grandes des systems existants, mais introduisent la capacité d’apprendre à partir d’environnements réels, de générer des vidéos sensibles à la physique et de permettre à des machines autonomes d’agir dans des contextes dynamiques.

À mesure que la technologie mûrira, les LWM devraient constituer l’épine dorsale des systèmes d’IA physiques qui relient les expériences virtuelles et réelles, soutenant à la fois les applications industrielles spécialisées et les expériences interactives grand public.

Citer cette recherche

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{ermut2026,
  author = {Ermut, Sıla},
  title  = {{Large World Models: Cas d'Usage et Exemples}},
  year   = {2026},
  month  = jun,
  howpublished    = {\url{https://aimultiple.com/large-world-models}},
  note   = {AIMultiple. Consulté le 4 juin 2026}
}

Journal des modifications

4 mises à jour

20262025

1. 4 juin

   Ajout de WorldsNQ de Worlds et du Large Geospatial Model de Niantic Spatial à la section des exemples de grands modèles du monde.

2. 4 fév

   Genie 2 a été retiré de l'article.

3. 2 fév

   Ajout de Marble et Genie 3 à la section Exemples concrets de grands modèles du monde.

Liens de référence

1.

GitHub - LargeWorldModel/LWM: Large World Model -- Modeling Text and Video with Millions Context · GitHub

2.

Making Large Language Models into World Models with Precondition and Effect Knowledge

3.

PoE-World: Compositional World Modeling with Products of Programmatic Experts

4.

LatticeWorld: A Multimodal Large Language Model-Empowered Framework for Interactive Complex World Generation

5.

General Agentic Planning Through Simulative Reasoning with World Models

6.

Marble: A Multimodal World Model | World Labs

7.

Genie 3 — Google DeepMind

8.

Decart AI Lab | Real-Time World Models

Decart AI Lab

Sıla Ermut

Analyste sectorielle

Suivre

Sıla Ermut est analyste sectorielle chez AIMultiple, couvrant les modèles d’IA, l’infrastructure d’IA, la gouvernance de l’IA et les applications d’IA d’entreprise. Ses recherches portent principalement sur l’utilisation de l’IA dans le marketing, la santé, les chaînes d’approvisionnement et le développement durable.
Elle a précédemment travaillé comme recruteuse dans des cabinets de gestion de projet et de conseil. Sıla est titulaire d’un master en psychologie sociale et d’une licence en relations internationales.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire