Modèles de fondation mondiaux: 10 cas d'utilisation

Former des robots et des véhicules autonomes (AV) dans le monde physique peut être coûteux, long et risqué. Les modèles de fondation mondiaux offrent une alternative évolutive en permettant des simulations réalistes d’environnements du monde réel.

Ces modèles accélèrent le développement et le déploiement en robotique, dans les véhicules autonomes et dans d’autres domaines en réduisant la dépendance aux essais physiques.

Découvrez comment fonctionnent les modèles de fondation mondiaux, leurs cas d’usage réels et les avantages concrets qu’ils apportent.

Top 10 des modèles de fondation mondiaux

1) Alpamayo de NVIDIA

Alpamayo de NVIDIA est une nouvelle famille de modèles d’IA open source, d’outils de simulation et de datasets conçus pour rendre les véhicules autonomes plus sûrs grâce à une prise de décision fondée sur le raisonnement.

Pour soutenir cette approche, Alpamayo réunit trois composants clés :

• Alpamayo 1, un modèle VLA de chaîne de pensée de 10 milliards de paramètres qui explique ses décisions de conduite
• AlpaSim, un framework de simulation open source pour les tests et la validation
• Physical IA Open Datasets, qui comprennent plus de 1 700 heures de données de conduite réelles et variées.

Ces modèles ne sont pas destinés à être exécutés directement dans les véhicules. Ils servent plutôt de grands modèles enseignants que les développeurs peuvent fine-tuner et distiller dans des piles AV de production, améliorant ainsi la sécurité et l’évolutivité.¹

2) GR00T N1.6 de NVIDIA Research

GR00T N1.6 de NVIDIA Research est un modèle de fondation ouvert et mis à jour pour les robots humanoïdes à usage général. S’appuyant sur GR00T N1.5, la nouvelle version offre de meilleures performances tant en simulation que lors de tests réels, notamment pour la manipulation bimanuelle et les tâches de locomotion du corps entier sur des robots tels que YAM, AgiBot Genie-1 et Unitree G1 (voir la figure ci-dessous).

Figure 1 : graphiques comparatifs entre GR00T N1.6 et GR00T N1.5.

GR00T N1.6 comprend des améliorations architecturales et d’entraînement, telles qu’un transformeur de diffusion plus grand, un modèle vision-langage plus performant et des données de pré-entraînement élargies qui ajoutent des milliers d’heures de démonstrations de robots téléopérés. Ces changements aident le modèle à apprendre des mouvements plus fluides et plus précis et à s’adapter plus rapidement pendant le post-entraînement.

Plutôt que de se concentrer sur un seul robot ou une seule tâche, GR00T N1.6 est conçu comme une politique généraliste capable de se transférer sur différentes plateformes humanoïdes.

NVIDIA fait état d’une convergence plus rapide, d’une meilleure dextérité et de meilleures performances sur des tâches à long horizon, faisant de N1.6 une avancée significative pour l’apprentissage ouvert et évolutif des robots humanoïdes.²

Regardez la vidéo ci-dessous pour voir GR00T N1.6 en action.

3) PAN

PAN est un modèle mondial interactif général conçu pour la prédiction à long horizon et la simulation conditionnée par l’action. Il repose sur une architecture de prédiction latente générative qui combine un modèle autorégressif de dynamique latente avec un décodeur de diffusion vidéo.

Cette conception permet au système de simuler l’évolution d’un environnement en réponse à des actions spécifiques fournies en langage naturel, tout en maintenant une cohérence temporelle et visuelle.

PAN prend en charge la génération de déploiements multi-étapes dans laquelle un agent peut proposer des actions, simuler leurs résultats probables et choisir des séquences qui atteignent mieux un objectif défini. Le modèle peut également effectuer un raisonnement contrefactuel en évaluant comment les résultats d’une tâche pourraient changer si les interactions avec les objets ou les trajectoires de mouvement sont modifiées.

Les résultats expérimentaux montrent qu’il atteint de solides performances sur des benchmarks de prédiction visuelle à long horizon, de raisonnement physique et de planification par rapport aux modèles open source comparables.

Pour la robotique, ces capacités permettent aux robots ou aux systèmes d’entraînement de prévoir la dynamique de l’environnement, de tester des stratégies en interne avant de les exécuter et d’affiner les politiques de tâche, réduisant ainsi les coûts et les risques d’essais physiques répétés.

Figure 2 : image montrant l’architecture du modèle PAN, qui combine un backbone autorégressif basé sur LLM pour la simulation mondiale à long horizon.³

4) Marble de World Labs

Marble de World Labs génère des environnements 3D persistants et modifiables à partir de prompts textuels, d’images uniques ou multiples, de vidéos, de panoramas et de mises en page 3D.

Contrairement aux systèmes génératifs en temps réel qui modifient continuellement les scènes pendant l’exploration, Marble produit des mondes stables qui peuvent être exportés sous forme de splats gaussiens, de maillages ou de vidéos. La plateforme comprend Chisel, un éditeur 3D hybride qui sépare la structure spatiale du style visuel.

Cet outil permet aux développeurs de disposer des éléments géométriques de base, tels que des murs ou de grands objets, puis d’appliquer des prompts stylistiques pour compléter la scène.

Les utilisateurs peuvent également repositionner des objets directement dans l’éditeur et étendre le monde généré pour inclure d’autres régions proches. Ces fonctionnalités permettent aux équipes robotiques de construire des jumeaux numériques réalistes de leurs espaces de travail, de tester la navigation et la manipulation dans des environnements contrôlés, et d’itérer rapidement sur la conception de la mise en page ou des tâches sans avoir à reconstruire des scènes entières.

La capacité de Marble à accepter des entrées visuelles multi-angles favorise la création de simulations haute fidélité. Ces environnements de simulation cohérents peuvent améliorer l’efficacité de l’entraînement robotique et réduire le besoin de prototypage physique intensif.

Figure 3 : le graphique montre le pipeline d’entrée à sortie de Marble.⁴

5) V-JEPA 2 de Meta

Meta a présenté V-JEPA 2, un modèle mondial avancé basé sur la vidéo qui établit de nouveaux benchmarks en matière de raisonnement physique, de prédiction visuelle et de planification robotique zero-shot.

Construit sur l’architecture Joint Embedding Predictive Architecture (JEPA), le modèle de 1.2 milliard de paramètres est entraîné avec plus d’un million d’heures de vidéo et de données supplémentaires d’interaction robotique, ce qui lui permet de comprendre et de prédire la dynamique d’objets et d’environnements inconnus.

V-JEPA 2 prend en charge la planification via une architecture encodeur-prédicteur et un apprentissage auto-supervisé, et obtient des résultats avancés sur des tâches telles que la reconnaissance d’actions, l’anticipation et la réponse à des questions vidéo.

Meta a également publié trois benchmarks : IntPhys 2, MVPBench et CausalVQA, afin d’évaluer le raisonnement physique dans l’IA et de mettre en évidence les écarts actuels entre les performances de l’IA et celles des humains.

Le modèle est open source pour la recherche et l’usage commercial, marquant une étape significative vers l’objectif de Meta d’une intelligence machine avancée (AMI) et le développement d’agents IA pratiques et adaptables.⁵

Figure 4 : V-JEPA 2 est pré-entraîné sur des données vidéo et image à grande échelle, puis aligné avec un modèle de langage pour les tâches visuelles, et étendu avec une petite quantité de données robotiques pour la planification et le contrôle en robotique.⁶

6) NVIDIA Cosmos World Foundation Models

NVIDIA Cosmos World Foundation Models est une plateforme avancée conçue pour accélérer le développement des systèmes d’IA physique, notamment les véhicules autonomes (AV) et les robots.

NVIDIA Cosmos Suite intègre des modèles de fondation mondiaux génératifs (WFM), des tokenizers avancés, des garde-fous intégrés et un pipeline de traitement vidéo à grande vitesse.

NVIDIA NeMo Curator, associé au pipeline accéléré par CUDA, traite 20 millions d’heures de vidéo en deux semaines, réduisant ainsi les coûts et les délais.

Le NVIDIA Cosmos Tokenizer offre une compression supérieure et un traitement plus rapide des données d’images et de vidéos. Voici les principales caractéristiques de NVIDIA Cosmos Suite :

• Permet la création de vastes quantités de données synthétiques photoréalistes et basées sur la physique pour l’entraînement et l’évaluation de modèles d’IA.
• Génère des vidéos basées sur la physique à partir d’entrées diverses telles que le texte, les images, la vidéo et les données de capteurs.
• Simule des environnements industriels et de conduite complexes, y compris des entrepôts et des conditions routières variées.
• Facilite la recherche vidéo pour des scénarios spécifiques et l’évaluation des modèles dans des conditions simulées.
• Les développeurs peuvent fine-tuner les WFM pour créer des modèles personnalisés adaptés à des applications spécifiques.
• Les WFM sont accessibles sous licence ouverte pour favoriser la collaboration au sein des communautés de la robotique et des véhicules autonomes.
• Les modèles peuvent être prévisualisés via le catalogue d’API de NVIDIA ou téléchargés depuis les plateformes NVIDIA NGC et Hugging Face.⁷

Figure 5 : principaux composants de NVIDIA Cosmos Suite : curateur vidéo, tokenizer vidéo, modèle de fondation mondial pré-entraîné, échantillons de post-entraînement du modèle de fondation mondial et garde-fou.⁸

Waabi, Foretellix, XPENG et Wayve utilisent NVIDIA Cosmos World Foundation Models pour simuler des scénarios de trafic, des conditions météorologiques et des comportements de piétons. Ces entreprises exécutent des tests dans des environnements virtuels sans essais physiques.⁹

La plateforme utilise NVIDIA NeMo Curator pour traiter et étiqueter plus de 20 millions d’heures de vidéo grâce à l’accélération CUDA en environ deux semaines.

Fonctionnalités clés :

• Génère des scénarios étiquetés de trafic, de météo, d’éclairage et de piétons.
• Produit des vidéos photoréalistes avec des données de capteurs.
• Simule les normes de conduite régionales pour la localisation.
• Permet une validation des systèmes de véhicules autonomes sans gratuit.

7) Genie 3 de DeepMind

Google DeepMind a publié Genie 3, un système d’IA conçu pour générer des environnements virtuels interactifs à partir de descriptions textuelles en temps réel.

Caractéristiques techniques :

• Caractéristiques de performance : Le système fonctionne à 24 images par seconde, produisant une sortie en résolution 720p tout en maintenant la cohérence de l’environnement sur plusieurs minutes d’interaction.
  • Le modèle démontre des capacités de mémoire visuelle s’étendant sur environ une minute dans les interactions passées.
• Catégories d’environnements : Genie 3 génère plusieurs types de mondes virtuels :
  • Simulations physiques intégrant la dynamique des fluides, les effets d’éclairage et la physique environnementale.
  • Écosystèmes biologiques présentant la flore, la faune et les interactions écologiques.
  • Environnements fictionnels avec des éléments non réalistes et des personnages animés.
  • Reconstitutions géographiques et historiques de lieux et de périodes réels.
• Mécanismes d’interaction :
  • Événements mondiaux promptables permettent la modification en cours d’exécution des conditions environnementales et du placement des objets.
  • Cohérence temporelle maintient des propriétés physiques cohérentes pendant des sessions d’interaction prolongées.
  • Intégration d’agents prend en charge des agents autonomes effectuant des tâches orientées vers un objectif dans les environnements générés.
• Architecture technique : Le système utilise la génération de trames autorégressive plutôt que des représentations de scène 3D explicites.
  • Cette approche permet une création dynamique d’environnements tout en relevant le défi computationnel du maintien de la cohérence sur des séquences temporelles croissantes pendant l’interaction en temps réel.

Applications de recherche et accès :

L’accès est actuellement réservé à certains chercheurs universitaires et créateurs de contenu sélectionnés dans le cadre d’un programme de préversion limité. Les applications de recherche potentielles comprennent la simulation éducative, l’entraînement de systèmes autonomes, l’évaluation du comportement des agents et l’analyse de scénarios contrefactuels pour les systèmes de machine learning.¹⁰

8) Earth-2 de NVIDIA

Earth-2 de NVIDIA est une initiative conçue pour utiliser l’IA et le calcul haute performance (HPC) afin de simuler les systèmes climatiques et météorologiques de la Terre en haute résolution. Elle représente une nouvelle approche de la prévision météorologique et de la modélisation climatique.

Quelle est la technologie sous-jacente ?

NVIDIA utilise sa plateforme Omniverse, construite sur les unités de traitement graphique (GPUs) de NVIDIA et des outils d’IA, pour créer des simulations réalistes. L’idée est de générer des simulations très détaillées et précises du climat terrestre en exploitant l’IA pour modéliser des schémas météorologiques complexes et produire des prévisions plus précises.

Quel est l’impact ?

L’objectif ultime d’Earth-2 est de fournir de meilleures prévisions météorologiques, d’aider à comprendre les tendances climatiques à long terme et d’atténuer le changement climatique.

Des simulations plus précises peuvent conduire à une meilleure préparation aux phénomènes météorologiques extrêmes, à une utilisation plus efficace de l’énergie et à de meilleures stratégies d’intervention en cas de catastrophe.¹¹

Pour découvrir comment la technologie d’IA de NVIDIA fait progresser la prévision météorologique et la modélisation climatique, regardez la vidéo ci-dessous pour un aperçu détaillé de la plateforme Earth-2 et de son impact sur la prévision des tempêtes :

9) DreamDojo de NVIDIA

DreamDojo est un modèle mondial robotique généraliste de NVIDIA, conçu pour acquérir des connaissances physiques à partir de vidéos humaines à grande échelle et les transférer aux robots par post-entraînement sur l’incarnation cible.

Le système est entraîné sur DreamDojo-HV, un dataset organisé d’environ 44 000 heures de vidéo humaine égocentrique. Il s’agirait de la plus grande collection utilisée à ce jour pour le pré-entraînement de modèles mondiaux, couvrant nettement plus de compétences et de scènes que les datasets antérieurs de cette catégorie.

Par rapport à une référence Cosmos-Predict 2.5 post-entraînée, DreamDojo produit des déploiements conditionnés par l’action plus précis physiquement dans divers environnements et interactions avec des objets.

Fonctionnalités clés :

• Publication open source via le GitHub de NVIDIA.
• Pré-entraîné sur environ 44k heures de vidéo humaine égocentrique.
• Pré-entraînement d’actions latentes suivi d’un post-entraînement spécifique au robot.
• Génération autorégressive en temps réel à 10 FPS après distillation.
• Généralise sur plusieurs incarnations humanoïdes et manipulateurs.
• Prend en charge l’évaluation de politiques et la planification basée sur modèle comme applications en aval.

Figure 6 : aperçu de DreamDojo, montrant le pré-entraînement d’action latente sur vidéo humaine suivi d’un post-entraînement avec des actions continues du robot sur l’incarnation cible.¹²

10) DreamZero de NVIDIA

DreamZero est un World Action Model (WAM) de NVIDIA construit sur un backbone de diffusion vidéo pré-entraîné. Contrairement aux modèles Vision-Langage-Action standard, qui peinent face aux mouvements physiques inhabituels, DreamZero apprend la dynamique en prédisant conjointement les états futurs du monde et les actions futures en une seule passe avant, traitant la vidéo comme une représentation dense de l’évolution de l’environnement.

Cette modélisation conjointe permet au système d’apprendre diverses compétences à partir de datasets robotiques hétérogènes sans dépendre de démonstrations répétitives. Dans des expériences sur robots réels, DreamZero fait état d’une amélioration de plus de 2x de la généralisation à de nouvelles tâches et à de nouveaux environnements par rapport aux références VLA de pointe.

DreamZero démontre également un fort transfert inter-incarnations. Environ 10 à 20 minutes de démonstrations vidéo d’humains ou d’autres robots donnent lieu à une amélioration de plus de 42 % sur des tâches invisibles. Le modèle s’adapte à une toute nouvelle plateforme robotique (YAM) à partir de 30 minutes de données de jeu tout en préservant la généralisation zero-shot.

Fonctionnalités clés :

• World Action Model qui prédit conjointement la vidéo et les actions du robot.
• Construit sur un backbone de diffusion vidéo autorégressif de 14B paramètres.
• Amélioration de la généralisation de plus de 2x sur de nouvelles tâches par rapport aux VLA de pointe.
• Contrôle en boucle fermée en temps réel à 7 Hz après une accélération d’inférence de 38x.
• Prend en charge le prompting interactif zero-shot sur des tâches inédites dans le monde réel.

Cas d’usage des modèles de fondation mondiaux

Robotique

En robotique, les modèles de fondation mondiaux jouent un rôle essentiel pour permettre aux robots d’opérer efficacement dans des environnements réels dynamiques :

1. Développer l’intelligence spatiale

Les robots acquièrent une compréhension de leur environnement grâce à des environnements d’entraînement simulés, ce qui leur permet de naviguer et de manipuler des objets avec précision.

2. Efficacité d’apprentissage améliorée

Les environnements simulés accélèrent l’entraînement en fournissant des scénarios contrôlés où les robots peuvent expérimenter et apprendre de leurs erreurs sans conséquences physiques.

3. Généralisation des tâches

En intégrant des entrées de diverses modalités telles que les capteurs visuels, auditifs et tactiles, les modèles de fondation mondiaux soutiennent l’apprentissage par transfert, permettant aux robots de s’adapter à de nouveaux environnements et à de nouvelles tâches avec un réentraînement minimal.

4. Planification de tâches complexes

Ces modèles permettent aux robots d’effectuer une planification à long horizon, comme l’assemblage d’objets, la prédiction des actions humaines ou la coordination avec d’autres robots dans des environnements industriels ou collaboratifs.

Véhicules autonomes

Les modèles de fondation mondiaux peuvent améliorer le pipeline de développement des véhicules autonomes (AV) en :

5. Entraînement avec des données pré-étiquetées

Ils fournissent des datasets vidéo pré-étiquetés et encodés qui permettent aux systèmes de véhicules autonomes d’identifier et d’interpréter avec précision les véhicules, les piétons et les objets environnants dans des conditions diverses.

6. Génération de scénarios

Ces modèles peuvent créer des scénarios simulés tels que divers schémas de trafic, conditions météorologiques et comportements de piétons qui comblent les lacunes des données d’entraînement réelles.

7. Évolutivité et localisation

Les développeurs peuvent utiliser des environnements virtuels pour reproduire les conditions de nouvelles zones géographiques, permettant aux véhicules autonomes de s’adapter à diverses réglementations routières, à des comportements de conduite culturels et à des conceptions d’infrastructures sans essais routiers approfondis.

8. Capteurs : fusion et calibration

Les WFM peuvent simuler des entrées multi-capteurs, telles que caméra, LiDAR, radar et GPS, dans le même environnement. Cela aide les systèmes de véhicules autonomes à s’entraîner à une fusion de capteurs et à un étalonnage précis, essentiels pour comprendre la profondeur, la vitesse et le mouvement dans des contextes de conduite complexes.

9. Sécurité et rentabilité

Les systèmes de véhicules autonomes peuvent itérer et optimiser dans un cadre sans gratuit en testant dans des environnements virtuels, réduisant ainsi les coûts et le potentiel d’accidents lors des essais réels.

Intégration multimodale

10. WFM avec d’autres ressources

L’intégration des WFM avec les modèles de langage de grande taille (LLMs) et d’autres ressources informatiques, telles que le calcul haute performance (HPC), améliore les systèmes d’IA physique en ajoutant une compréhension sémantique.

Cette combinaison prend en charge les modèles de langage visuel et les capacités multimodales, permettant des interactions plus sophistiquées avec les données d’images et de vidéos.

Technologies fondamentales derrière les modèles de fondation mondiaux

La construction des modèles de fondation mondiaux implique plusieurs couches de processus et de technologies complexes, notamment la curation des données, la tokenisation, les réseaux neuronaux, la représentation interne, ainsi que le fine-tuning et la spécialisation :

Collecte des données

Les pipelines de curation s’exécutent sur les vidéos collectées, et la taille de ce corpus fixe une limite supérieure à ce qu’un modèle peut apprendre. Cosmos curate 20 millions d’heures de vidéo, et DreamDojo se pré-entraîne sur environ 44 000 heures de séquences humaines égocentriques. De tels volumes sont difficiles à atteindre par l’auto-collecte, car un seul laboratoire ne peut enregistrer qu’un ensemble limité d’environnements, de conditions d’éclairage et de cas d’échec.

Les vidéos web publiques couvrent un plus large éventail de scènes, de tâches et de zones géographiques, de sorte que les équipes complètent souvent les séquences enregistrées par du matériel collecté à partir de sources ouvertes. Deux exigences déterminent si une configuration de collecte tient à l’échelle de l’entraînement :

• Fiabilité de l’extraction : des outils tels que yt-dlp sont conçus pour des téléchargements individuels, pas pour un débit soutenu à l’échelle du pétabyte. Par exemple, Bright Data rapporte plus de 99 % de succès d’extraction à ce volume, contre 60 % à 75 % pour l’outillage open source.
• Recherche par contenu visuel : les titres et les tags décrivent rarement ce qui se passe dans un clip, ce qui limite la recherche par mots-clés lors de l’assemblage de familles de tâches telles que le pick-and-place ou les traversées de piétons sous la pluie. L’API Video Search de Bright Data indexe plus d’un milliard de vidéos web et prend en charge la recherche en fonction du contenu des séquences.

Curation des données

La curation des données est la première étape du développement des modèles mondiaux. Elle consiste à organiser, nettoyer et préparer systématiquement de vastes datasets réels afin que le modèle soit entraîné sur des informations de haute qualité. Voici les étapes de la curation des données :

• Filtrage : identifie et conserve les données de haute qualité.
• Annotation : étiquette les objets, actions et événements clés à l’aide de modèles vision-langage.
• Classification : catégorise les données pour des objectifs d’entraînement spécifiques.
• Dédoublonnage : utilise des embeddings vidéo pour identifier et supprimer les données redondantes afin d’améliorer l’efficacité.

Traitement vidéo

Le traitement vidéo comprend :

• Le découpage et le transcodage de la vidéo en segments plus petits.
• L’application de filtres de qualité pour isoler les données haute résolution pertinentes.

Tokenisation

La tokenisation transforme les données visuelles brutes de haute dimension en unités plus petites et plus faciles à gérer, appelées tokens, simplifiant ainsi les processus d’apprentissage automatique. Elle vise à réduire les redondances de pixels et à les convertir en tokens compacts et sémantiquement significatifs, ce qui permet un entraînement et une inférence plus rapides et plus efficaces des modèles.

Il existe deux types de tokenisation : discrète (qui encode les données visuelles sous forme d’entiers) et continue (qui encode les données visuelles sous forme de vecteurs continus).

Réseaux neuronaux et représentation interne

Au cœur des modèles de fondation mondiaux se trouvent des réseaux neuronaux dotés de milliards de paramètres. Ces réseaux analysent les données pour créer et mettre à jour un état caché, ou représentation interne, de l’environnement.

Les capacités clés sont les suivantes :

• Perception : extrait le mouvement, la profondeur et d’autres comportements dynamiques 3D à partir de vidéos et d’images.
• Prédiction : anticipe les objets cachés, les schémas de mouvement et les événements potentiels sur la base des représentations apprises.
• Adaptation : affine en continu l’état caché grâce au deep learning, garantissant la réactivité à de nouveaux scénarios et environnements.

Architectures de modèles

Les modèles de fondation mondiaux utilisent des architectures de réseaux neuronaux spécialisées pour simuler et prédire efficacement les phénomènes physiques :

Modèles de diffusion

• Fonctionnent en affinant le bruit aléatoire pour générer des vidéos de haute qualité.
• Idéaux pour des tâches telles que la génération vidéo et le transfert de style.

Modèles autorégressifs

• Génèrent la vidéo image par image, en prédisant chaque image suivante à partir des précédentes.
• Adaptés à la complétion vidéo et à la prédiction des images futures.

Fine-tuning et spécialisation

Initialement entraînés pour des tâches générales, les modèles de fondation mondiaux peuvent être fine-tunés pour des applications spécifiques.

Les frameworks de fine-tuning intègrent des bibliothèques, des SDK et des outils pour simplifier la préparation des données, l’entraînement des modèles, l’optimisation des performances et le déploiement des solutions, tout en permettant l’adaptation à des tâches spécialisées en robotique, dans les systèmes autonomes et d’autres applications.

Que sont les modèles de fondation mondiaux ?

Les modèles de fondation mondiaux sont des systèmes d’IA avancés conçus pour simuler et prédire les environnements du monde réel et leur dynamique.

Ces modèles traitent diverses entrées de données, notamment des informations textuelles, des données visuelles telles que des images et des vidéos, ainsi que des données liées au mouvement, pour créer des simulations réalistes et immersives de scénarios physiques et virtuels.

La capacité fondamentale des modèles de fondation mondiaux réside dans leur compréhension des principes physiques de base, tels que le mouvement, la force, la causalité et les relations spatiales.

Cela leur permet de simuler la manière dont les objets et les entités interagissent dans un environnement donné, qu’il s’agisse du mouvement d’un véhicule, de la dynamique d’un bras robotique ou de l’interaction d’objets dans un monde virtuel.

Une application clé de ces modèles est le développement et l’affinage de systèmes d’IA physique, tels que les robots et les véhicules autonomes. En offrant un environnement sûr et contrôlé pour l’entraînement et les tests, ces modèles peuvent réduire la nécessité d’expérimentations dans le monde réel, qui peuvent être coûteuses, longues et potentiellement dangereuses.

De plus, les modèles de fondation mondiaux peuvent générer du contenu vidéo réaliste de haute qualité, utilisable à diverses fins, notamment le divertissement, l’éducation et la recherche.

Leur capacité à simuler des environnements précis et détaillés en fait des outils essentiels pour les développeurs, permettant des améliorations plus efficaces et précises des performances de l’IA.

Systèmes d’IA physique : définition et importance

Les applications d’IA physique désignent des systèmes d’intelligence artificielle équipés de capteurs pour percevoir le monde physique et d’actionneurs pour interagir avec lui et le modifier.

Elles permettent aux machines autonomes, telles que les robots, les voitures autonomes et d’autres dispositifs, d’effectuer des actions complexes dans des environnements réels.

Souvent décrite comme l’« IA physique générative », elle étend les modèles d’IA générative par une compréhension des relations spatiales et des règles physiques régissant le monde 3D.

Comment fonctionne l’IA physique ?

L’IA physique générative combine l’IA générative avec des données du monde physique pour des fonctionnalités améliorées.

Pendant l’entraînement, les systèmes d’IA sont exposés à des simulations qui imitent des scénarios du monde réel. Ces simulations s’appuient sur des jumelles numériques, des répliques virtuelles très précises d’espaces physiques comme les usines, où sont introduits des machines autonomes et des capteurs. L’environnement virtuel génère des données d’entraînement 3D, capturant des interactions telles que le mouvement des objets, les collisions et la dynamique de la lumière.

L’apprentissage par renforcement est essentiel dans ce processus. Il permet aux machines d’acquérir des compétences par essais et erreurs dans ces environnements simulés. Des récompenses sont attribuées pour l’exécution des actions souhaitées, permettant à l’IA de s’adapter, de s’améliorer et finalement de maîtriser les tâches avec précision. Ce processus dote les machines des compétences motrices sophistiquées nécessaires aux applications du monde réel.

Pourquoi les systèmes d’IA physique sont-ils importants ?

Auparavant, les machines autonomes peinaient à percevoir leur environnement et à interagir efficacement avec lui. L’IA physique surmonte cette limitation en permettant aux robots et autres dispositifs de percevoir, de s’adapter et d’interagir avec leur environnement.

Les systèmes d’IA physique contribuent à améliorer l’efficacité, la sécurité et l’accessibilité dans tous les secteurs en créant des machines capables d’effectuer des tâches complexes, des procédures chirurgicales à la navigation en entrepôt.

L’IA physique s’appuie sur des simulations avancées basées sur la physique pour entraîner les machines dans des environnements sûrs et contrôlés. Ces simulations accélèrent le développement, préviennent les dommages pendant les premières phases d’apprentissage et garantissent la préparation au déploiement dans le monde réel.

Voici quelques-unes des applications de l’IA physique :

• Robots mobiles autonomes (AMR) : naviguent dans des environnements d’entrepôt complexes, évitent les obstacles et s’adaptent au retour des capteurs en temps réel.
• Manipulateurs : effectuent des tâches délicates telles que l’ajustement de la force de préhension et du positionnement en fonction de la pose des objets.
• Robots humanoïdes : nécessitent une motricité fine et globale pour percevoir, naviguer et interagir dans diverses tâches.
• Espaces intelligents : les grands environnements intérieurs, tels que les entrepôts et les usines, bénéficient de l’IA physique et de l’IA générative dans les applications de chaîne d’approvisionnement grâce à une sécurité améliorée, une planification dynamique des itinéraires et une efficacité opérationnelle. Des modèles de vision par ordinateur avancés surveillent et optimisent les activités tout en privilégiant la sécurité humaine.
• Robots chirurgicaux : exécutent des opérations de précision, telles que la suture et l’enfilage d’aiguilles.

Exemple concret :

ORBIT-Surgical, développé par des chercheurs de l’Université de Toronto, de UC Berkeley, de l’ETH Zurich, de Georgia Tech et de NVIDIA, est un framework de simulation open source conçu pour entraîner des robots chirurgicaux. Il réduit la charge cognitive des chirurgiens et améliore les performances de l’équipe.

Construit sur NVIDIA Isaac Sim, il prend en charge des tâches inspirées de la laparoscopie telles que la préhension d’aiguilles, le transfert d’objets et les placements précis. Grâce à l’accélération GPU, il peut entraîner rapidement les robots, avec des tâches comme l’insertion de shunts réalisées en moins de deux heures sur un seul NVIDIA RTX GPU.

Le framework utilise également NVIDIA Omniverse pour générer des données synthétiques de haute qualité destinées à l’entraînement des modèles de perception de l’IA, améliorant la reconnaissance des outils et réduisant la dépendance aux datasets du monde réel.¹³

Pourquoi le modèle de fondation mondial est-il important ?

La construction de modèles mondiaux efficaces pour l’IA physique nécessite souvent de vastes datasets, dont la collecte est à la fois longue et coûteuse, en particulier lorsqu’il s’agit de capturer le large éventail de scénarios réels nécessaire à un entraînement complet.

Les modèles de fondation mondiaux (WFM) peuvent relever ce défi en générant des données synthétiques. Ces données sont riches, variées et évolutives, et permettent aux développeurs d’entraîner plus efficacement les systèmes d’IA sans les problèmes logistiques liés à la collecte d’informations réelles.

Les datasets synthétiques créés par les WFM aident également à combler les lacunes de scénarios qui pourraient être rares ou difficiles à reproduire dans le monde réel.

L’entraînement et les tests des systèmes d’IA physique dans des environnements réels posent des défis importants. Ceux-ci incluent des coûts élevés, des risques potentiels pour l’équipement ou l’environnement, et la difficulté de maintenir des conditions contrôlées pour des tests cohérents.

Les modèles de fondation mondiaux offrent une solution en proposant des environnements 3D virtuels très réalistes où les systèmes d’IA peuvent être formés et testés en toute sécurité. Ces environnements permettent aux développeurs de simuler des interactions physiques complexes, de tester de nouvelles capacités et d’affiner les comportements de l’IA de manière contrôlée et reproductible.

Avantages des modèles de fondation mondiaux

En tirant parti des modèles de fondation mondiaux, les chercheurs et les ingénieurs peuvent accélérer les cycles de développement, réduire les coûts et minimiser les risques tout en construisant des systèmes d’IA physique plus robustes et plus adaptables.

Cette approche peut favoriser la création d’applications d’IA avancées et garantir un déploiement plus sûr et plus efficace dans des scénarios réels.

Amélioration de la prise de décision et de la planification

Les modèles de fondation mondiaux améliorent les systèmes d’IA physique en simulant des scénarios futurs potentiels basés sur diverses séquences d’actions. Grâce à des modules intégrés de coût ou de récompense, ces modèles évaluent les résultats afin d’identifier les stratégies optimales.

Cette anticipation permet aux constructeurs d’IA physique de résoudre des défis complexes, en garantissant l’efficacité, l’adaptabilité et la sécurité dans des environnements dynamiques.

Simulations réalistes et physiquement précises

Les modèles de fondation mondiaux, y compris les modèles de diffusion de NVIDIA, génèrent des simulations 3D haute fidélité en comprenant comment les objets se déplacent et interagissent. Ces simulations sont essentielles pour entraîner l’IA de perception et tester des véhicules autonomes ou des systèmes robotiques dans des environnements divers.

Par exemple, les voitures autonomes peuvent être évaluées dans diverses conditions météorologiques et de circulation, tandis que les robots peuvent être testés pour la manipulation d’objets et l’exécution de tâches avant leur déploiement dans le monde réel.

Intelligence prédictive

Les modèles de fondation mondiaux fournissent une intelligence prédictive, permettant aux systèmes d’IA physique d’anticiper des scénarios et de prendre des décisions éclairées sur la base de l’entraînement vidéo et des données historiques.

En tirant parti de la génération vidéo-vers-monde et de la production de vidéos tenant compte de la physique, ces modèles contribuent à optimiser les stratégies, à améliorer la sécurité et à renforcer l’adaptabilité des configurations d’IA physique.

Développement amélioré des politiques avec les modèles de fondation mondiaux

Évaluation des politiques : les modèles de fondation mondiaux, tels que les modèles NVIDIA Cosmos, permettent aux développeurs de systèmes d’IA physique de tester et d’affiner les modèles de politique dans des environnements virtuels plutôt que dans le monde physique.

Cette méthode utilise des jumeaux numériques et est rentable et efficace en temps. Elle permet de réaliser des tests diversifiés dans des conditions inédites, et les développeurs peuvent concentrer les tâches et les ressources d’IA physique sur des politiques prometteuses en écartant rapidement celles qui sont inefficaces.

Initialisation des politiques : les modèles de fondation mondiaux constituent une base solide pour l’initialisation des modèles de politique en modélisant la physique et la dynamique du monde réel. Cette approche répond aux défis de pénurie de données et accélère le développement des modèles d’IA physique.

Entraînement des politiques : associés à des modèles de récompense, les modèles de fondation mondiaux servent de substituts au monde physique dans les configurations d’apprentissage par renforcement. Ces modèles fournissent un retour d’information qui aide à fine-tuner les modèles de politique par des interactions simulées, améliorant ainsi leurs capacités.

Ne manquez pas nos benchmarks et analyses basées sur les données. Le bouton ouvre Google ; sélectionner AIMultiple confirme que vous souhaitez voir AIMultiple plus souvent dans les résultats de recherche Google.

Ajouter comme source préférée

Avenir des plateformes de modèles de fondation mondiaux

Les applications des modèles de fondation mondiaux devraient s’étendre bien au-delà des véhicules autonomes et de la robotique. Voici quelques applications futures possibles des modèles de fondation mondiaux :

Santé

Ces modèles peuvent permettre la formation simulée de robots chirurgicaux et de dispositifs médicaux, garantissant précision et sécurité lors d’interventions complexes et améliorant à terme les résultats pour les patients.

Éducation et formation

Les environnements virtuels peuvent offrir des simulations immersives pour l’éducation et la formation, notamment pour les opérateurs de machines lourdes, les pilotes et les intervenants d’urgence, en reproduisant des scénarios à haut risque sans danger réel.

Jeux vidéo et divertissement

En créant des personnages d’IA plus interactifs et adaptatifs, ces modèles peuvent transformer les expériences de réalité augmentée et virtuelles, les rendant plus engageantes et plus réalistes.

Urbanisme

Les urbanistes peuvent tirer parti de ces modèles pour simuler les schémas de circulation, la dynamique des piétons et les changements d’infrastructure, optimisant ainsi les conceptions avant leur mise en œuvre physique.

Sécurité et défense

Les modèles mondiaux devraient être essentiels à la formation de drones et d’agents autonomes pour la surveillance, les missions de recherche et de sauvetage et la réponse aux catastrophes, le tout dans des scénarios virtuels sûrs et contrôlés.

Citer cette recherche

Choisissez le format qui correspond à votre lieu de publication. Coller la version avec lien dans votre CMS préserve le lien retour.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Ermut, Sıla},
  title  = {{Modèles de fondation mondiaux: 10 cas d'utilisation}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/world-foundation-model}},
  note   = {AIMultiple. Consulté le 10 Août 2026}
}

Journal des modifications

8 mises à jour

1. 202615 Mai

   Ajout de DreamDojo et DreamZero de NVIDIA comme entrées 9 et 10 de la liste des World Foundation Models, avec suppression de Proc4Gem.

2. 11 Fév

   Remplacement de la section « Cas d'utilisation des modèles de fondation mondiaux » par la section « Top 9 des modèles de fondation mondiaux ».

3. 29 Jan

   La section Robotique a été enrichie de nouvelles informations sur les véhicules autonomes, l'intégration multimodale, Alpamayo de NVIDIA et GR00T N1.6 de NVIDIA Research.

4. 202518 Nov

   Ajout de PAN et World Labs' Marble à la section "Planification de tâches complexes".

5. 6 Août

   Ajout de Genie 3 de Google DeepMind à la section Exemple réel.

6. 20 Juin

   Ajout de Meta V-JEPA 2 à la section Exemple réel.

7. 21 Mai

   L'introduction aux modèles fondamentaux mondiaux a été étendue avec des détails sur la robotique, les véhicules autonomes et l'intégration multimodale.

8. 28 Fév

   Ajout de l'intégration multimodale à la section Modèles de Fondation Mondiaux.

Liens de référence

1.

NVIDIA Announces Alpamayo Family of Open-Source AI Models and Tools to Accelerate Safe, Reasoning-Based Autonomous Vehicle Development | NVIDIA Newsroom

2.

GR00T N1.6

3.

https://arxiv.org/pdf/2511.09057

4.

Fei-Fei Li's World Labs speeds up the world model race with Marble, its first commercial product | TechCrunch

TechCrunch

5.

Introducing the V-JEPA 2 world model and new benchmarks for physical reasoning

6.

https://arxiv.org/pdf/2506.09985

7.

NVIDIA Launches Cosmos World Foundation Model Platform to Accelerate Physical AI Development | NVIDIA Newsroom

8.

Cosmos World Foundation Model Platform for Physical AI

9.

Cosmos World Foundation Models Openly Available to Physical AI Developers | NVIDIA Blog

10.

Genie 3: A new frontier for world models — Google DeepMind

Google DeepMind

11.

NVIDIA Earth-2 Features First Gen AI to Power Weather Super-Resolution for Continental US | NVIDIA Blog

12.

DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos

13.

Needle-Moving AI Research Trains Surgical Robots in Simulation | NVIDIA Blog

Cem Dilmegani

Analyste principal

Suivre

Cem est analyste principal chez AIMultiple depuis 2017.

Le travail de Cem chez AIMultiple a été cité par des publications mondiales de premier plan, notamment Business Insider, Forbes, Morning Brew et Washington Post, par des entreprises mondiales comme Deloitte et HPE, par des ONG comme World Economic Forum et par des organisations supranationales comme European Commission. [1], [2], [3], [4], [5]

Tout au long de sa carrière, Cem a été consultant en technologies, acheteur de technologies et entrepreneur technologique. Il a conseillé des entreprises sur leurs décisions technologiques chez McKinsey & Company et Altman Solon pendant plus de dix ans. Il a également publié un rapport McKinsey sur la digitalisation.

Il a dirigé la stratégie technologique et les achats d'un opérateur télécom, sous la responsabilité du PDG. Il a également dirigé la croissance commerciale de l'entreprise de technologie profonde Hypatos, qui a atteint un revenu récurrent annuel à 7 chiffres et une valorisation à 9 chiffres, passant de 0 à ce résultat en deux ans. Le travail de Cem chez Hypatos a été couvert par des publications technologiques de premier plan comme TechCrunch et Business Insider.

Cem intervient régulièrement lors de conférences technologiques internationales. Il est diplômé de Bogazici University en tant qu'ingénieur informatique et titulaire d'un MBA de la Columbia Business School.

Voir le profil complet

Recherche effectuée par

Sıla Ermut

Analyste sectorielle

Suivre

Sıla Ermut est analyste sectorielle chez AIMultiple, couvrant les modèles d’IA, l’infrastructure d’IA, la gouvernance de l’IA et les applications d’IA d’entreprise. Ses recherches portent principalement sur l’utilisation de l’IA dans le marketing, la santé, les chaînes d’approvisionnement et le développement durable.
Elle a précédemment travaillé comme recruteuse dans des cabinets de gestion de projet et de conseil. Sıla est titulaire d’un master en psychologie sociale et d’une licence en relations internationales.

Voir le profil complet

Soyez le premier à commenter

Votre adresse courriel ne sera pas publiée. Tous les champs sont obligatoires. Les commentaires sont laissés dans leur langue d'origine.

Nom

Adresse email

Commentaire

0/450

Publier un commentaire