World Foundation Models: 10 Anwendungsfälle

Das Training von Robotern und autonomen Fahrzeugen (AVs) in der physischen Welt kann kostspielig, zeitaufwendig und riskant sein. World Foundation Models bieten eine skalierbare Alternative, indem sie realistische Simulationen realer Umgebungen ermöglichen.

Diese Models beschleunigen Entwicklung und Einsatz in Robotik, AVs und anderen Bereichen, indem sie die Abhängigkeit von physischen Tests verringern.

Erfahren Sie, wie World Foundation Models funktionieren, welche realen Anwendungsfälle es gibt und welche greifbaren Vorteile sie bieten.

Top 10 World Foundation Models

1) NVIDIAs Alpamayo

NVIDIAs Alpamayo ist eine neue Familie von Open-Source-KI-Models, Simulationstools und Datasets, die autonome Fahrzeuge durch entscheidungsbasiertes Denken sicherer machen sollen.

Um diesen Ansatz zu unterstützen, vereint Alpamayo drei Schlüsselkomponenten:

• Alpamayo 1, ein VLA-Model mit 10 Milliarden Parametern und Chain-of-Thought, das seine Fahrentscheidungen erklärt
• AlpaSim, ein Open-Source-Simulationsframework für Tests und Validierung
• Physical KI Open Datasets, die mehr als 1.700 Stunden vielfältiger realer Fahrdaten umfassen.

Diese Models sind nicht dazu gedacht, direkt in Fahrzeugen zu laufen. Stattdessen dienen sie als große Teacher-Models, die Entwickler fine-tunen und in produktive AV-Stacks destillieren können, wodurch Sicherheit und Skalierbarkeit verbessert werden.¹

2) NVIDIA Researchs GR00T N1.6

NVIDIA Researchs GR00T N1.6 ist ein aktualisiertes offenes Foundation Model für humanoide Allzweckroboter. Aufbauend auf GR00T N1.5 liefert die neue Version eine stärkere Leistung sowohl in Simulations- als auch in realen Tests, einschließlich bimanueller Manipulation und Ganzkörper-Lokomotionsaufgaben auf Robotern wie YAM, AgiBot Genie-1 und Unitree G1 (siehe Abbildung unten).

Abbildung 1: GR00T N1.6 vs. GR00T N1.5 Vergleichsdiagramme.

GR00T N1.6 umfasst architektonische Verbesserungen und Trainingsverbesserungen wie einen größeren Diffusion-Transformer, ein leistungsfähigeres Vision-Language-Model und erweiterte Pretraining-Daten, die Tausende Stunden teleoperierter Roboterdemonstrationen hinzufügen. Diese Änderungen helfen dem Model, flüssigere und präzisere Bewegungen zu lernen und sich während des Post-Trainings schneller anzupassen.

Statt sich auf einen einzelnen Roboter oder eine einzelne Aufgabe zu konzentrieren, ist GR00T N1.6 als Generalist Policy konzipiert, die auf verschiedene humanoide Plattformen übertragen werden kann.

NVIDIA berichtet von schnellerer Konvergenz, besserer Geschicklichkeit und verbesserter Leistung bei langfristigen Aufgaben, was N1.6 zu einem bedeutenden Schritt nach vorn für offenes, skalierbares Lernen humanoider Roboter macht.²

Sehen Sie sich das Video unten an, um GR00T N1.6 in Aktion zu erleben.

3) PAN

PAN ist ein allgemeines interaktives World Model, das für langfristige Vorhersagen und aktionsbedingte Simulationen entwickelt wurde. Es basiert auf einer Generative Latent Prediction-Architektur, die ein autoregressives latentes Dynamik-Model mit einem Video-Diffusion-Decoder kombiniert.

Dieses Design ermöglicht es dem System, zu simulieren, wie sich eine Umgebung als Reaktion auf bestimmte Aktionen entwickelt, die in natürlicher Sprache bereitgestellt werden, während zeitliche Konsistenz und visuelle Kohärenz erhalten bleiben.

PAN unterstützt die mehrstufige Rollout-Generierung, bei der ein Agent Aktionen vorschlagen, deren wahrscheinliche Ergebnisse simulieren und Sequenzen auswählen kann, die ein definiertes Ziel besser erreichen. Das Model kann auch kontrafaktisches Denken durchführen, indem es bewertet, wie sich Aufgabenergebnisse ändern könnten, wenn Objektinteraktionen oder Bewegungsbahnen verändert werden.

Experimentelle Ergebnisse zeigen, dass es eine starke Leistung bei langfristiger visueller Vorhersage, physischem Denken und Planungs-Benchmarks im Vergleich zu vergleichbaren Open-Source-Models erzielt.

Für die Robotik ermöglichen diese Fähigkeiten Robotern oder Trainingssystemen, Umgebungsdynamiken vorherzusagen, Strategien intern zu testen, bevor sie ausgeführt werden, und Aufgaben-Policies zu verfeinern, wodurch Kosten und Risiken wiederholter physischer Versuche reduziert werden.

Abbildung 2: Abbildung der PAN-Model-Architektur, die ein autoregressives LLM-basiertes Backbone für die langfristige Weltsimulation kombiniert.³

4) World Labs’ Marble

World Labs’ Marble erzeugt persistente und editierbare 3D-Umgebungen aus Text-Prompts, einzelnen oder mehreren Bildern, Videos, Panoramen und 3D-Layouts.

Anders als generative Echtzeitsysteme, die Szenen während der Erkundung kontinuierlich verformen, erzeugt Marble stabile Welten, die als Gaussian Splats, Meshes oder Videos exportiert werden können. Die Plattform umfasst Chisel, einen hybriden 3D-Editor, der räumliche Struktur von visuellem Stil trennt.

Mit diesem Tool können Entwickler grundlegende geometrische Elemente wie Wände oder große Objekte anordnen und anschließend stilistische Prompts anwenden, um die Szene zu vervollständigen.

Benutzer können Objekte auch direkt im Editor neu positionieren und die generierte Welt erweitern, um zusätzliche nahegelegene Regionen einzubeziehen. Diese Funktionen ermöglichen es Robotik-Teams, realistische digitale Zwillinge von Arbeitsbereichen zu erstellen, Navigation und Manipulation in kontrollierten Umgebungen zu testen und schnell über Layout oder Aufgabendesign zu iterieren, ohne ganze Szenen neu erstellen zu müssen.

Die Fähigkeit von Marble, visuelle Eingaben aus mehreren Blickwinkeln zu akzeptieren, unterstützt die Erstellung von High-Fidelity-Umgebungen. Diese konsistenten Simulationsumgebungen können die Effizienz des Robotiktrainings verbessern und die Notwendigkeit umfangreicher physischer Prototypen reduzieren.

Abbildung 3: Die Grafik zeigt Marbles Input-to-Output-Pipeline.⁴

5) Metas V-JEPA 2

Meta hat V-JEPA 2 vorgestellt, ein fortschrittliches videobasiertes World Model, das neue Benchmarks im physischen Denken, in der visuellen Vorhersage und in der Zero-Shot-Roboterplanung setzt.

Aufbauend auf der Joint Embedding Predictive Architecture (JEPA) wird das 1,2-Milliarden-Parameter-Model mit über einer Million Stunden Video und zusätzlichen Roboter-Interaktionsdaten trainiert, wodurch es die Dynamik unbekannter Objekte und Umgebungen verstehen und vorhersagen kann.

V-JEPA 2 unterstützt Planung durch eine Encoder-Predictor-Architektur und selbstüberwachtes Lernen und erzielt fortgeschrittene Ergebnisse bei Aufgaben wie Aktionserkennung, Antizipation und Video-Fragebeantwortung.

Meta hat außerdem drei Benchmarks veröffentlicht: IntPhys 2, MVPBench und CausalVQA, um physisches Denken in KI zu bewerten und aktuelle Lücken zwischen KI und menschlicher Leistung aufzuzeigen.

Das Model ist sowohl für Forschungs- als auch für kommerzielle Nutzung quelloffen und markiert einen bedeutenden Schritt in Richtung Metas Ziel fortgeschrittener maschineller Intelligenz (AMI) und der Entwicklung praktischer, anpassungsfähiger KI-Agenten.⁵

Abbildung 4: V-JEPA 2 wird auf großflächigen Video- und Bilddaten vortrainiert, dann für visuelle Aufgaben mit einem Language Model abgeglichen und mit einer kleinen Menge Roboterdaten für Planung und Steuerung in der Robotik erweitert.⁶

6) NVIDIA Cosmos World Foundation Models

NVIDIA Cosmos World Foundation Models ist eine fortschrittliche Plattform, die Entwicklung physischer KI-Systeme einschließlich autonomer Fahrzeuge (AVs) und Roboter beschleunigen soll.

NVIDIA Cosmos Suite integriert generative World Foundation Models (WFMs), fortschrittliche Tokenizer, integrierte Guardrails und eine Hochgeschwindigkeits-Videoverarbeitungs-Pipeline.

NVIDIA NeMo Curator verarbeitet zusammen mit der CUDA-beschleunigten Pipeline 20 Millionen Stunden Video in zwei Wochen und senkt dadurch Kosten und Zeit.

Der NVIDIA Cosmos Tokenizer erreicht eine überlegene Komprimierung und eine schnellere Bild- und Videodatenverarbeitung. Hier sind die wichtigsten Funktionen der NVIDIA Cosmos Suite:

• Ermöglicht die Erstellung großer Mengen fotorealistischer, physikbasierter synthetischer Daten für das Training und die Evaluierung von KI-Models.
• Erzeugt physikbasierte Videos unter Verwendung verschiedener Eingaben wie Text, Bildern, Videos und Sensordaten.
• Simuliert komplexe Industrie- und Fahrumgebungen, einschließlich Lagerhäusern und unterschiedlichen Straßenbedingungen.
• Erleichtert die Videosuche nach bestimmten Szenarien und die Model-Evaluierung unter simulierten Bedingungen.
• Entwickler können WFMs fine-tunen, um benutzerdefinierte Models für bestimmte Anwendungen zu erstellen.
• WFMs sind unter einer offenen Lizenz zugänglich, um die Zusammenarbeit in der Robotik- und AV-Community zu fördern.
• Models können über den NVIDIA-API-Katalog in einer Vorschau angezeigt oder von den Plattformen NVIDIA NGC und Hugging Face heruntergeladen werden.⁷

Abbildung 5: Hauptkomponenten der NVIDIA Cosmos Suite: Video-Curator, Video-Tokenizer, vorab trainiertes World Foundation Model, Post-Training-Beispiele des World Foundation Model und Guardrail.⁸

Waabi, Foretellix, XPENG und Wayve nutzen NVIDIA Cosmos World Foundation Models, um Verkehrsszenarien, Wetterbedingungen und Fußgängerverhalten zu simulieren. Diese Unternehmen führen Tests in virtuellen Umgebungen ohne physische Versuche durch.⁹

Die Plattform nutzt NVIDIA NeMo Curator, um über 20 Millionen Stunden Video mittels CUDA-Beschleunigung in etwa zwei Wochen zu verarbeiten und zu kennzeichnen.

Wichtige Funktionen:

• Erzeugt gekennzeichnete Verkehrs-, Wetter-, Licht- und Fußgängerszenarien.
• Erzeugt fotorealistische Videos mit Sensordaten.
• Simuliert regionale Fahrnormen für die Lokalisierung.
• Ermöglicht eine risiko-free Validierung von AV-Systemen.

7) DeepMinds Genie 3

Google DeepMind hat Genie 3 veröffentlicht, ein KI-System, das interaktive virtuelle Umgebungen aus Textbeschreibungen in Echtzeit erzeugen soll.

Technische Spezifikationen:

• Leistungsmerkmale: Das System arbeitet mit 24 Bildern pro Sekunde und erzeugt eine Ausgabe mit 720p-Auflösung, während die Umgebungskonsistenz über mehrere Minuten Interaktion erhalten bleibt.
  • Das Model zeigt visuelle Gedächtnisleistungen, die sich ungefähr eine Minute in vergangene Interaktionen zurück erstrecken.
• Umgebungskategorien: Genie 3 erzeugt mehrere Arten virtueller Welten:
  • Physische Simulationen mit Fluiddynamik, Lichteffekten und Umweltphysik.
  • Biologische Ökosysteme umfassen Flora, Fauna und ökologische Interaktionen.
  • Fiktionale Umgebungen mit nicht-realistischen Elementen und animierten Charakteren.
  • Geografische und historische Rekonstruktionen realer Orte und Zeitperioden.
• Interaktionsmechanismen:
  • Promptbare Weltereignisse ermöglichen die Laufzeitänderung von Umgebungsbedingungen und Objektplatzierung.
  • Zeitliche Konsistenz hält kohärente physische Eigenschaften über längere Interaktionssitzungen aufrecht.
  • Agentenintegration unterstützt autonome Agents, die zielgerichtete Aufgaben in generierten Umgebungen ausführen.
• Technische Architektur: Das System verwendet autoregressive Frame-Generierung anstelle expliziter 3D-Szenendarstellungen.
  • Dieser Ansatz ermöglicht die dynamische Erstellung von Umgebungen und adressiert zugleich die rechnerische Herausforderung, die Konsistenz über wachsende zeitliche Sequenzen während der Echtzeit-Interaktion aufrechtzuerhalten.

Forschungsanwendungen und Zugang:

Der Zugang ist derzeit über ein begrenztes Vorschauprogramm auf ausgewählte akademische Forscher und Content-Ersteller beschränkt. Mögliche Forschungsanwendungen umfassen Bildungssimulation, Training autonomer Systeme, Evaluierung des Verhaltens von Agents und kontrafaktische Szenarioanalysen für Machine-Learning-Systeme.¹⁰

8) NVIDIAs Earth-2

NVIDIAs Earth-2 ist eine Initiative, die KI und High-Performance-Computing (HPC) nutzen soll, um das Klima und die Wettersysteme der Erde in hoher Auflösung zu simulieren. Sie stellt einen neuen Ansatz für Wettervorhersage und Klimamodellierung dar.

Welche Technologie steckt dahinter?

NVIDIA nutzt seine Omniverse-Plattform, die auf den Grafikprozessoren (GPUs) und KI-Tools von NVIDIA aufbaut, um realistische Simulationen zu erstellen. Die Idee ist, hochdetaillierte und genaue Simulationen des Erdklimas zu erzeugen, indem KI genutzt wird, um komplexe Wettermuster zu modellieren und präzisere Vorhersagen zu treffen.

Welche Auswirkungen gibt es?

Das ultimative Ziel von Earth-2 ist es, bessere Wettervorhersagen zu liefern, langfristige Klimatrends zu verstehen und den Klimawandel abzumildern.

Genauere Simulationen können zu einer besseren Vorbereitung auf extreme Wetterereignisse, einer effizienteren Energienutzung und verbesserten Strategien zur Katastrophenbewältigung führen.¹¹

Um zu erfahren, wie die KI-Technologie von NVIDIA Wettervorhersage und Klimamodellierung voranbringt, sehen Sie sich das folgende Video an, das einen detaillierten Einblick in die Earth-2-Plattform und ihre Auswirkungen auf Sturmvorhersagen bietet:

9) NVIDIAs DreamDojo

DreamDojo ist ein generalistisches Roboter-World Model von NVIDIA, das entwickelt wurde, um physisches Wissen aus groß angelegtem menschlichem Video zu erwerben und es durch Post-Training auf die Ziel-Embodiment auf Roboter zu übertragen.

Das System wird auf DreamDojo-HV trainiert, einem kuratierten Dataset mit rund 44.000 Stunden egozentrischem menschlichem Video. Es gilt als die bislang größte Sammlung, die für das Pretraining von World Models verwendet wird, und deckt wesentlich mehr Fähigkeiten und Szenen ab als frühere Datasets dieser Kategorie.

Im Vergleich zu einer post-trainierten Cosmos-Predict-2,5-Baseline erzeugt DreamDojo physisch genauere aktionsbedingte Rollouts in unterschiedlichen Umgebungen und Objektinteraktionen.

Wichtige Funktionen:

• Open-Source-Veröffentlichung über NVIDIAs GitHub.
• Vortrainiert auf rund 44k Stunden egozentrischem menschlichem Video.
• Latent-Action-Pretraining, gefolgt von roboterspezifischem Post-Training.
• Autoregressive Echtzeit-Generierung mit 10 FPS nach der Destillation.
• Generalisiert über mehrere humanoide und Manipulator-Embodiments.
• Unterstützt Policy-Evaluierung und modelbasierte Planung als nachgelagerte Anwendungen.

Abbildung 6: DreamDojo-Überblick: Latent-Action-Pretraining auf menschlichen Videos, gefolgt von Post-Training mit kontinuierlichen Roboteraktionen am Ziel-Embodiment.¹²

10) NVIDIAs DreamZero

DreamZero ist ein World Action Model (WAM) von NVIDIA, das auf einem vortrainierten Video-Diffusion-Backbone aufbaut. Im Gegensatz zu Standard-Vision-Language-Action-Models, die mit ungewohnten physischen Bewegungen Schwierigkeiten haben, lernt DreamZero Dynamik, indem es künftige Weltzustände und künftige Aktionen gemeinsam in einem einzigen Vorwärtsdurchlauf vorhersagt und Video als dichte Darstellung davon behandelt, wie sich die Umgebung entwickelt.

Diese gemeinsame Modellierung ermöglicht es dem System, vielfältige Fähigkeiten aus heterogenen Roboter-Datasets zu lernen, ohne sich auf repetitive Demonstrationen zu stützen. In Experimenten mit echten Robotern berichtet DreamZero von mehr als 2x besserer Generalisierung auf neue Aufgaben und Umgebungen gegenüber hochmodernen VLA-Baselines.

DreamZero zeigt außerdem starken Cross-Embodiment-Transfer. Bereits 10–20 Minuten Videodemonstrationen von Menschen oder anderen Robotern führen zu einer Verbesserung von über 42 % bei ungesehenen Aufgaben. Das Model passt sich an eine völlig neue Roboterplattform (YAM) an — basierend auf 30 Minuten Spieldaten — und erhält die Zero-Shot-Generalisierung.

Wichtige Funktionen:

• World Action Model, das gemeinsam Video und Roboteraktionen vorhersagt.
• Auf einem autoregressiven Video-Diffusion-Backbone mit 14B Parametern aufgebaut.
• Über 2x Generalisierungsverbesserung bei neuen Aufgaben im Vergleich zu hochmodernen VLAs.
• Echtzeit-Regelung mit 7 Hz geschlossenem Regelkreis nach einer 38x Inferenzbeschleunigung.
• Unterstützt interaktives Zero-Shot-Prompting bei neuartigen Aufgaben in freier Wildbahn.

Anwendungsfälle von World Foundation Models

Robotik

In der Robotik spielen World Foundation Models eine entscheidende Rolle, damit Roboter in dynamischen, realen Umgebungen effektiv agieren können, indem sie:

1. Aufbau räumlicher Intelligenz

Roboter erlangen durch simulierte Trainingsumgebungen ein Verständnis ihrer Umgebung, was es ihnen ermöglicht, präzise zu navigieren und Objekte zu manipulieren.

2. Verbesserte Lerneffizienz

Simulierte Umgebungen beschleunigen das Training, indem sie kontrollierte Szenarien bieten, in denen Roboter experimentieren und aus Fehlern lernen können, ohne physische Konsequenzen.

3. Aufgabengeneralisierung

Durch die Integration von Eingaben aus verschiedenen Modalitäten wie visuellen, auditiven und taktilen Sensoren unterstützen World Foundation Models Transferlernen und ermöglichen es Robotern, sich mit minimalem Retraining an neue Umgebungen und Aufgaben anzupassen.

4. Komplexe Aufgabenplanung

Diese Models ermöglichen es Robotern, langfristig zu planen, etwa Objekte zu montieren, menschliche Handlungen vorherzusagen oder in industriellen oder kollaborativen Umgebungen mit anderen Robotern zu koordinieren.

Autonome Fahrzeuge

World Foundation Models können die Entwicklungspipeline autonomer Fahrzeuge (AVs) verbessern, indem sie:

5. Training mit vorbeschrifteten Daten

Sie liefern vorbeschriftete und codierte Video-Datasets, die es AV-Systemen ermöglichen, umgebende Fahrzeuge, Fußgänger und Objekte unter unterschiedlichen Bedingungen genau zu identifizieren und zu interpretieren.

6. Szenariogenerierung

Diese Models können simulierte Szenarien wie verschiedene Verkehrsmuster, Wetterbedingungen und Fußgängerverhalten erstellen, die Lücken in realen Trainingsdaten schließen.

7. Skalierbarkeit und Lokalisierung

Entwickler können virtuelle Umgebungen nutzen, um Bedingungen an neuen geografischen Standorten nachzubilden, sodass sich AVs ohne umfangreiche Straßentests an unterschiedliche Verkehrsregeln, kulturelle Fahrgewohnheiten und Infrastrukturdesigns anpassen können.

8. Sensor-fusion und Kalibrierung

WFMs können Multi-Sensor-Eingaben wie Kamera, LiDAR, Radar und GPS innerhalb derselben Umgebung simulieren. Dies hilft AV-Systemen, für eine präzise Sensor-fusion und Kalibrierung zu trainieren, die für das Verständnis von Tiefe, Geschwindigkeit und Bewegung in komplexen Fahrsituationen unerlässlich ist.

9. Sicherheit und Kosteneffizienz

AV-Systeme können in einer risiko-free Umgebung iterieren und optimieren, indem sie in virtuellen Umgebungen testen, was Kosten und Unfallpotenzial bei realen Versuchen reduziert.

Multimodale Integration

10. WFMs mit anderen Ressourcen

Die Integration von WFMs mit Large Language Models (LLMs) und anderen Computerressourcen wie High-Performance-Computing (HPC) verbessert physische KI-Systeme durch zusätzliches semantisches Verständnis.

Diese Kombination unterstützt Visual Language Models und multimodale Fähigkeiten und ermöglicht komplexere Interaktionen mit Bild- und Videodaten.

Kerntechnologien hinter World Foundation Models

Der Aufbau von World Foundation Models umfasst mehrere Ebenen komplexer Prozesse und Technologien, darunter Datenkuratierung, Tokenisierung, neuronale Netze, interne Repräsentation sowie Fine-Tuning und Spezialisierung:

Datenbeschaffung

Kuratierungs-Pipelines laufen auf gesammeltem Video, und die Größe dieses Pools legt eine Obergrenze für das fest, was ein Model lernen kann. Cosmos kuratiert 20 Millionen Stunden Video, und DreamDojo wird auf rund 44.000 Stunden egozentrischem menschlichem Filmmaterial vortrainiert. Solche Mengen sind durch eigene Sammlung schwer zu erreichen, da ein einzelnes Labor nur eine begrenzte Menge an Umgebungen, Lichtverhältnissen und Fehlerfällen aufzeichnen kann.

Öffentliches Webvideo deckt ein breiteres Spektrum an Szenen, Aufgaben und geografischen Regionen ab, daher ergänzen Teams oft aufgenommenes Material um Material aus offenen Quellen. Zwei Anforderungen bestimmen, ob ein Sammlungs-Setup im Trainingsmaßstab tragfähig ist:

• Extraktionszuverlässigkeit: Tools wie yt-dlp sind für einzelne Downloads gebaut, nicht für einen anhaltenden Petabyte-Durchsatz. So meldet Bright Data bei diesem Volumen eine Extraktionserfolgsquote von über 99 %, verglichen mit 60 % bis 75 % bei Open-Source-Tools.
• Suche nach visuellen Inhalten: Titel und Tags beschreiben selten, was in einem Clip passiert, was die Keyword-Suche beim Zusammenstellen von Aufgabenfamilien wie Pick-and-Place oder Fußgängerüberquerungen bei Regen einschränkt. Die Bright Data Video Search API indexiert über 1 Milliarde Webvideos und unterstützt den Abruf basierend auf dem Filmmaterial-Inhalt.

Datenkuratierung

Datenkuratierung ist der erste Schritt bei der Entwicklung von World Models. Sie umfasst das systematische Organisieren, Bereinigen und Vorbereiten umfangreicher realer Datasets, um sicherzustellen, dass das Model mit hochwertigen Informationen trainiert wird. Hier sind die Schritte der Datenkuratierung:

• Filterung: Identifiziert und behält hochwertige Daten.
• Annotation: Kennzeichnet Schlüsselobjekte, Aktionen und Ereignisse mithilfe von Vision-Language-Models.
• Klassifizierung: Kategorisiert Daten für bestimmte Trainingsziele.
• Deduplizierung: Nutzt Video-Embeddings, um redundante Daten zu identifizieren und zur Effizienzsteigerung zu entfernen.

Videoverarbeitung

Videoverarbeitung umfasst:

• Das Aufteilen und Transkodieren von Videos in kleinere Segmente.
• Das Anwenden von Qualitätsfiltern, um relevante hochauflösende Daten zu isolieren.

Tokenisierung

Tokenisierung wandelt rohe, hochdimensionale visuelle Daten in kleinere, besser handhabbare Einheiten um, die als Tokens bezeichnet werden, und vereinfacht so Machine-Learning-Prozesse. Sie zielt darauf ab, Pixelredundanzen zu reduzieren und sie in kompakte, semantisch aussagekräftige Tokens umzuwandeln, wodurch schnelleres und effizienteres Model-Training und Inferenz ermöglicht werden.

Es gibt zwei Arten der Tokenisierung: diskrete (die visuelle Daten als Ganzzahlen codiert) und kontinuierliche (die visuelle Daten als kontinuierliche Vektoren codiert).

Neuronale Netze und interne Repräsentation

Im Kern von World Foundation Models stehen neuronale Netze mit Milliarden von Parametern. Diese Netze analysieren Daten, um einen verborgenen Zustand oder eine interne Repräsentation der Umgebung zu erstellen und zu aktualisieren.

Zu den wichtigsten Fähigkeiten gehören:

• Wahrnehmung: Extrahiert Bewegung, Tiefe und andere 3D-dynamische Verhaltensweisen aus Videos und Bildern.
• Vorhersage: Antizipiert verborgene Objekte, Bewegungsmuster und potenzielle Ereignisse auf Basis gelernter Repräsentationen.
• Anpassung: Verfeinert den verborgenen Zustand kontinuierlich durch Deep Learning und stellt so die Reaktionsfähigkeit auf neue Szenarien und Umgebungen sicher.

Model-Architekturen

World Foundation Models nutzen spezialisierte neuronale Netzarchitekturen, um physische Phänomene effektiv zu simulieren und vorherzusagen:

Diffusion Models

• Arbeiten, indem sie zufälliges Rauschen verfeinern, um hochwertige Videos zu erzeugen.
• Ideal für Aufgaben wie Videogenerierung und Style-Transfer.

Autoregressive Models

• Erzeugen Videos Bild für Bild und sagen jeden nachfolgenden Frame auf Grundlage vorheriger Frames voraus.
• Geeignet für Videovervollständigung und die Vorhersage zukünftiger Frames.

Fine-Tuning und Spezialisierung

Ursprünglich für allgemeine Aufgaben trainiert, können World Foundation Models für spezifische Anwendungen fine-getunt werden.

Fine-Tuning-Frameworks integrieren Bibliotheken, SDKs und Tools, um Datenaufbereitung, Model-Training, Leistungsoptimierung und Lösungsbereitstellung zu vereinfachen und zugleich die Anpassung an spezialisierte Aufgaben in Robotik, autonomen Systemen und anderen Anwendungen zu ermöglichen.

Was sind World Foundation Models?

World Foundation Models sind fortschrittliche KI-Systeme, die darauf ausgelegt sind, reale Umgebungen und deren Dynamik zu simulieren und vorherzusagen.

Diese Models verarbeiten verschiedene Dateneingaben, darunter Textinformationen, visuelle Daten wie Bilder und Videos sowie bewegungsbezogene Daten, um realistische und immersive Simulationen physischer und virtueller Szenarien zu erstellen.

Die Kernfähigkeit von World Foundation Models liegt in ihrem Verständnis grundlegender physikalischer Prinzipien wie Bewegung, Kraft, Kausalität und räumlicher Beziehungen.

Dies ermöglicht es ihnen, zu simulieren, wie Objekte und Entitäten in einer bestimmten Umgebung interagieren, sei es die Bewegung eines Fahrzeugs, die Dynamik eines Roboterarms oder das Zusammenspiel von Objekten in einer virtuellen Welt.

Eine wichtige Anwendung dieser Models liegt in der Entwicklung und Verfeinerung physischer KI-Systeme wie Robotern und autonomen Fahrzeugen. Durch die Bereitstellung einer sicheren und kontrollierten Umgebung für Training und Tests können diese Models die Notwendigkeit realer Experimente verringern, die kostspielig, zeitaufwendig und potenziell gefährlich sein können.

Darüber hinaus können World Foundation Models hochwertige, realistische Videoinhalte erzeugen, die für verschiedene Zwecke genutzt werden können, darunter Unterhaltung, Bildung und Forschung.

Ihre Fähigkeit, genaue und detaillierte Umgebungen zu simulieren, macht sie zu unverzichtbaren Werkzeugen für Entwickler und ermöglicht effizientere und präzisere KI-Leistungsverbesserungen.

Physische KI-Systeme: Definition & Bedeutung

Physische KI-Anwendungen bezeichnen Systeme der künstlichen Intelligenz, die mit Sensoren zur Wahrnehmung der physischen Welt und mit Aktoren zur Interaktion mit ihr und ihrer Veränderung ausgestattet sind.

Sie befähigen autonome Maschinen wie Roboter, selbstfahrende Autos und andere Geräte, komplexe Aktionen in realen Umgebungen auszuführen.

Oft als „generative physische KI“ beschrieben, erweitert sie generative KI-Models um ein Verständnis räumlicher Beziehungen und der physikalischen Regeln, die 3D-Welt bestimmen.

Wie funktioniert physische KI?

Generative physische KI kombiniert generative KI mit Daten aus der physischen Welt, um die Funktionalität zu verbessern.

Während des Trainings werden KI-Systeme Simulationen ausgesetzt, die reale Szenarien nachahmen. Diese Simulationen stützen sich auf digitale Zwillinge, hochgenaue virtuelle Nachbildungen physischer Räume wie Fabriken, in denen autonome Maschinen und Sensoren eingeführt werden. Die virtuelle Umgebung erzeugt 3D-Trainingsdaten und erfasst Interaktionen wie Objektbewegungen, Kollisionen und Lichtdynamik.

Reinforcement Learning ist in diesem Prozess entscheidend. Es ermöglicht Maschinen, Fähigkeiten durch Versuch und Irrtum in diesen simulierten Umgebungen zu erlernen. Für das Abschließen gewünschter Aktionen werden Belohnungen vergeben, wodurch die KI sich anpassen, verbessern und Aufgaben schließlich präzise beherrschen kann. Dieser Prozess stattet Maschinen mit den für reale Anwendungen erforderlichen ausgefeilten motorischen Fähigkeiten aus.

Warum sind physische KI-Systeme wichtig?

Bisher hatten autonome Maschinen Schwierigkeiten, ihre Umgebung effektiv wahrzunehmen und mit ihr zu interagieren. Physische KI überwindet diese Einschränkung, indem sie Roboter und andere Geräte befähigt, ihre Umgebung wahrzunehmen, sich anzupassen und mit ihr zu interagieren.

Physische KI-Systeme tragen branchenübergreifend zur Verbesserung von Effizienz, Sicherheit und Zugänglichkeit bei, indem sie Maschinen schaffen, die komplizierte Aufgaben ausführen können – von chirurgischen Eingriffen bis zur Lagernavigation.

Physische KI stützt sich auf fortschrittliche physikbasierte Simulationen, um Maschinen in sicheren, kontrollierten Umgebungen zu trainieren. Diese Simulationen beschleunigen die Entwicklung, verhindern Schäden in frühen Lernphasen und stellen die Einsatzbereitschaft für die reale Welt sicher.

Hier sind einige der Anwendungen physischer KI:

• Autonome mobile Roboter (AMRs): Navigieren durch komplexe Lagerumgebungen, weichen Hindernissen aus und passen sich dem Echtzeit-Sensorfeedback an.
• Manipulatoren: Führen feinfühlige Aufgaben aus, wie das Anpassen der Greifkraft und Positionierung basierend auf Objektposen.
• Humanoide Roboter: Benötigen fein- und grobmotorische Fähigkeiten, um in unterschiedlichen Aufgaben wahrzunehmen, zu navigieren und zu interagieren.
• Intelligente Räume: Großflächige Innenumgebungen wie Lagerhäuser und Fabriken profitieren von physischer KI und generativer KI in Supply-Chain-Anwendungen durch verbesserte Sicherheit, dynamische Routenplanung und betriebliche Effizienz. Fortschrittliche Computer-Vision-Models überwachen und optimieren Aktivitäten, während die menschliche Sicherheit Priorität hat.
• Chirurgische Roboter: Führen Präzisionsoperationen wie Nähen und Nadeleinfädeln aus.

Praxisbeispiel:

ORBIT-Surgical, entwickelt von Forschern der University of Toronto, UC Berkeley, ETH Zurich, Georgia Tech und NVIDIA, ist ein Open-Source-Simulationsframework zum Training chirurgischer Roboter. Es reduziert die kognitive Belastung der Chirurgen und verbessert die Teamleistung.

Aufbauend auf NVIDIA Isaac Sim unterstützt es laparoskopisch inspirierte Aufgaben wie das Greifen von Nadeln, das Übergeben von Objekten und präzise Platzierungen. Mithilfe von GPU-Beschleunigung kann es Roboter schnell trainieren; Aufgaben wie die Shunt-Einführung werden in unter zwei Stunden auf einer einzelnen NVIDIA RTX GPU abgeschlossen.

Das Framework nutzt außerdem NVIDIA Omniverse, um hochwertige synthetische Daten für das Training von KI-Wahrnehmungs-Models zu erzeugen, die Werkzeugerkennung zu verbessern und die Abhängigkeit von realen Datasets zu verringern.¹³

Warum ist das World Foundation Model wichtig?

Der Aufbau effektiver World Models für physische KI erfordert oft umfangreiche Datasets, deren Erhebung sowohl zeitaufwendig als auch teuer ist, insbesondere wenn das breite Spektrum realer Szenarien erfasst werden soll, das für umfassendes Training erforderlich ist.

World Foundation Models (WFMs) können diese Herausforderung bewältigen, indem sie synthetische Daten generieren. Diese Daten sind reichhaltig, vielfältig und skalierbar und ermöglichen es Entwicklern, KI-Systeme effektiver zu trainieren, ohne die logistischen Probleme der Erfassung realer Informationen.

Von WFMs erstellte synthetische Datasets helfen zudem, Lücken in Szenarien zu schließen, die in der realen Welt selten oder schwer zu replizieren sein könnten.

Das Training und Testen physischer KI-Systeme in realen Umgebungen birgt erhebliche Herausforderungen. Dazu gehören hohe Kosten, potenzielle Risiken für Ausrüstung oder Umgebung sowie Schwierigkeiten, kontrollierte Bedingungen für konsistente Tests aufrechtzuerhalten.

World Foundation Models bieten eine Lösung, indem sie hochrealistische virtuelle 3D-Umgebungen bereitstellen, in denen KI-Systeme sicher trainiert und getestet werden können. Diese Umgebungen ermöglichen es Entwicklern, komplexe physische Interaktionen zu simulieren, neue Fähigkeiten zu testen und KI-Verhalten kontrolliert und wiederholbar zu verfeinern.

Vorteile von World Foundation Models

Durch die Nutzung von World Foundation Models können Forscher und Ingenieure Entwicklungszyklen beschleunigen, Kosten senken und Risiken minimieren, während sie robustere und anpassungsfähigere physische KI-Systeme aufbauen.

Dieser Ansatz kann helfen, fortschrittliche KI-Anwendungen zu schaffen und einen sichereren und effizienteren Einsatz in realen Szenarien zu gewährleisten.

Verbesserte Entscheidungsfindung und Planung

World Foundation Models verbessern physische KI-Systeme, indem sie potenzielle künftige Szenarien auf der Grundlage verschiedener Handlungssequenzen simulieren. Mithilfe integrierter Kosten- oder Belohnungsmodule bewerten diese Models Ergebnisse, um optimale Strategien zu identifizieren.

Diese Vorausschau ermöglicht es Entwicklern physischer KI, komplexe Herausforderungen zu lösen und Effizienz, Anpassungsfähigkeit und Sicherheit in dynamischen Umgebungen zu gewährleisten.

Realistische und physisch genaue Simulationen

World Foundation Models, einschließlich der NVIDIA-Diffusion Models, erzeugen hochpräzise 3D-Simulationen, indem sie verstehen, wie sich Objekte bewegen und interagieren. Diese Simulationen sind entscheidend für das Training von Wahrnehmungs-KI und das Testen autonomer Fahrzeuge oder Robotersysteme in unterschiedlichen Umgebungen.

So können selbstfahrende Autos unter verschiedenen Wetter- und Verkehrsbedingungen evaluiert werden, während Roboter vor dem realen Einsatz auf Objektmanipulation und Aufgabenleistung getestet werden können.

Prädiktive Intelligenz

World Foundation Models bieten prädiktive Intelligenz und ermöglichen es physischen KI-Systemen, Szenarien zu antizipieren und fundierte Entscheidungen auf Basis von Videotraining und historischen Daten zu treffen.

Durch die Nutzung von Video-to-World-Generierung und die Erzeugung physikbewusster Videos helfen diese Models, Strategien zu optimieren, die Sicherheit zu verbessern und die Anpassungsfähigkeit in verschiedenen Setups physischer KI zu erhöhen.

Verbesserte Policy-Entwicklung mit World Foundation Models

Policy-Evaluierung: World Foundation Models wie NVIDIA Cosmos Models ermöglichen es Entwicklern physischer KI-Systeme, Policy-Models in virtuellen Umgebungen statt in der physischen Welt zu testen und zu verfeinern.

Diese Methode nutzt digitale Zwillinge und ist kosten- und zeiteffizient. Sie ermöglicht vielfältige Tests unter ungesehenen Bedingungen, und Entwickler können Aufgaben und Ressourcen der physischen KI auf vielversprechende Policies konzentrieren, indem sie ineffektive schnell verwerfen.

Policy-Initialisierung: World Foundation Models bieten eine starke Grundlage für die Initialisierung von Policy-Models, indem sie reale Physik und Dynamik modellieren. Dieser Ansatz adressiert Herausforderungen durch Datenknappheit und beschleunigt die Entwicklung physischer KI-Models.

Policy-Training: In Kombination mit Belohnungs-Models fungieren World Foundation Models als Proxy für die physische Welt in Reinforcement-Learning-Setups. Diese Models liefern Feedback, das dabei hilft, Policy-Models durch simulierte Interaktionen zu fine-tunen und ihre Fähigkeiten zu verbessern.

Verpassen Sie nicht unsere Benchmarks und datengestützten Erkenntnisse. Die Schaltfläche öffnet Google; die Auswahl von AIMultiple bestätigt, dass Sie AIMultiple häufiger in den Google-Suchergebnissen sehen möchten.

Als bevorzugte Quelle hinzufügen

Zukunft der World Foundation Model-Plattformen

Die Anwendungen von World Foundation Models dürften weit über autonome Fahrzeuge und Robotik hinausgehen. Zu den möglichen künftigen Anwendungen von World Foundation Models gehören:

Gesundheitswesen

Diese Models können simuliertes Training für chirurgische Roboter und medizinische Geräte ermöglichen und so Präzision und Sicherheit bei komplexen Eingriffen gewährleisten, was letztlich die Behandlungsergebnisse der Patienten verbessert.

Bildung und Training

Virtuelle Umgebungen können immersive Simulationen für Bildung und Training bereitstellen, insbesondere für Bediener schwerer Maschinen, Pilotinnen und Piloten sowie Einsatzkräfte, indem sie Szenarien mit hohem Risiko ohne reale Gefahren nachbilden.

Gaming und Unterhaltung

Durch die Erstellung interaktiverer und anpassungsfähigerer KI-Charaktere können diese Models virtuelle und Augmented-Reality-Erlebnisse verändern und sie ansprechender und lebensechter machen.

Stadtplanung

Stadtplaner können diese Models nutzen, um Verkehrsmuster, Fußgängerdynamik und Infrastrukturänderungen zu simulieren und Entwürfe vor der physischen Umsetzung zu optimieren.

Sicherheit und Verteidigung

World Models dürften wesentlich für das Training von Drohnen und autonomen Agents für Überwachung, Such- und Rettungseinsätze sowie Katastrophenhilfe sein – alles in sicheren, kontrollierten virtuellen Szenarien.

Diese Forschung zitieren

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Ermut, Sıla},
  title  = {{World Foundation Models: 10 Anwendungsfälle}},
  year   = {2026},
  month  = aug,
  howpublished    = {\url{https://aimultiple.com/world-foundation-model}},
  note   = {AIMultiple. Abgerufen am 10. August 2026}
}

Änderungsprotokoll

8 Aktualisierungen

1. 202615. Mai

   NVIDIAs DreamDojo und DreamZero als Einträge 9 und 10 der World-Foundation-Models-Liste hinzugefügt, Proc4Gem entfernt.

2. 11. Feb

   Der Abschnitt „Anwendungsfälle von Welt-Grundlagenmodellen“ wurde durch den Abschnitt „Top 9 Welt-Grundlagenmodelle“ ersetzt.

3. 29. Jan

   Der Abschnitt „Robotik“ wurde um neue Informationen zu autonomen Fahrzeugen, multimodaler Integration, NVIDIAs Alpamayo und NVIDIA Researchs GR00T N1.6 erweitert.

4. 202518. Nov

   PAN und World Labs' Marble wurden dem Abschnitt „Komplexe Aufgabenplanung“ hinzugefügt.

5. 6. Aug

   Google DeepMinds Genie 3 wurde dem Abschnitt „Real-life example“ hinzugefügt.

6. 20. Jun

   Meta V-JEPA 2 zum Abschnitt „Real-life example“ hinzugefügt.

7. 21. Mai

   Die Einführung zu World Foundation Models wurde um Details zu Robotik, autonomen Fahrzeugen und multimodaler Integration erweitert.

8. 28. Feb

   Multimodale Integration zum Abschnitt Weltgrundlagenmodelle hinzugefügt.

Referenzlinks

1.

NVIDIA Announces Alpamayo Family of Open-Source AI Models and Tools to Accelerate Safe, Reasoning-Based Autonomous Vehicle Development | NVIDIA Newsroom

2.

GR00T N1.6

3.

https://arxiv.org/pdf/2511.09057

4.

Fei-Fei Li's World Labs speeds up the world model race with Marble, its first commercial product | TechCrunch

TechCrunch

5.

Introducing the V-JEPA 2 world model and new benchmarks for physical reasoning

6.

https://arxiv.org/pdf/2506.09985

7.

NVIDIA Launches Cosmos World Foundation Model Platform to Accelerate Physical AI Development | NVIDIA Newsroom

8.

Cosmos World Foundation Model Platform for Physical AI

9.

Cosmos World Foundation Models Openly Available to Physical AI Developers | NVIDIA Blog

10.

Genie 3: A new frontier for world models — Google DeepMind

Google DeepMind

11.

NVIDIA Earth-2 Features First Gen AI to Power Weather Super-Resolution for Continental US | NVIDIA Blog

12.

DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos

13.

Needle-Moving AI Research Trains Surgical Robots in Simulation | NVIDIA Blog

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple.

Cems Arbeit bei AIMultiple wurde von führenden globalen Publikationen wie Business Insider, Forbes, Morning Brew und Washington Post, von globalen Unternehmen wie Deloitte und HPE, von NGOs wie dem World Economic Forum und von supranationalen Organisationen wie der European Commission zitiert. [1], [2], [3], [4], [5]

Im Laufe seiner Karriere war Cem als Tech-Berater, Tech-Einkäufer und Tech-Unternehmer tätig. Er beriet Unternehmen bei ihren Technologieentscheidungen bei McKinsey & Company und Altman Solon über mehr als ein Jahrzehnt. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung.

Er leitete Technologiestrategie und -beschaffung eines Telekommunikationsunternehmens und berichtete dabei direkt an den CEO. Außerdem verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von 0 einen siebenstelligen jährlich wiederkehrenden Umsatz und eine neunstellige Bewertung erreichte. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider aufgegriffen.

Cem spricht regelmäßig auf internationalen Technologiekonferenzen. Er absolvierte die Bogazici University als Computeringenieur und hat einen MBA von der Columbia Business School.

Vollständiges Profil anzeigen

Recherchiert von

Sıla Ermut

Branchenanalystin

Folgen auf

Sıla Ermut ist Branchenanalystin bei AIMultiple und befasst sich mit KI-Modellen, KI-Infrastruktur, KI-Governance und KI-Anwendungen für Unternehmen. Ihre Forschung konzentriert sich hauptsächlich auf den Einsatz von KI in Marketing, Gesundheitswesen, Lieferketten und Nachhaltigkeit.
Zuvor arbeitete sie als Personalvermittlerin in Projektmanagement- und Beratungsunternehmen. Sıla hat einen Master of Science in Sozialpsychologie und einen Bachelor of Arts in Internationalen Beziehungen.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten