Welt-Grundmodelle: 10 Anwendungsfälle

Das Training von Robotern und autonomen Fahrzeugen (AVs) in der physischen Welt kann kostspielig, zeitaufwendig und riskant sein. Welt-Grundmodelle bieten eine skalierbare Alternative, indem sie realistische Simulationen realer Umgebungen ermöglichen.

Diese Modelle beschleunigen die Entwicklung und den Einsatz in der Robotik, bei AVs und in anderen Bereichen, indem sie die Abhängigkeit von physischen Tests verringern.

Entdecken Sie, wie Welt-Grundmodelle funktionieren, ihre realen Anwendungsfälle und die greifbaren Vorteile, die sie bieten.

Top 10 Welt-Grundmodelle

1) NVIDIA Alpamayo

NVIDIA Alpamayo ist eine neue Familie von Open-Source-KI-Modellen, Simulationstools und Datensätzen, die entwickelt wurden, um autonome Fahrzeuge durch entscheidungsfindungsbasiertes Reasoning sicherer zu machen.

Um diesen Ansatz zu unterstützen, vereint Alpamayo drei Schlüsselkomponenten:

• Alpamayo 1, ein 10-Milliarden-Parameter-Chain-of-Thought-VLA-Modell, das seine Fahrentscheidungen erklärt
• AlpaSim, ein Open-Source-Simulationsframework zum Testen und Validieren
• Physical AI Open Datasets, die mehr als 1.700 Stunden diverse reale Fahrdaten enthalten.

Diese Modelle sind nicht dafür gedacht, direkt in Fahrzeugen ausgeführt zu werden. Stattdessen dienen sie als große Lehrermodelle, die Entwickler fine-tune und in Produktions-AV-Stacks destillieren können, wodurch Sicherheit und Skalierbarkeit verbessert werden.¹

2) NVIDIA Researchs GR00T N1.6

NVIDIA Researchs GR00T N1.6 ist ein aktualisiertes offenes Grundmodell für allgemeine humanoide Roboter. Aufbauend auf GR00T N1.5 liefert die neue Version eine stärkere Leistung sowohl in Simulationen als auch in Tests in der realen Welt, einschließlich bimanueller Manipulation und Ganzkörper-Lokomotionsaufgaben bei Robotern wie YAM, AgiBot Genie-1 und Unitree G1 (siehe Abbildung unten).

Abbildung 1: Vergleichsgrafiken von GR00T N1.6 vs GR00T N1.5.

GR00T N1.6 umfasst architektonische und Trainingsverbesserungen, wie einen größeren Diffusionstransformer, ein leistungsfähigeres Vision-Language-Modell und erweiterte Vorabtrainingsdaten, die Tausende von Stunden ferngesteuerter Roboter-Demonstrationen hinzufügen. Diese Änderungen helfen dem Modell, flüssigere, genauere Bewegungen zu lernen und sich während des Nachtrainings schneller anzupassen.

Statt sich auf einen einzelnen Roboter oder eine Aufgabe zu konzentrieren, ist GR00T N1.6 als Allrounder-Policy konzipiert, die auf verschiedenen humanoiden Plattformen übertragen werden kann.

NVIDIA berichtet von schnellerer Konvergenz, besserer Geschicklichkeit und verbesserter Leistung bei Aufgaben mit langem Horizont, was N1.6 zu einem bedeutenden Schritt nach vorne für offenes, skalierbares humanoides Roboterlernen macht.²

Schauen Sie sich das Video unten an, um GR00T N1.6 in Aktion zu sehen.

3) PAN

PAN ist ein allgemeines interaktives Weltmodell, das für Vorhersagen über lange Zeiträume und simulationsgesteuerte Aktionen entwickelt wurde. Es basiert auf einer Generative Latent Prediction-Architektur, die ein autoregressives latentes Dynamikmodell mit einem Video-Diffusionsdecoder kombiniert.

Dieses Design ermöglicht es dem System, zu simulieren, wie sich eine Umgebung als Reaktion auf spezifische Aktionen entwickelt, die in natürlicher Sprache bereitgestellt werden, während zeitliche Konsistenz und visuelle Kohärenz gewahrt bleiben.

PAN unterstützt die Generierung von Multi-Step-Rollouts, bei denen ein Agent Aktionen vorschlagen, ihre wahrscheinlichen Ergebnisse simulieren und Sequenzen auswählen kann, die ein definiertes Ziel besser erreichen. Das Modell kann auch kontrafaktisches Reasoning durchführen, indem es bewertet, wie sich Aufgabenergebnisse ändern könnten, wenn Objektinteraktionen oder Bewegungsbahnen verändert werden.

Experimentelle Ergebnisse zeigen, dass es im Vergleich zu vergleichbaren Open-Source-Modellen eine starke Leistung bei der visuellen Vorhersage über lange Zeiträume, beim physischen Reasoning und bei Planungs-Benchmarks erzielt.

Für die Robotik ermöglichen diese Fähigkeiten Robotern oder Trainingssystemen, Umgebungsdaten vorherzusagen, Strategien intern zu testen, bevor sie ausgeführt werden, und Aufgabenrichtlinien zu verfeinern, wodurch die Kosten und Risiken wiederholter physischer Versuche reduziert werden.

Abbildung 2: Bild, das die PAN-Modellarchitektur zeigt, die ein autoregressives LLM-basiertes Backbone für die Simulation der Welt über lange Zeiträume kombiniert.³

4) World Labs Marble

World Labs Marble generiert persistente und bearbeitbare 3D-Umgebungen aus Text-Prompts, einzelnen oder mehreren Bildern, Videos, Panoramen und 3D-Layouts.

Im Gegensatz zu Echtzeit-Generiersystemen, die Szenen während der Erkundung kontinuierlich verformen, produziert Marble stabile Welten, die als Gaussian Splats, Meshes oder Videos exportiert werden können. Die Plattform umfasst Chisel, einen hybriden 3D-Editor, der die räumliche Struktur vom visuellen Stil trennt.

Dieses Tool ermöglicht es Entwicklern, grundlegende geometrische Elemente wie Wände oder große Objekte anzuordnen und dann stilistische Prompts anzuwenden, um die Szene zu vervollständigen.

Nutzer können Objekte auch direkt im Editor neu positionieren und die generierte Welt erweitern, um zusätzliche nahegelegene Bereiche einzubeziehen. Diese Funktionen ermöglichen es Robotik-Teams, realistische digitale Zwillinge von Arbeitsbereichen zu erstellen, Navigation und Manipulation in kontrollierten Umgebungen zu testen und schnell an Layouts oder Aufgabendesigns zu iterieren, ohne ganze Szenen neu erstellen zu müssen.

Die Fähigkeit von Marble, visuelle Eingaben aus mehreren Winkeln zu akzeptieren, unterstützt die Erstellung von High-Fidelity-. Diese konsistenten Simulationsumgebungen können die Effizienz des robotischen Trainings verbessern und den Bedarf an umfangreichen physischen Prototypen verringern.

Abbildung 3: Die Grafik zeigt die Input-to-Output-Pipeline von Marble.⁴

5) Meta V-JEPA 2

Meta hat V-JEPA 2 vorgestellt, ein fortschrittliches videobasiertes Weltmodell, das neue Benchmarks in physischem Reasoning, visueller Vorhersage und Zero-Shot-Roboterplanung setzt.

Aufgebaut auf der Joint Embedding Predictive Architecture (JEPA), wird das 1,2-Milliarden-Parameter-Modell mit über einer Million Stunden Video und zusätzlichen Roboter-Interaktionsdaten trainiert, was es ermöglicht, die Dynamik unbekannter Objekte und Umgebungen zu verstehen und vorherzusagen.

V-JEPA 2 unterstützt die Planung durch eine Encoder-Predictor-Architektur und selbstüberwachtes Lernen und erzielt fortschrittliche Ergebnisse bei Aufgaben wie Aktionserkennung, Antizipation und Video-Fragebeantwortung.

Meta hat auch drei Benchmarks veröffentlicht: IntPhys 2, MVPBench und CausalVQA, um physisches Reasoning in KI zu bewerten und aktuelle Lücken zwischen KI und menschlicher Leistung hervorzuheben.

Das Modell ist sowohl für Forschung als auch kommerzielle Nutzung open-sourced und markiert einen bedeutenden Schritt in Richtung Metas Ziel fortschrittlicher Maschinenintelligenz (AMI) und der Entwicklung praktischer, anpassbarer KI-Agenten.⁵

Abbildung 4: V-JEPA 2 wird auf großen Video- und Bilddaten vortrainiert, dann mit einem Sprachmodell für visuelle Aufgaben abgeglichen und mit einer kleinen Menge an Roboterdaten für Planung und Steuerung in der Robotik erweitert.⁶

6) NVIDIA Cosmos Welt-Grundmodelle

NVIDIA Cosmos Welt-Grundmodelle ist eine fortschrittliche Plattform, die entwickelt wurde, um die Entwicklung physischer KI-Systeme, einschließlich autonomer Fahrzeuge (AVs) und Roboter, zu beschleunigen.

NVIDIA Cosmos Suite integriert generative Welt-Grundmodelle (WFMs), fortschrittliche Tokenizer, integrierte Guardrails und eine Hochgeschwindigkeits-Videoverarbeitungspipeline.

NVIDIA NeMo Curator verarbeitet in Kombination mit der CUDA-beschleunigten Pipeline 20 Millionen Stunden Video in nur zwei Wochen und senkt somit Kosten und Zeit.

Der NVIDIA Cosmos Tokenizer erreicht eine überlegene Komprimierung und schnellere Bild- und Videoverarbeitung. Hier sind die Hauptmerkmale der NVIDIA Cosmos Suite:

• Ermöglicht die Erstellung großer Mengen fotorealistischer, physikbasierter synthetischer Daten zum Trainieren und Evaluieren von KI-Modellen.
• Generiert physikbasierte Videos unter Verwendung verschiedener Eingaben wie Text, Bilder, Video und Sensordaten.
• Simuliert komplexe industrielle und Fahrumgebungen, einschließlich Lagerhallen und unterschiedlicher Straßenbedingungen.
• Erleichtert die Videosuche nach spezifischen Szenarien und die Modellbewertung unter simulierten Bedingungen.
• Entwickler können WFMs fine-tune, um benutzerdefinierte Modelle für spezifische Anwendungen zu erstellen.
• WFMs sind unter einer offenen Lizenz zugänglich, um die Zusammenarbeit innerhalb der Robotik- und autonomen Fahrzeug-Communities zu fördern.
• Modelle können über den NVIDIA API-Katalog vorgeführt oder von NVIDIA NGC und Hugging Face Plattformen heruntergeladen werden.⁷

Abbildung 5: Hauptkomponenten der NVIDIA Cosmos Suite: Video-Curator, Video-Tokenizer, vortrainiertes Welt-Grundmodell, Nachtrainingsbeispiele für Welt-Grundmodelle und Guardrail.⁸

Waabi, Foretellix, XPENG und Wayve nutzen NVIDIA Cosmos Welt-Grundmodelle, um Verkehrsszenarien, Wetterbedingungen und Fußgängerverhalten zu simulieren. Diese Unternehmen führen Tests in virtuellen Umgebungen ohne physische Versuche durch.⁹

Die Plattform nutzt NVIDIA NeMo Curator, um über 20 Millionen Stunden Video via CUDA-Beschleunigung in etwa zwei Wochen zu verarbeiten und zu labeln.

Hauptmerkmale:

• Generiert gelabelte Verkehrs-, Wetter-, Beleuchtungs- und Fußgängerszenarien.
• Erzeugt fotorealistisches Video mit Sensordaten.
• Simuliert regionale Fahrnormen zur Lokalisierung.
• Ermöglicht eine risik-freie Validierung von AV-Systemen.

7) DeepMinds Genie 3

Google DeepMind hat Genie 3 veröffentlicht, ein KI-System, das entwickelt wurde, um interaktive virtuelle Umgebungen in Echtzeit aus textuellen Beschreibungen zu generieren.

Technische Spezifikationen:

• Leistungsmerkmale: Das System arbeitet mit 24 Bildern pro Sekunde und erzeugt 720p-Ausgabe bei gleichzeitiger Wahrung der Umweltkonsistenz über mehrere Minuten Interaktion.
  • Das Modell demonstriert visuelle Gedächtnisfähigkeiten, die sich etwa eine Minute in vergangene Interaktionen erstrecken.
• Umweltkategorien: Genie 3 generiert mehrere Arten virtueller Welten:
  • Physikalische Simulationen mit Strömungsdynamik, Lichteffekten und Umgebungsphysik.
  • Biologische Ökosysteme mit Flora, Fauna und ökologischen Interaktionen.
  • Fiktive Umgebungen mit nicht-realistischen Elementen und animierten Charakteren.
  • Geografische und historische Rekonstruktionen realer Orte und Zeiträume.
• Interaktionsmechanismen:
  • Promptbare Welt-Ereignisse ermöglichen die Laufzeitmodifikation von Umweltbedingungen und Objektplatzierung.
  • Zeitliche Konsistenz erhält kohärente physikalische Eigenschaften über ausgedehnte Interaktionssitzungen hinweg.
  • Agenten-Integration unterstützt autonome Agenten, die zielgerichtete Aufgaben in generierten Umgebungen ausführen.
• Technische Architektur: Das System verwendet autoregressive Frame-Generierung anstelle expliziter 3D-Szenendarstellungen.
  • Dieser Ansatz ermöglicht die dynamische Erstellung von Umgebungen und adressiert gleichzeitig die rechnerische Herausforderung, die Konsistenz über wachsende zeitliche Sequenzen während der Echtzeit-Interaktion aufrechtzuerhalten.

Forschungsanwendungen und Zugang:

Der Zugang ist derzeit ausgewählten akademischen Forschern und Content-Erstellern über ein begrenztes Preview-Programm vorbehalten. Mögliche Forschungsanwendungen umfassen pädagogische Simulation, Training autonomer Systeme, Evaluierung von Agentenverhalten und kontrafaktische Szenarioanalyse für Maschinensysteme.¹⁰

8) NVIDIA Earth-2

NVIDIA Earth-2 ist eine Initiative, die darauf abzielt, KI und High-Performance-Computing (HPC) zu nutzen, um das Klima und Wettersysteme der Erde in hoher Auflösung zu simulieren. Es stellt einen neuen Ansatz für Wettervorhersagen und Klimamodellierung dar.

Welche Technologie steckt dahinter?

NVIDIA nutzt seine Omniverse-Plattform, die auf NVIDIAs Grafikprozessoren (GPUs) und KI-Tools aufbaut, um realistische Simulationen zu erstellen. Die Idee ist, hochdetaillierte, genaue Simulationen des Erdklimas zu generieren, indem KI genutzt wird, um komplexe Wettermuster zu modellieren und präzisere Vorhersagen zu treffen.

Was ist die Auswirkung?

Das ultimative Ziel von Earth-2 ist es, bessere Wettervorhersagen zu liefern, das Verständnis langfristiger Klimatrends zu fördern und den Klimawandel zu mildern.

Genauere Simulationen können zu besserer Vorbereitung auf extreme Wetterereignisse, effizienterer Energienutzung und verbesserten Katastrophenreaktionsstrategien führen.¹¹

Um zu erkunden, wie NVIDIAs KI-Technologie die Wettervorhersage und Klimamodellierung vorantreibt, schauen Sie sich das Video unten für einen detaillierten Blick auf die Earth-2-Plattform und ihre Auswirkungen auf Sturmvorhersagen an:

9) NVIDIA DreamDojo

DreamDojo ist ein allgemeines Roboter-Weltmodell von NVIDIA, das entwickelt wurde, um physisches Wissen aus großen menschlichen Videos zu erwerben und es durch Nachtraining auf der Ziel-Embodiment auf Roboter zu übertragen.

Das System wird auf DreamDojo-HV trainiert, einem kuratierten Datensatz von etwa 44.000 Stunden egozentrischen menschlichen Videos. Es wird berichtet, dass dies die größte Sammlung ist, die bisher für das Vortraining von Weltmodellen verwendet wurde, und deckt erheblich mehr Fähigkeiten und Szenen ab als frühere Datensätze in dieser Kategorie.

Im Vergleich zu einer nachtrainierten Cosmos-Predict 2.5-Baseline erzeugt DreamDojo physikalisch genauere actions-gesteuerte Rollouts über verschiedene Umgebungen und Objektinteraktionen hinweg.

Hauptmerkmale:

• Open-Source-Veröffentlichung über NVIDIAs GitHub.
• Vortrainiert auf etwa 44k Stunden egozentrischen menschlichen Videos.
• Latent-Action-Vortraining gefolgt von roboterspezifischem Nachtraining.
• Echtzeit-10-FPS-autoregressive Generierung nach Destillation.
• Generalisiert über mehrere humanoide und Manipulator-Embodiments hinweg.
• Unterstützt Policy-Evaluierung und modellbasierte Planung als nachgelagerte Anwendungen.

Abbildung 6: DreamDojo-Übersicht, die Latent-Action-Vortraining auf menschlichen Videos zeigt, gefolgt von Nachtraining mit kontinuierlichen Roboteraktionen auf der Ziel-Embodiment.¹²

10) NVIDIA DreamZero

DreamZero ist ein World Action Model (WAM) von NVIDIA, das auf einem vortrainierten Video-Diffusions-Backbone aufbaut. Im Gegensatz zu Standard-Vision-Language-Action-Modellen, die mit unbekannten physischen Bewegungen kämpfen, lernt DreamZero Dynamiken, indem es zukünftige Weltzustände und zukünftige Aktionen in einem einzigen Vorwärtspass gemeinsam vorhersagt und Video als dichte Darstellung der Entwicklung der Umgebung behandelt.

Diese gemeinsame Modellierung ermöglicht es dem System, diverse Fähigkeiten aus heterogenen Roboterdatensätzen zu lernen, ohne sich auf wiederholte Demonstrationen zu verlassen. In Real-Roboter-Experimenten berichtet DreamZero über eine 2x-Verbesserung der Generalisierung auf neue Aufgaben und Umgebungen gegenüber State-of-the-Art-VLA-Baselines.

DreamZero demonstriert auch eine starke Cross-Embodiment-Transfer. Etwa 10–20 Minuten video-only-Demonstrationen von Menschen oder anderen Robotern führen zu über 42% Verbesserung bei nicht gesehenen Aufgaben. Das Modell passt sich von nur 30 Minuten Spiel-Daten an eine völlig neue Roboterplattform (YAM) an und bewahrt dabei die Zero-Shot-Generalisierung.

Hauptmerkmale:

• World Action Model, das Video und Roboteraktionen gemeinsam vorhersagt.
• Aufgebaut auf einem 14B-Parameter-autoregressiven Video-Diffusions-Backbone.
• Über 2x Generalisierungsverbesserung bei neuen Aufgaben vs. State-of-the-Art-VLAs.
• Echtzeit-7-Hz-geschlossener Regelkreis nach einer 38x-Inferenz-Beschleunigung.
• Unterstützt Zero-Shot-interaktives Prompting bei neuen Aufgaben in der Wildnis.

Anwendungsfälle für Welt-Grundmodelle

Robotik

In der Robotik spielen Welt-Grundmodelle eine kritische Rolle bei der Ermöglichung effektiver Operationen von Robotern in dynamischen, realen Umgebungen durch:

1. Aufbau räumlicher Intelligenz

Roboter gewinnen ein Verständnis ihrer Umgebung durch simulierte Trainingsumgebungen, was es ihnen ermöglicht, Objekte mit Präzision zu navigieren und zu manipulieren.

2. Verbesserte Lerneffizienz

Simulierte Umgebungen beschleunigen das Training, indem sie kontrollierte Szenarien bieten, in denen Roboter experimentieren und aus Fehlern lernen können, ohne physische Konsequenzen.

3. Aufgaben-Generalisierung

Durch die Integration von Eingaben aus verschiedenen Modalitäten wie visuellen, auditiven und taktilen Sensoren unterstützen Welt-Grundmodelle Transferlernen, was es Robotern ermöglicht, sich mit minimalem Nachtraining an neue Umgebungen und Aufgaben anzupassen.

4. Komplexe Aufgabenplanung

Diese Modelle ermöglichen Robotern die Durchführung von Planungen über lange Zeiträume, wie das Zusammenbauen von Objekten, das Vorhersagen menschlicher Aktionen oder die Koordination mit anderen Robotern in industriellen oder kollaborativen Umgebungen.

Autonome Fahrzeuge

Welt-Grundmodelle können die Entwicklungspipeline autonomer Fahrzeuge (AVs) durch Folgendes verbessern:

5. Training mit vorab gelabelten Daten

Sie bieten vorab gelabelte und codierte Videodatensätze, die es AV-Systemen ermöglichen, umliegende Fahrzeuge, Fußgänger und Objekte unter verschiedenen Bedingungen genau zu identifizieren und zu interpretieren.

6. Szenariengenerierung

Diese Modelle können simulierte Szenarien wie verschiedene Verkehrsmuster, Wetterbedingungen und Fußgängerverhalten erstellen, die Lücken in Trainingsdaten aus der realen Welt füllen.

7. Skalierbarkeit und Lokalisierung

Entwickler können virtuelle Umgebungen nutzen, um Bedingungen in neuen geografischen Standorten zu replizieren, was es AVs ermöglicht, sich an diverse Straßenverkehrsregeln, kulturelle Fahrverhalten und Infrastrukturgestaltungen anzupassen, ohne umfangreiche Tests auf der Straße durchführen zu müssen.

8. Sensorfusion und Kalibrierung

WFMs können Multi-Sensor-Eingaben wie Kamera, LiDAR, Radar und GPS innerhalb derselben Umgebung simulieren. Dies hilft AV-Systemen, genaue Sensorfusion und Kalibrierung zu trainieren, was für das Verständnis von Tiefe, Geschwindigkeit und Bewegung in komplexen Fahrkontexten unerlässlich ist.

9. Sicherheit und Kosteneffizienz

AV-Systeme können in einer risik-freien Umgebung iterieren und optimieren, indem sie in virtuellen Umgebungen testen, was Kosten und das Potenzial für Unfälle während realer Versuche reduziert.

Multimodale Integration

10. WFMs mit anderen Ressourcen

Die Integration von WFMs mit großen Sprachmodellen (LLMs) und anderen Rechenressourcen, wie High-Performance-Computing (HPC), verbessert physische KI-Systeme, indem sie semantisches Verständnis hinzufügt.

Diese Kombination unterstützt Vision-Language-Modelle und multimodale Fähigkeiten und ermöglicht ausgefeiltere Interaktionen mit Bild- und Videodaten.

Was sind Welt-Grundmodelle?

Welt-Grundmodelle sind fortschrittliche KI-Systeme, die entwickelt wurden, um reale Umgebungen und ihre Dynamiken zu simulieren und vorherzusagen.

Diese Modelle verarbeiten verschiedene Dateneingaben, einschließlich textueller Informationen, visueller Daten wie Bilder und Videos sowie bewegungsbezogener Daten, um realistische und immersive Simulationen physischer und virtueller Szenarien zu erstellen.

Die Kernfähigkeit von Welt-Grundmodellen liegt in ihrem Verständnis grundlegender physikalischer Prinzipien wie Bewegung, Kraft, Kausalität und räumlichen Beziehungen.

Dies ermöglicht es ihnen, zu simulieren, wie Objekte und Entitäten innerhalb einer gegebenen Umgebung interagieren, sei es die Bewegung eines Fahrzeugs, die Dynamik eines Roboterarms oder das Zusammenspiel von Objekten in einer virtuellen Welt.

Eine Schlüsselanwendung dieser Modelle liegt in der Entwicklung und Verfeinerung physischer KI-Systeme, wie Roboter und autonome Fahrzeuge. Durch die Bereitstellung einer sicheren und kontrollierten Umgebung für Training und Tests können diese Modelle den Bedarf an Experimenten in der realen Welt reduzieren, die kostspielig, zeitaufwendig und potenziell gefährlich sein können.

Zusätzlich können Welt-Grundmodelle hochwertige, realistische Videoinhalte generieren, die für verschiedene Zwecke verwendet werden können, einschließlich Unterhaltung, Bildung und Forschung.

Ihre Fähigkeit, genaue und detaillierte Umgebungen zu simulieren, macht sie zu unverzichtbaren Werkzeugen für Entwickler und ermöglicht effizientere und präzisere KI-Leistungsverbesserungen.

Physische KI-Systeme: Definition & Bedeutung

Physische KI-Anwendungen beziehen sich auf künstliche Intelligenz-Systeme, die mit Sensoren zur Wahrnehmung der physischen Welt und Aktuatoren zur Interaktion mit und Modifikation derselben ausgestattet sind.

Sie befähigen autonome Maschinen, wie Roboter, selbstfahrende Autos und andere Geräte, komplexe Aktionen in realen Umgebungen auszuführen.

Oft als „generative physische KI" beschrieben, erweitert es generative KI-Modelle um ein Verständnis räumlicher Beziehungen und der physikalischen Regeln, die die 3D-Welt regieren.

Wie funktioniert physische KI?

Generative physische KI kombiniert generative KI mit Daten aus der physischen Welt für verbesserte Funktionalität.

Während des Trainings werden KI-Systemen Simulationen ausgesetzt, die reale Szenarien nachahmen. Diese Simulationen verlassen sich auf digitale Zwillinge, hochgenaue virtuelle Kopien physischer Räume wie Fabriken, in die autonome Maschinen und Sensoren eingeführt werden. Die virtuelle Umgebung generiert 3D-Trainingsdaten, die Interaktionen wie Objektbewegung, Kollisionen und Lichtdynamiken erfassen.

Bestärkendes Lernen ist in diesem Prozess kritisch. Es ermöglicht Maschinen, Fähigkeiten durch Versuch und Irrtum in diesen simulierten Umgebungen zu lernen. Belohnungen werden für das Abschließen gewünschter Aktionen gegeben, was es der KI ermöglicht, sich anzupassen, zu verbessern und schließlich Aufgaben mit Präzision zu meistern. Dieser Prozess rüstet Maschinen mit ausgefeilten motorischen Fähigkeiten aus, die für Anwendungen in der realen Welt notwendig sind.

Warum sind physische KI-Systeme wichtig?

Zuvor hatten autonome Maschinen Schwierigkeiten, ihre Umgebung effektiv zu erfassen und zu interagieren. Physische KI überwindet diese Einschränkung, indem sie Robotern und anderen Geräten ermöglicht, ihre Umgebung wahrzunehmen, sich anzupassen und mit ihr zu interagieren.

Physische KI-Systeme helfen, Effizienz, Sicherheit und Zugänglichkeit in Branchen zu verbessern, indem sie Maschinen schaffen, die in der Lage sind, komplexe Aufgaben auszuführen, von chirurgischen Eingriffen bis zur Lagernavigation.

Physische KI verlässt sich auf fortschrittliche physikbasierte Simulationen, um Maschinen in sicheren, kontrollierten Umgebungen zu trainieren. Diese Simulationen beschleunigen die Entwicklung, verhindern Schäden in frühen Lernphasen und gewährleisten die Einsatzbereitschaft für den Einsatz in der realen Welt.

Hier sind einige Anwendungen der physischen KI:

• Autonome mobile Roboter (AMRs): Navigieren komplexe Lagerumgebungen, vermeiden Hindernisse und passen sich Echtzeit-Sensorfeedback an.
• Manipulatoren: Führen heikle Aufgaben aus, wie die Anpassung der Greifstärke und Positionierung basierend auf Objekt-Posen.
• Humanoide Roboter: Benötigen feine und grobe motorische Fähigkeiten, um zu wahrnehmen, zu navigieren und über diverse Aufgaben hinweg zu interagieren.
• Smarte Räume: Großflächige Innenräume, wie Lagerhallen und Fabriken, profitieren von Physischer KI und generativer KI in der Lieferkette durch verbesserte Sicherheit, dynamische Routenplanung und operative Effizienz. Fortgeschrittene Computer-Vision-Modelle überwachen und optimieren Aktivitäten unter Priorisierung der menschlichen Sicherheit.
• Chirurgische Roboter: Führen präzise Operationen aus, wie Nähen und Fädeln von Nadeln.

Beispiel aus dem echten Leben:

ORBIT-Surgical, entwickelt von Forschern der University of Toronto, UC Berkeley, ETH Zürich, Georgia Tech und NVIDIA, ist ein Open-Source-Simulationsframework, das entwickelt wurde, um chirurgische Roboter zu trainieren. Es erleichtert die kognitive Belastung von Chirurgen und verbessert die Teamleistung.

Aufgebaut auf NVIDIA Isaac Sim, unterstützt es laparoskopisch inspirierte Aufgaben wie das Greifen von Nadeln, das Übertragen von Objekten und präzises Platzieren. Unter Verwendung von GPU-Beschleunigung kann es Roboter schnell trainieren, wobei Aufgaben wie Shunt-Einführung in unter zwei Stunden auf einer einzelnen NVIDIA RTX GPU abgeschlossen werden.

Das Framework nutzt auch NVIDIA Omniverse, um hochwertige synthetische Daten zum Trainieren von KI-Wahrnehmungsmodellen zu generieren, die Werkzeugerkennung zu verbessern und die Abhängigkeit von Datensätzen aus der realen Welt zu reduzieren.¹³

Warum ist das Welt-Grundmodell wichtig?

Der Aufbau effektiver Weltmodelle für Physische KI erfordert oft riesige Datensätze, die sowohl zeitaufwendig als auch teuer zu sammeln sind, insbesondere wenn die breite Palette realer Szenarien erfasst werden muss, die für umfassendes Training benötigt werden.

Welt-Grundmodelle (WFMs) können diese Herausforderung durch Generierung synthetischer Daten angehen. Diese Daten sind reichhaltig, vielfältig und skalierbar und ermöglichen es Entwicklern, KI-Systeme effektiver zu trainieren, ohne die logistischen Probleme des Sammelns von Informationen aus der realen Welt.

Synthetische Datensätze, die von WFMs erstellt werden, helfen auch, Lücken in Szenarien zu füllen, die in der realen Welt selten oder schwer zu replizieren sind.

Das Training und Testen physischer KI-Systeme in realen Umgebungen stellt erhebliche Herausforderungen dar. Dazu gehören hohe Kosten, potenzielle Risiken für Ausrüstung oder Umgebung und Schwierigkeiten, kontrollierte Bedingungen für konsistentes Testen aufrechtzuerhalten.

Welt-Grundmodelle bieten eine Lösung, indem sie hochrealistische, virtuelle 3D-Umgebungen bieten, in denen KI-Systeme sicher trainiert und getestet werden können. Diese Umgebungen ermöglichen es Entwicklern, komplexe physikalische Interaktionen zu simulieren, neue Fähigkeiten zu testen und KI-Verhalten auf kontrollierte, wiederholbare Weise zu verfeinern.

Kerntechnologien hinter Welt-Grundmodellen

Der Aufbau von Welt-Grundmodellen umfasst mehrere Schichten komplexer Prozesse und Technologien, einschließlich Datenerstellung, Tokenisierung, neuronaler Netze, interner Repräsentation sowie Feinabstimmung und Spezialisierung:

Datenerstellung

Die Datenerstellung ist der erste Schritt in der Entwicklung von Weltmodellen. Sie umfasst die systematische Organisation, Bereinigung und Vorbereitung umfangreicher Datensätze aus der realen Welt, um sicherzustellen, dass das Modell auf hochwertigen Informationen trainiert wird. Hier sind die Schritte der Datenerstellung:

• Filterung: Identifiziert und behält nur hochwertige Daten.
• Annotation: Labelt Schlüsselobjekte, Aktionen und Ereignisse unter Verwendung von Vision-Language-Modellen.
• Klassifizierung: Kategorisiert Daten für spezifische Trainingsziele.
• Deduplizierung: Verwendet Video-Embeddings, um redundante Daten zur Effizienz zu identifizieren und zu entfernen.

Videoverarbeitung

Die Videoverarbeitung umfasst:

• Das Aufteilen und Transkodieren von Videos in kleinere Segmente.
• Das Anwenden von Qualitätsfiltern, um relevante hochauflösende Daten zu isolieren.

Tokenisierung

Die Tokenisierung verwandelt rohe, hochdimensionale visuelle Daten in kleinere, handlichere Einheiten, die Tokens genannt werden, und vereinfacht Maschinelle Lernprozesse. Sie zielt darauf ab, Pixelredundanzen zu reduzieren und sie in kompakte, semantisch bedeutungsvolle Tokens umzuwandeln, was schnelleres und effizienteres Modelltraining und Inferenz ermöglicht.

Es gibt zwei Arten von Tokenisierung: diskret (die visuelle Daten als Ganzzahlen codiert) und kontinuierlich (die visuelle Daten als kontinuierliche Vektoren codiert).

Neuronale Netze und interne Repräsentation

Im Kern von Welt-Grundmodellen stehen neuronale Netze mit Milliarden von Parametern. Diese Netze analysieren Daten, um einen verborgenen Zustand oder eine interne Repräsentation der Umgebung zu erstellen und zu aktualisieren.

Wichtige Fähigkeiten umfassen:

• Wahrnehmung: Extrahiert Bewegung, Tiefe und andere 3D-dynamische Verhaltensweisen aus Videos und Bildern.
• Vorhersage: Antizipiert verborgene Objekte, Bewegungsmuster und potenzielle Ereignisse basierend auf gelernten Repräsentationen.
• Anpassung: Verfeinert kontinuierlich den verborgenen Zustand durch Deep Learning und stellt Reaktionsfähigkeit auf neue Szenarien und Umgebungen sicher.

Modellarchitekturen

Welt-Grundmodelle verwenden spezialisierte neuronale Netzwerkarchitekturen, um physikalische Phänomene effektiv zu simulieren und vorherzusagen:

Diffusionsmodelle

• Operieren durch Verfeinerung von zufälligem Rauschen, um hochwertige Videos zu generieren.
• Ideal für Aufgaben wie Videogenerierung und Stiltransfer.

Autoregressive Modelle

• Generieren Video Frame-für-Frame und sagen jeden nachfolgenden Frame basierend auf vorherigen voraus.
• Geeignet für Videovervollständigung und Vorhersage zukünftiger Frames.

Feinabstimmung und Spezialisierung

Anfänglich für allgemeine Aufgaben trainiert, können Welt-Grundmodelle für spezifische Anwendungen feinabgestimmt werden.

Feinabstimmungs-Frameworks integrieren Bibliotheken, SDKs und Tools, um Datenvorbereitung, Modelltraining, Leistungsoptimierung und Lösungsbereitstellung zu vereinfachen und gleichzeitig die Anpassung für spezialisierte Aufgaben in der Robotik, bei autonomen Systemen und anderen Anwendungen zu ermöglichen.

Entdecken Sie weitere unserer Benchmarks und datengestützten Erkenntnisse in der Google-Suche.

Als bevorzugte Quelle hinzufügen

Vorteile von Welt-Grundmodellen

Durch die Nutzung von Welt-Grundmodellen können Forscher und Ingenieure Entwicklungszyklen beschleunigen, Kosten senken und Risiken minimieren, während sie robustere und anpassungsfähigere physische KI-Systeme aufbauen.

Dieser Ansatz kann helfen, fortschrittliche KI-Anwendungen zu schaffen und einen sichereren und effizienteren Einsatz in realen Szenarien sicherzustellen.

Verbesserte Entscheidungsfindung und Planung

Welt-Grundmodelle verbessern physische KI-Systeme, indem sie potenzielle zukünftige Szenarien basierend auf verschiedenen Aktionssequenzen simulieren. Unter Verwendung integrierter Kosten- oder Belohnungsmoduln bewerten diese Modelle Ergebnisse, um optimale Strategien zu identifizieren.

Diese Voraussicht ermöglicht es Buildern physischer KI, komplexe Herausforderungen zu lösen und Effizienz, Anpassungsfähigkeit und Sicherheit in dynamischen Umgebungen sicherzustellen.

Realistische und physikalisch genaue Simulationen

Welt-Grundmodelle, einschließlich NVIDIAs Diffusionsmodellen, generieren hochfidelle 3D-Simulationen, indem sie verstehen, wie sich Objekte bewegen und interagieren. Diese Simulationen sind kritisch für das Training von Wahrnehmungs-KI und das Testen autonomer Fahrzeuge oder robotischer Systeme in verschiedenen Umgebungen.

Beispielsweise können selbstfahrende Autos unter verschiedenen Wetter- und Verkehrsbedingungen evaluiert werden, während Roboter auf Objektmanipulation und Aufgabenerfüllung getestet werden können, bevor sie in der realen Welt eingesetzt werden.

Prädiktive Intelligenz

Welt-Grundmodelle bieten prädiktive Intelligenz und ermöglichen es physischen KI-Systemen, Szenarien vorherzusagen und fundierte Entscheidungen basierend auf Video-Training und historischen Daten zu treffen.

Durch die Nutzung von Video-zu-Welt-Generierung und der Generierung physikbewusster Videos helfen diese Modelle, Strategien zu optimieren, Sicherheit zu verbessern und die Anpassungsfähigkeit in physischen KI-Setups zu erhöhen.

Verbesserte Policy-Entwicklung mit Welt-Grundmodellen

Policy-Evaluierung: Welt-Grundmodelle, wie NVIDIA Cosmos-Modelle, ermöglichen es Entwicklern physischer KI-Systeme, Policy-Modelle in virtuellen Umgebungen statt in der physischen Welt zu testen und zu verfeinern.

Diese Methode nutzt digitale Zwillinge und ist kosteneffektiv und zeiteffizient. Sie ermöglicht diverse Tests unter nicht gesehenen Bedingungen, und Entwickler können sich auf vielversprechende Policies konzentrieren, indem sie ineffektive schnell verwerfen.

Policy-Initialisierung: Welt-Grundmodelle bieten eine starke Grundlage für die Initialisierung von Policy-Modellen, indem sie reale Physik und Dynamiken modellieren. Dieser Ansatz adressiert Herausforderungen der Datenknappheit und beschleunigt die Entwicklung physischer KI-Modelle.

Policy-Training: In Kombination mit Belohnungsmodellen fungieren Welt-Grundmodelle als Proxy für die physische Welt in Bestärkungs-Lern-Setups. Diese Modelle liefern Feedback, das hilft, Policy-Modelle durch simulierte Interaktionen zu feinabstimmen und ihre Fähigkeiten zu verbessern.

Zukunft von Welt-Grundmodell-Plattformen

Die Anwendungen von Welt-Grundmodellen werden voraussichtlich weit über autonome Fahrzeuge und Robotik hinausgehen. Einige der möglichen zukünftigen Anwendungen von Welt-Grundmodellen umfassen:

Gesundheitswesen

Diese Modelle können simuliertes Training für chirurgische Roboter und medizinische Geräte ermöglichen und so Präzision und Sicherheit während komplexer Eingriffe gewährleisten, was letztendlich die Patientenergebnisse verbessert.

Bildung und Training

Virtuelle Umgebungen können immersive Simulationen für Bildung und Training bieten, speziell für Bediener schwerer Maschinen, Piloten und Einsatzkräfte, indem sie hochriskante Szenarien ohne reale Risiken replizieren.

Gaming und Unterhaltung

Durch die Schaffung interaktiverer und anpassungsfähigerer KI-Charaktere können diese Modelle virtuelle und erweiterte Realität-Erlebnisse transformieren und sie ansprechender und lebensnäher machen.

Stadtplanung

Stadtplaner können diese Modelle nutzen, um Verkehrsmuster, Fußgängerdynamiken und Infrastrukturänderungen zu simulieren und Designs vor der physischen Implementierung zu optimieren.

Sicherheit und Verteidigung

Weltmodelle werden voraussichtlich beim Training von Drohnen und autonomen Agenten für Überwachung, Such- und Rettungseinsätze sowie Katastrophenhilfe unerlässlich sein, alles innerhalb sicherer und kontrollierter virtueller Szenarien.

Diese Forschung zitieren

Wählen Sie das Format, das zu Ihrem Veröffentlichungsort passt. Wenn Sie die Link-Version in Ihr CMS einfügen, bleibt der Backlink erhalten.

@misc{dilmegani2026,
  author = {Dilmegani, Cem and Ermut, Sıla},
  title  = {{Welt-Grundmodelle: 10 Anwendungsfälle}},
  year   = {2026},
  month  = may,
  howpublished    = {\url{https://aimultiple.com/world-foundation-model}},
  note   = {AIMultiple. Abgerufen am 15. Mai 2026}
}

Referenzlinks

1.

NVIDIA Announces Alpamayo Family of Open-Source AI Models and Tools to Accelerate Safe, Reasoning-Based Autonomous Vehicle Development | NVIDIA Newsroom

2.

GR00T N1.6

3.

https://arxiv.org/pdf/2511.09057

4.

Fei-Fei Li's World Labs speeds up the world model race with Marble, its first commercial product | TechCrunch

TechCrunch

5.

Introducing the V-JEPA 2 world model and new benchmarks for physical reasoning

6.

https://arxiv.org/pdf/2506.09985

7.

NVIDIA Launches Cosmos World Foundation Model Platform to Accelerate Physical AI Development | NVIDIA Newsroom

8.

Cosmos World Foundation Model Platform for Physical AI

9.

Cosmos World Foundation Models Openly Available to Physical AI Developers | NVIDIA Blog

10.

Genie 3: A new frontier for world models — Google DeepMind

Google DeepMind

11.

NVIDIA Earth-2 Features First Gen AI to Power Weather Super-Resolution for Continental US | NVIDIA Blog

12.

DreamDojo: A Generalist Robot World Model from Large-Scale Human Videos

13.

Needle-Moving AI Research Trains Surgical Robots in Simulation | NVIDIA Blog

Cem Dilmegani

Leitender Analyst

Folgen auf

Cem ist seit 2017 leitender Analyst bei AIMultiple. AIMultiple informiert monatlich Hunderttausende von Unternehmen (laut similarWeb), darunter 55 % der Fortune 500. Cems Arbeit wurde von führenden globalen Publikationen wie Business Insider, Forbes und der Washington Post, von globalen Unternehmen wie Deloitte und HPE sowie von NGOs wie dem Weltwirtschaftsforum und supranationalen Organisationen wie der Europäischen Kommission zitiert. Weitere namhafte Unternehmen und Ressourcen, die AIMultiple referenziert haben, finden Sie hier. Im Laufe seiner Karriere war Cem als Technologieberater, Technologieeinkäufer und Technologieunternehmer tätig. Über ein Jahrzehnt lang beriet er Unternehmen bei McKinsey & Company und Altman Solon in ihren Technologieentscheidungen. Er veröffentlichte außerdem einen McKinsey-Bericht zur Digitalisierung. Bei einem Telekommunikationsunternehmen leitete er die Technologiestrategie und -beschaffung und berichtete direkt an den CEO. Darüber hinaus verantwortete er das kommerzielle Wachstum des Deep-Tech-Unternehmens Hypatos, das innerhalb von zwei Jahren von null auf einen siebenstelligen jährlichen wiederkehrenden Umsatz und eine neunstellige Unternehmensbewertung kam. Cems Arbeit bei Hypatos wurde von führenden Technologiepublikationen wie TechCrunch und Business Insider gewürdigt. Er ist ein gefragter Redner auf internationalen Technologiekonferenzen. Cem absolvierte sein Studium der Informatik an der Bogazici-Universität und besitzt einen MBA der Columbia Business School.

Vollständiges Profil anzeigen

Recherchiert von

Sıla Ermut

Branchenanalyst

Folgen auf

Sıla Ermut ist Branchenanalystin bei AIMultiple und spezialisiert auf E-Mail-Marketing und Vertriebsvideos. Zuvor war sie als Personalberaterin in Projektmanagement- und Beratungsunternehmen tätig. Sıla hat einen Master of Science in Sozialpsychologie und einen Bachelor of Arts in Internationalen Beziehungen.

Vollständiges Profil anzeigen

Seien Sie der Erste, der kommentiert

Ihre E-Mail-Adresse wird nicht veröffentlicht. Alle Felder sind erforderlich. Kommentare werden in ihrer Originalsprache belassen.

Name

E-Mail-Adresse

Kommentar

0/450

Kommentar posten