Dünya Çekirdek Modelleri: 10 Kullanım Alanı
Fiziksel dünyada robotların ve otonom araçların (AV'lerin) eğitimi maliyetli, zaman alıcı ve riskli olabilir. Dünya Çekirdek Modelleri, gerçek dünya ortamlarının gerçekçi simülasyonlarını sağlayarak ölçeklenebilir bir alternatif sunar.
Bu modeller, fiziksel testlere olan bağımlılığı azaltarak robotik, AV'ler ve diğer alanlarda geliştirme ve dağıtım sürecini hızlandırır.
Dünya Çekirdek Modellerinin nasıl çalıştığını, gerçek hayattaki kullanım alanlarını ve sundukları somut faydaları keşfedin.
En İyi 10 Dünya Çekirdek Modeli
1) NVIDIA'nın Alpamayo'su
NVIDIA'nın Alpamayo'su, karar verme temelli yaklaşım ile otonom araçları daha güvenli hale getirmeyi amaçlayan açık kaynaklı yapay zeka modelleri, simülasyon araçları ve veri kümelerinden oluşan yeni bir ailedir.
Bu yaklaşımı desteklemek için Alpamayo üç ana bileşeni bir araya getirir:
- Alpamayo 1, sürüş kararlarını açıklayan 10 milyar parametreli bir düşünce zinciri VLA modelidir.
- AlpaSim, test ve doğrulama için açık kaynaklı bir simülasyon çerçevesidir.
- Fiziksel AI Açık Veri Kümeleri, 1.700 saatten fazla çeşitli gerçek dünya sürüş verilerini içerir.
Bu modeller araçlarda doğrudan çalışmak için tasarlanmamıştır. Bunun yerine, geliştiricilerin üretim AV sistemlerini geliştirmek ve güvenliği artırmak amacıyla fine-tune edebileceği büyük öğretmen modelleri olarak hizmet verir.1
2) NVIDIA Araştırma'nın GR00T N1.6'sı
NVIDIA Araştırma'nın GR00T N1.6'sı, genel amaçlı humanoid robotlar için güncellenmiş bir açık çekirdek modelidir. GR00T N1.5'in üzerine inşa edilen yeni sürüm, YAM, AgiBot Genie-1 ve Unitree G1 gibi robotlarda bimanüel manipülasyon ve tüm vücut hareketlilik görevleri dahil olmak üzere hem simülasyon hem de gerçek dünya testlerinde daha güçlü performans sunar (aşağıdaki şekle bakın).
Şekil 1: GR00T N1.6 ile GR00T N1.5 karşılaştırma grafikleri.
GR00T N1.6, daha büyük bir difüzyon transformatörü, daha yetenekli bir görsel-dil modeli ve binlerce saatlik uzaktan kumandalı robot gösterimlerini ekleyen genişletilmiş ön eğitim verileri gibi mimari ve eğitim iyileştirmelerini içerir. Bu değişiklikler modelin daha düzgün, daha doğru hareketler öğrenmesine ve sonrası eğitim sırasında daha hızlı adapte olmasına yardımcı olur.
Tek bir robot veya görev odaklı olmak yerine, GR00T N1.6 farklı humanoid platformlar arasında aktarım yapılabilen bir genelci politika olarak tasarlanmıştır.
NVIDIA, daha hızlı yakınsama, daha iyi çeviklik ve uzun vadeli görevlerde gelişmiş performans bildiriyor ve N1.6'yı açık, ölçeklenebilir humanoid robot öğrenimi için anlamlı bir adım haline getiriyor.2
GR00T N1.6'nın hareket halindeki halini görmek için aşağıdaki videoyu izleyin.
3) PAN
PAN, uzun vadeli tahmin ve eylem koşullu simülasyon için tasarlanmış genel etkileşimli bir dünya modelidir. Bu, otoregresif gizli dinamik modeli ile bir video difüzyon çözücüsünü birleştiren Üretici Gizli Tahmin mimarisi temeline dayanmaktadır.
Bu tasarım, sistemin doğal dilde verilen belirli eylemlere karşılık ortamın nasıl geliştiğini, zamansal tutarlılığı ve görsel tutarlılığı koruyarak simüle etmesini sağlar.
PAN, bir ajanın eylemleri önerip, olası sonuçlarını simüle edip, tanımlanmış bir hedefe daha iyi ulaşan dizileri seçebileceği çok adımlı yayılım üretimi destekler. Model ayrıca nesne etkileşimlerinin veya hareket yörüngelerinin değiştirilmesi durumunda görev sonuçlarının nasıl değişebileceğini değerlendirerek nedensel olmayan akıl yürütme de yapabilir.
Deneysel sonuçlar, uzun vadeli görsel tahmin, fiziksel akıl yürütme ve planlama kıyaslama testlerinde karşılaştırılabilir açık kaynak modellere göre güçlü performans gösterdiğini ortaya koymaktadır.
Robotik için bu yetenekler, robotların veya eğitim sistemlerinin çevresel dinamikleri öngörmesine, stratejileri gerçekleştirmeden önce içsel olarak test etmesine ve görev politikalarını iyileştirmesine olanak tanır ve bu da tekrarlanan fiziksel denemelerin maliyetlerini ve risklerini azaltır.
Şekil 2: PAN model mimarisini gösteren görsel, uzun vadeli dünya simülasyonu için otoregresif bir LLM tabanlı omurgayı birleştirir.3
4) World Labs'ın Marble'ı
World Labs'ın Marble'ı, metin istemleri, tek veya çoklu görüntüler, videolar, panoramalar ve 3D düzenlerden kalıcı ve düzenlenebilir 3D ortamlar üretir.
Keşif sırasında sahneleri sürekli değiştiren gerçek zamanlı üretici sistemlerin aksine, Marble Gaussian splat'lar, örgüler veya videolar olarak dışa aktarılabilen kararlı dünyalar üretir. Platform, mekansal yapıyı görsel stilden ayıran hibrit bir 3D düzenleyici olan Chisel'i içerir.
Bu araç, geliştiricilerin duvarlar veya büyük nesneler gibi temel geometrik unsurları düzenlemesine ve ardından sahneyi tamamlamak için stilistik istemleri uygulamasına olanak tanır.
Kullanıcılar ayrıca nesneleri doğrudan düzenleyici içinde yeniden konumlandırabilir ve oluşturulan dünyayı ek yakın bölgeleri içerecek şekilde genişletebilir. Bu özellikler, robotik ekiplerin çalışma alanlarının gerçekçi dijital ikizlerini oluşturmasına, kontrollü ortamlarda navigasyon ve manipülasyonu test etmesine ve tüm sahneleri yeniden inşa etmeden makyaj veya görev tasarımında hızlıca yineleme yapmasına olanak tanır.
Çok açılı görsel girdileri kabul etme yeteneği, yüksek sadakatli ortamların oluşturulmasını destekler. Bu tutarlı simülasyon ortamları, robotik eğitiminin verimliliğini artırabilir ve kapsamlı fiziksel prototipleme ihtiyacını azaltabilir.
Şekil 3: Grafik Marble'ın girdi-çıktı hattını gösterir.4
5) Meta'nın V-JEPA 2'si
Meta, fiziksel akıl yürütme, görsel tahmin ve sıfır örnekleme robotik planlamada yeni kıyaslama standartları belirleyen gelişmiş bir video tabanlı dünya modeli olan V-JEPA 2'yi tanıttı.
Ortak Gömme Tahmin Mimarisi (JEPA) üzerine inşa edilen 1.2 milyar parametreli model, bir milyondan fazla saatlik video ve ek robot etkileşim verisiyle eğitilmiştir ve bu da alışılmadık nesnelerin ve ortamların dinamiklerini anlayıp tahmin etmesini sağlar.
V-JEPA 2, bir kodlayıcı-tahmin edici mimarisi ve kendine denetimli öğrenme aracılığıyla planlamayı destekler ve eylem tanıma, beklenti ve video soru cevaplama gibi görevlerde gelişmiş sonuçlar elde eder.
Meta ayrıca, yapay zekada fiziksel akıl yürütmenin değerlendirilmesi için AI ile insan performansı arasındaki mevcut boşlukları vurgulayarak, fiziksel akıl yürütme konusunda mevcut boşlukları ortaya koyan IntPhys 2, MVPBench ve CausalVQA olmak üzere üç kıyaslama testi yayınladı.
Model, hem araştırma hem de ticari kullanım için açık kaynak olarak sunulmuştur ve bu da Meta'nın gelişmiş makine zekası (AMI) hedefine ve pratik, uyarlanabilir AI ajanları geliştirme yolunda önemli bir adım olmuştur.5
Şekil 4: V-JEPA 2, büyük ölçekli video ve görüntü verileri üzerinde ön eğitilir, ardından görsel görevler için bir dil modeliyle hizalanır ve robotikte planlama ve kontrol için küçük miktarda robot verisiyle genişletilir.6
6) NVIDIA Cosmos Dünya Çekirdek Modelleri
NVIDIA Cosmos Dünya Çekirdek Modelleri, otonom araçlar (AV'ler) ve robotlar dahil olmak üzere fiziksel AI sistemlerinin geliştirilmesini hızlandırmak için tasarlanmış gelişmiş bir platformdur.
NVIDIA Cosmos Süiti, üretici dünya çekirdek modellerini (WFMs), gelişmiş tokenleştiricileri, dahili güvenlik önlemlerini ve yüksek hızlı video işleme hattını birleştirir.
NVIDIA NeMo Curator, CUDA hızlandırılmış hattıyla birlikte iki haftada 20 milyon saatlik videoyu işler ve bu da maliyetleri ve süreyi azaltır.
NVIDIA Cosmos Tokenizer, üstün sıkıştırma ve daha hızlı görüntü ve video veri işleme sağlar. NVIDIA Cosmos Süiti'nin temel özellikleri şunlardır:
- AI modellerini eğitmek ve değerlendirmek için çok miktarda fotogerçekçi, fizik tabanlı sentetik veri oluşturmaya olanak tanır.
- Metin, görüntü, video ve sensör verisi gibi çeşitli girdiler kullanarak fizik tabanlı videolar üretir.
- depo ve çeşitli yol koşulları dahil olmak üzere karmaşık endüstriyel ve sürüş ortamlarını simüle eder.
- Belirli senaryolar için video araması yapmayı ve simüle edilmiş koşullar altında model değerlendirmesini kolaylaştırır.
- Geliştiriciler, özel uygulamalara uygun özel modeller oluşturmak için WFMs'leri fine-tune edebilir.
- WFMs, robotik ve otonom araç toplulukları içinde iş birliğini teşvik etmek için açık bir lisans altında erişilebilir.
- Modeller, NVIDIA'nın API kataloğu aracılığıyla ön izlenebilir veya NVIDIA NGC ve Hugging Face platformlarından indirilebilir.7
Şekil 5: NVIDIA Cosmos Süiti'nin temel bileşenleri: video küratörü, video tokenleştirici, ön eğitilmiş dünya çekirdek modeli, dünya çekirdek modeli sonrası eğitim örnekleri ve güvenlik önlemleri.8
Waabi, Foretellix, XPENG ve Wayve, trafik senaryolarını, hava koşullarını ve yaya davranışlarını simüle etmek için NVIDIA Cosmos Dünya Çekirdek Modellerini kullanır. Bu şirketler fiziksel denemeler olmadan sanal ortamlarda testler yapar.9
Platform, yaklaşık iki hafta içinde CUDA hızlandırması aracılığıyla 20 milyon saatten fazla videoyu işlemek ve etiketlemek için NVIDIA NeMo Curator kullanır.
Temel özellikler:
- Trafik, hava, aydınlatma ve yaya senaryolarını etiketler.
- Sensör verileriyle birlikte fotogerçekçi video üretir.
- Yerelleştirme için bölgesel sürüş normlarını simüle eder.
- AV sistemlerinin risk-free doğrulamasını sağlar.
7) DeepMind'in Genie 3'ü
Google DeepMind, metin açıklamalarından gerçek zamanlı olarak etkileşimli sanal ortamlar üreten Genie 3'ü yayımladı.
Teknik özellikleri:
- Performans özellikleri: Sistem saniyede 24 kare hızında çalışır, birkaç dakikalık etkileşim boyunca çevresel tutarlılığı korurken 720p çözünürlükte çıktı üretir.
- Model, yaklaşık bir dakikalık geçmiş etkileşimlere kadar uzanan görsel hafıza yeteneklerini gösterir.
- Ortam kategorileri: Genie 3, birden fazla türde sanal dünya üretir:
- Fiziksel simülasyonlar, akışkan dinamikleri, ışık efektleri ve çevresel fizik içerir.
- Biyolojik ekosistemler, flora, fauna ve ekolojik etkileşimleri içerir.
- Kurgusal ortamlar, gerçek dışı unsurlar ve canlandırılmış karakterler içerir.
- Coğrafi ve tarihsel yeniden yapılandırmalar, gerçek dünya konumlarının ve dönemlerinin yeniden inşasını içerir.
- Etkileşim mekanizmaları:
- İstemlenebilir dünya olayları, çevresel koşulların ve nesne yerleştirmenin çalışma zamanı değiştirilmesine olanak tanır.
- Zamansal tutarlılık, uzatılmış etkileşim oturumları boyunca tutarlı fiziksel özellikler korunur.
- Ajan entegrasyonu, oluşturulan ortamlar içinde hedefe yönelik görevleri gerçekleştiren otonom ajanları destekler.
- Teknik mimari: Sistem, açık 3D sahne temsilleri yerine otoregresif kare üretimi kullanır.
- Bu yaklaşım, gerçek zamanlı etkileşim sırasında büyüyen zamansal diziler arasında tutarlılığı korumanın hesaplama zorluğunu ele alırken dinamik ortam yaratımına olanak tanır.
Araştırma uygulamaları ve erişim:
Erişimim şu anda sınırlı bir ön izleme programı aracılığıyla seçili akademik araştırmacılara ve içerik üreticilere sınırlıdır. Olası araştırma uygulamaları arasında eğitim simülasyonu, otonom sistem eğitimi, ajan davranış değerlendirmesi ve makine öğrenimi sistemleri için nedensel olmayan senaryo analizi yer alır.10
8) NVIDIA'nın Earth-2'si
NVIDIA'nın Earth-2'si, yüksek çözünürlüklü olarak Dünya'nın iklim ve hava sistemlerini simüle etmek için yapay zekayı ve yüksek performanslı hesaplamayı (HPC) kullanmayı amaçlayan bir girişimdir. Bu, hava tahmini ve iklim modellemesi için yeni bir yaklaşımdır.
Arkasındaki teknoloji nedir?
NVIDIA, NVIDIA'nın grafik işlem birimleri (GPU'lar) ve yapay zeka araçları üzerine inşa edilmiş Omniverse platformunu kullanarak gerçekçi simülasyonlar yaratmaktadır. Fikir, karmaşık hava desenlerini modelleyerek ve daha doğru tahminler yaparak Dünya'nın iklimi hakkında son derece ayrıntılı, doğru simülasyonlar üretmektir.
Etkisi nedir?
Earth-2'nin nihai hedefi, daha iyi hava tahminleri sunmak, uzun vadeli iklim eğilimlerini anlamak ve iklim değişikliğini hafifletmektir.
Daha doğru simülasyonlar, aşırı hava olaylarına karşı daha iyi hazırlık, daha verimli enerji kullanımı ve gelişmiş afet müdahale stratejilerine yol açabilir.11
NVIDIA'nın yapay zeka teknolojisinin hava tahmini ve iklim modellemesini nasıl ilerlettiğini keşfetmek için, Earth-2 platformuna ve fırtına tahminlerindeki etkisine dair ayrıntılı bir bakış için aşağıdaki videoyu izleyin:
9) NVIDIA'nın DreamDojo'su
DreamDojo, büyük ölçekli insan videolarından fiziksel bilgi edinmek ve bunu hedef beden üzerinde sonrası eğitim aracılığıyla robotlara aktarmak için NVIDIA tarafından geliştirilmiş genel robot dünya modelidir.
Sistem, yaklaşık 44.000 saatlik egosantrik insan videosundan oluşan DreamDojo-HV adlı bir veri kümesi üzerinde eğitilmiştir. Bugüne kadar dünya modeli ön eğitiminde kullanılan en büyük koleksiyon olduğu bildirilmektedir ve bu kategorideki önceki veri kümelerine göre önemli ölçüde daha fazla beceri ve sahneyi kapsar.
Önce Cosmos-Predict 2.5 temeline göre sonrası eğitilen DreamDojo, çeşitli ortamlarda ve nesne etkileşimlerinde daha fiziksel olarak doğru eylem koşullu yayılımlar üretir.
Temel özellikler:
- NVIDIA'nın GitHub aracılığıyla açık kaynaklı sürümü.
- Yaklaşık 44k saat egosantrik insan videosu üzerinde ön eğitildi.
- Gizli eylem ön eğitimi, ardından robot özel sonrası eğitimi.
- Yoğunlaştırmanın ardından gerçek zamanlı 10 FPS otoregresif üretim.
- Birden fazla humanoid ve manipülatör bedeninde genelleştirir.
- İndirilmiş uygulamalar olarak politika değerlendirme ve model tabanlı planlamayı destekler.
Şekil 6: DreamDojo genel bakış, insan videosu üzerinde gizli eylem ön eğitimi ve ardından hedef bedende sürekli robot eylemleriyle sonrası eğitim gösterilir.12
10) NVIDIA'nın DreamZero'su
DreamZero, önceden eğitilmiş bir video difüzyon omurgasının üzerine inşa edilmiş NVIDIA'ya ait bir Dünya Eylem Modeli (WAM)'dir. Standart Görüş-Dil-Eylem modellerinin alışılmadık fiziksel hareketlerle başa çıkmakta zorlanmasıyla karşılaştırıldığında, DreamZero, gelecekteki dünya durumlarını ve gelecekteki eylemleri tek bir ileri geçişte birlikte tahmin ederek dinamikleri öğrenir ve videoyu ortamın nasıl geliştiğinin yoğun bir temsili olarak ele alır.
Bu ortak modelleme, sistemin tekrarlanan gösterimlere dayanmadan heterojen robot veri kümelerinden çeşitli becerileri öğrenmesine olanak tanır. Gerçek robot deneylerinde DreamZero, en son VLA temellerine göre yeni görevlerde ve ortamlarda genellemede 2 katın üzerinde bir gelişme bildirir.
DreamZero ayrıca güçlü bir bedenler arası aktarım gösterir. İnsanlardan veya diğer robotlardan yalnızca video gösterimlerinden yaklaşık 10-20 dakika, görülmemiş görevlerde %42'nin üzerinde bir gelişme sağlar. Model, sıfır örnekleme genelleştirmesini korurken yalnızca 30 dakikalık oyun verisiyle tamamen yeni bir robot platformuna (YAM) adapte olur.
Temel özellikler:
- Video ve robot eylemlerini birlikte tahmin eden Dünya Eylem Modeli.
- 14B parametreli otoregresif video difüzyon omurgasının üzerine inşa edilmiştir.
- Yeni görevlerde en son VLAs'a göre 2 katın üzerinde genelleme geliştirme.
- 38 katlık çıkarım hızı artışı sonrası gerçek zamanlı 7 Hz kapalı döngü kontrolü.
- Yeni görevlerde sıfır örnekleme etkileşimli istemlemeyi destekler.
Dünya Çekirdek Modelleri kullanım alanları
Robotik
Robotikte, Dünya Çekirdek Modelleri robotların dinamik, gerçek dünya ortamlarında etkili bir şekilde çalışabilmelerini sağlayarak:
1. Mekansal zekayı oluşturma
Robotlar, simüle edilmiş eğitim ortamları aracılığıyla çevresini anlama kazanır ve nesneleri hassas bir şekilde manipüle edebilir ve hareket edebilir.
2. Geliştirilmiş öğrenme verimliliği
Simüle edilmiş ortamlar, robotların fiziksel sonuçlar olmadan deneyler yaparak ve hatalarından öğrenerek eğitimlerini hızlandırır.
3. Görev genelleştirme
Görsel, işitsel ve dokunsal sensörler gibi çeşitli modlardan gelen girdileri entegre ederek, Dünya Çekirdek Modelleri transfer öğrenimini destekler ve robotların yeni ortamlara ve görevlere en az yeniden eğitimle adapte olmalarını sağlar.
4. Karmaşık görev planlaması
Bu modeller, endüstriyel veya işbirlikçi ortamlarda nesneleri monte etme, insan eylemlerini tahmin etme veya diğer robotlarla koordine olma gibi uzun vadeli planlamayı yapmalarına olanak tanır.
Otonom araçlar
Dünya çekirdek modelleri, otonom araçların (AV'lerin) geliştirme sürecini şu şekilde geliştirebilir:
5. Önceden etiketlenmiş verilerle eğitim
AV sistemlerinin çeşitli koşullarda etrafındaki araçları, yayaları ve nesneleri doğru bir şekilde tanımasını ve yorumlamasını sağlayan önceden etiketlenmiş ve kodlanmış video veri kümeleri sağlar.
6. Senaryo oluşturma
Bu modeller, gerçek dünya eğitim verilerindeki boşlukları dolduran çeşitli trafik desenleri, hava koşulları ve yaya davranışları gibi simüle edilmiş senaryolar oluşturabilir.
7. Ölçeklenebilirlik ve yerelleştirme
Geliştiriciler, yeni coğrafi konumlarda koşulları yeniden oluşturmak için sanal ortamları kullanabilir ve bu da AV'lerin kapsamlı yolda test olmadan çeşitli yol düzenlemelerine, kültürel sürüş davranışlarına ve altyapı tasarımlarına adapte olmasına olanak tanır.
8. Sensör füzyonu ve kalibrasyonu
WFMs, aynı ortamda kamera, LiDAR, radar ve GPS gibi çoklu sensör girdilerini simüle edebilir. Bu, AV sistemlerinin derinlik, hız ve hareketi karmaşık sürüş bağlamlarında anlamak için doğru sensör füzyonu ve kalibrasyonu için eğitim almasına yardımcı olur.
9. Güvenlik ve maliyet verimliliği
AV sistemleri, sanal ortamlarda test ederek risk-free bir ortamda yineleme yapabilir ve optimize edebilir, bu da gerçek dünyada denemeler sırasında maliyetleri ve kazaların olasılığını azaltır.
Çok modlu entegrasyon
10. WFMs diğer kaynaklarla
WFMs'leri büyük dil modelleri (LLM'ler) ve yüksek performanslı hesaplama (HPC) gibi diğer hesaplama kaynaklarıyla entegre etmek, semantik anlayış ekleyerek Fiziksel AI sistemlerini geliştirir.
Bu kombinasyon, görsel dil modellerini ve çok modlu yetenekleri destekler ve görüntü ve video verileriyle daha sofistike etkileşimler sağlar.
Dünya Çekirdek Modelleri nedir?
Dünya çekirdek modelleri, gerçek dünya ortamlarını ve dinamiklerini simüle etmeyi ve tahmin etmeyi amaçlayan gelişmiş yapay zeka sistemleridir.
Bu modeller, metinsel bilgiler, görüntüler ve videolar gibi görsel veriler ve hareketle ilgili veriler dahil olmak üzere çeşitli veri girdilerini işler ve fiziksel ve sanal senaryoların gerçekçi ve içine çekici simülasyonlarını oluşturur.
Dünya çekirdek modellerinin temel yeteneği, hareket, kuvvet, nedensellik ve mekansal ilişkiler gibi temel fiziksel ilkeleri anlamalarıdır.
Bu, bir aracın hareketi, bir robot kolunun dinamikleri veya sanal bir dünyadaki nesnelerin etkileşimi gibi belirli bir ortamda nesnelerin ve varlıkların nasıl etkileşime girdiğini simüle etmelerini sağlar.
Bu modellerin temel bir uygulaması, robotlar ve otonom araçlar gibi fiziksel AI sistemlerini geliştirip geliştirmektir. eğitim ve test için güvenli ve kontrollü bir ortam sağlayarak, gerçek dünyada deneyim yapma ihtiyacını azaltabilir, bu da maliyetli, zaman alıcı ve potansiyel olarak tehlikeli olabilir.
Ayrıca, dünya çekirdek modelleri eğlence, eğitim ve araştırma gibi çeşitli amaçlar için kullanılabilen yüksek kaliteli, gerçekçi video içeriği üretebilir.
Doğru ve ayrıntılı ortamları simüle etme yetenekleri, geliştiriciler için vazgeçilmez araçlar haline gelir ve daha verimli ve hassas AI performansı geliştirmelerine olanak tanır.
Fiziksel AI sistemleri: Tanım & önemi
Fiziksel AI uygulamaları, fiziksel dünyayı algılamak için sensörlere ve onunla etkileşime geçip değiştirmek için aktüatörlere sahip yapay zeka sistemlerini ifade eder.
Bunlar, robotlar, sürücüsüz arabalar ve diğer cihazlar gibi otonom makinelerin gerçek dünya ortamlarında karmaşık eylemleri gerçekleştirmesini sağlar.
Genellikle “üretici fiziksel AI” olarak tanımlanır, 3D dünyanın mekansal ilişkilerini ve fiziksel kurallarını anlayarak üretici yapay zeka modellerini genişletir.
Fiziksel AI nasıl çalışır?
Üretici fiziksel AI, gelişmiş işlevsellik için üretici yapay zekayı fiziksel dünya verileriyle birleştirir.
Eğitim sırasında, AI sistemleri gerçek dünya senaryolarını taklit eden simülasyonlara maruz bırakılır. Bu simülasyonlar, fabrikalar gibi fiziksel alanların son derece doğru sanal kopyaları olan dijital ikizlere dayanır, burada otonom makineler ve sensörler tanıtılmıştır. Sanal ortam, nesne hareketi, çarpışmalar ve ışık dinamikleri gibi etkileşimleri yakalayan 3D eğitim verileri üretir.
Pekiştirmeli öğrenme bu süreçte kritiktir. Makinelerin bu simüle edilmiş ortamlarda deneme-yanılma yoluyla becerileri öğrenmesine olanak tanır. İstenen eylemleri tamamlamak için ödüller verilir ve bu da AI'nın adapte olmasına, gelişmesine ve sonunda görevleri hassasiyetle ustalaşmasına olanak tanır. Bu süreç, gerçek dünya uygulamaları için gerekli sofistike motor becerileri donatır.
Fiziksel AI sistemleri neden önemlidir?
Daha önce, otonom makineler çevresini etkili bir şekilde algılamakta ve onunla etkileşimde bulunmakta zorlanıyordu. Fiziksel AI, robotların ve diğer cihazların çevresini algılamasına, adapte olmasına ve onunla etkileşimde bulunmasına olanak sağlayarak bu sınırlamayı aşar.
Fiziksel AI sistemleri, cerrahi prosedürlerden depo navigasyonuna kadar karmaşık görevleri gerçekleştirebilen makineler yaratarak endüstrilerde verimliliği, güvenliği ve erişilebilirliği artırır.
Fiziksel AI, makineleri güvenli, kontrollü ortamlarda eğitmek için gelişmiş fizik tabanlı simülasyonlara dayanır. Bu simülasyonlar, gelişmeyi hızlandırır, erken öğrenme aşamalarında hasarı önler ve gerçek dünyaya dağıtım için hazır olmalarını sağlar.
İşte bazı fiziksel AI uygulamaları:
- Otonom Mobil Robotlar (AMR'ler): Karmaşık depo ortamlarında hareket eder, engellerden kaçınır ve gerçek zamanlı sensör geri bildirimine uyar.
- Manipülatörler: Nesne pozisyonlarına göre kavrama gücünü ve konumlandırmayı ayarlama gibi hassas görevleri gerçekleştirir.
- İnsansı robotlar: Çeşitli görevlerde algılamak, hareket etmek ve etkileşimde bulunmak için ince ve kaba motor becerilere ihtiyaç duyar.
- Akıllı alanlar: Depolar ve fabrikalar gibi büyük ölçekli iç ortamlar, Fiziksel AI ve tedarik zincirinde üretici yapay zeka uygulamaları aracılığıyla güvenlik, dinamik rota planlaması ve operasyonel verimlilik açısından faydalanır. Gelişmiş bilgisayarlı görü modelleri, insan güvenliğini önceliklendirirken faaliyetleri izler ve optimize eder.
- Cerrahi robotlar: Dikiş atma ve iğne geçirme gibi hassas operasyonları gerçekleştirir.
Gerçek hayattan örnek:
Toronto Üniversitesi, UC Berkeley, ETH Zurich, Georgia Tech ve NVIDIA araştırmacıları tarafından geliştirilen ORBIT-Cerrahi, cerrahi robotları eğitmek için tasarlanmış açık kaynaklı bir simülasyon çerçevesidir. Cerrahların bilişsel yükünü hafifletir ve takım performansını artırır.
NVIDIA Isaac Sim üzerine inşa edilmiştir ve iğne tutma, nesneleri aktarma ve hassas yerleştirme gibi laparoskopiye ilham verilmiş görevleri destekler. GPU hızlandırmasını kullanarak robotları hızlı bir şekilde eğitebilir ve tek bir NVIDIA RTX GPU üzerinde iki saat içinde şant yerleştirme gibi görevleri tamamlayabilir.
Çerçeve ayrıca, araç tanımayı geliştirmek ve gerçek dünya veri kümelerine olan bağımlılığı azaltmak için AI algı modellerini eğitmek için yüksek kaliteli sentetik veri üretmek üzere NVIDIA Omniverse kullanır.13
Dünya Çekirdek Modeli neden önemlidir?
Fiziksel AI için etkili dünya modelleri oluşturmak, özellikle kapsamlı eğitim için gereken geniş gerçek dünya senaryolarını yakalarken toplamak maliyetli ve zaman alıcı olan büyük veri kümeleri gerektirir.
Dünya Çekirdek Modelleri (WFMs), sentetik veri üretimi ile bu zorluğu ele alabilir. Bu veri, zengin, çeşitli ve ölçeklenebilir olup, geliştiricilerin gerçek dünya bilgisi toplamanın lojistik sorunları olmadan AI sistemlerini daha etkili bir şekilde eğitmesini sağlar.
WFMs tarafından oluşturulan sentetik veri kümeleri, gerçek dünyada nadir olan veya tekrar etmesi zor olan senaryolardaki boşlukları doldurmaya da yardımcı olur.
Fiziksel AI sistemlerini gerçek dünya ortamlarında eğitmek ve test etmek önemli zorluklar içerir. Bunlara yüksek maliyetler, ekipman veya çevreye potansiyel riskler ve tutarlı test için kontrollü koşulları korumada zorluk dahildir.
Dünya Çekirdek Modelleri, AI sistemlerinin güvenli bir şekilde eğitilebileceği ve test edilebileceği son derece gerçekçi, sanal 3D ortamlar sunarak bir çözüm sağlar. Bu ortamlar, geliştiricilerin karmaşık fiziksel etkileşimleri simüle etmesine, yeni yetenekleri test etmesine ve AI davranışlarını kontrollü, tekrarlanabilir bir şekilde geliştirmesine olanak tanır.
Dünya Çekirdek Modellerinin Arkasındaki Temel Teknolojiler
Dünya Çekirdek Modellerinin inşası, veri kürasyonu, tokenizasyon, sinir ağları, iç temsil ve fine-tune etme ve uzmanlaşma dahil olmak üzere çok katmanlı karmaşık süreçler ve teknolojileri içerir:
Veri kürasyonu
Veri kürasyonu, dünya modellerinin geliştirilmesindeki ilk adımdır. Modelin yüksek kaliteli bilgiler üzerinde eğitildiğinden emin olmak için kapsamlı gerçek dünya veri kümelerini sistematik olarak düzenlemeyi, temizlemeyi ve hazırlamayı içerir. Veri kürasyonundaki adımlar şunlardır:
- Filtreleme: Yalnızca yüksek kaliteli verileri belirler ve korur.
- Ek açıklama: Görüş-dil modelleri kullanarak ana nesneleri, eylemleri ve olayları etiketler.
- Sınıflandırma: Veriyi belirli eğitim hedefleri için kategorilere ayırır.
- Yinelenenleri kaldırma: Verimlilik için yinelenen verileri tanımlamak ve kaldırmak için video gömmelerini kullanır.
Video işleme
Video işleme şunları içerir:
- Videoyu daha küçük parçalara ayırma ve yeniden kodlama.
- İlgili yüksek çözünürlüklü verileri izole etmek için kalite filtreleri uygulama.
Tokenizasyon
Tokenizasyon, ham, yüksek boyutlu görsel verileri daha küçük, daha yönetilebilir birimlere dönüştürerek, makine öğrenimi süreçlerini basitleştirir. Piksel gereksizlerini azaltmayı ve bunları daha hızlı ve verimli model eğitimi ve çıkarımı için kompakt, anlamsal olarak anlamlı tokenlere dönüştürmeyi amaçlar.
İki tür tokenizasyon vardır: ayrık (görsel verileri tamsayılar olarak kodlayan) ve sürekli (görsel verileri sürekli vektörler olarak kodlayan).
Sinir ağları ve iç temsil
Dünya çekirdek modellerinin merkezinde milyarlarca parametreye sahip sinir ağları vardır. Bu ağlar, ortamın gizli bir durumunu veya iç temsilini oluşturmak ve güncellemek için verileri analiz eder.
Temel yetenekler şunları içerir:
- Algı: Video ve görüntülerden hareket, derinlik ve diğer 3D dinamik davranışları çıkarır.
- Tahmin: Gizli nesneleri, hareket desenlerini ve öğrenilen temsillerden potansiyel olayları öngörür.
- Uyum sağlama: Yeni senaryolara ve ortamlara yanıt vermeyi sağlamak için derin öğrenme aracılığıyla gizli durumu sürekli olarak geliştirir.
Model mimarileri
Dünya çekirdek modelleri, fiziksel olguları etkili bir şekilde simüle etmek ve tahmin etmek için özel sinir ağları mimarilerini kullanır:
Difüzyon modelleri
- Rastgele gürültüyü rafine ederek yüksek kaliteli videolar üretir.
- Video üretimi ve stil aktarımı gibi görevler için idealdir.
Ototoregresif modeller
- Her bir sonraki kareyi öncekilerden tahmin ederek kare kare video üretir.
- Video tamamlama ve gelecek kare tahmini için uygundur.
Fine-Tune etme ve uzmanlaşma
Başlangıçta genel görevler için eğitilen dünya çekirdek modelleri, belirli uygulamalar için fine-tune edilebilir.
Fine-tune etme çerçeveleri, veri hazırlığı, model eğitimi, performans optimizasyonu ve çözüm dağıtımı süreçlerini basitleştirirken, robotik, otonom sistemler ve diğer uygulamalarda özel görevlere uyum sağlamayı da sağlar.
Tercih edilen kaynak olarak ekleDünya Çekirdek Modellerinin Faydaları
Dünya Çekirdek Modellerinden yararlanarak, araştırmacılar ve mühendisler daha güçlü ve uyarlanabilir Fiziksel AI sistemleri oluştururken geliştirme döngülerini hızlandırabilir, maliyetleri azaltabilir ve riskleri en aza indirebilir.
Bu yaklaşım, gelişmiş yapay zeka uygulamaları yaratmaya ve gerçek dünya senaryolarında daha güvenli ve verimli dağıtım sağlamaya yardımcı olabilir.
Geliştirilmiş karar verme ve planlama
Dünya Çekirdek Modelleri, çeşitli eylem dizilerine dayalı potansiyel gelecekteki senaryoları simüle ederek Fiziksel AI sistemlerini geliştirir. Entegre maliyet veya ödül modüllerini kullanarak, bu modeller sonuçları değerlendirerek en uygun stratejileri belirler.
Bu öngörü, Fiziksel AI yapımcılarının karmaşık zorlukları çözmesine, dinamik ortamlarda verimliliği, uyum sağlama yeteneğini ve güvenliği sağlamasına olanak tanır.
Gerçekçi ve fiziksel olarak doğru simülasyonlar
NVIDIA'nın difüzyon modelleri dahil Dünya Çekirdek Modelleri, nesnelerin nasıl hareket ettiğini ve etkileşime girdiğini anlayarak yüksek sadakatli 3D simülasyonlar üretir. Bu simülasyonlar, algı AI'sını eğitmek ve çeşitli ortamlarda otonom araçları veya robotik sistemleri test etmek için kritiktir.
Örneğin, sürücüsüz arabalar çeşitli hava ve trafik koşullarında değerlendirilebilir, robotlar ise gerçek dünyaya dağıtılmadan önce nesne manipülasyonu ve görev performansı için test edilebilir.
Tahminci zeka
Dünya Çekirdek Modelleri, video eğitimi ve tarihsel verilere dayanarak senaryoları öngörmesine ve bilinçli kararlar vermesine olanak tanıyan tahminci zekayı sağlar.
Videoyu dünyaya dönüştürme ve fizik bilgisi olan videolar üretme yoluyla bu modeller, stratejileri optimize etmeye, güvenliği artırmaya ve Fiziksel AI kurulumlarında uyum sağlama yeteneğini geliştirmeye yardımcı olur.
Dünya Çekirdek Modelleri ile geliştirilmiş politika geliştirme
Politika değerlendirme: NVIDIA Cosmos modelleri gibi Dünya Çekirdek Modelleri, Fiziksel AI sistemleri geliştiricilerinin politika modellerini fiziksel dünyada değil sanal ortamlarda test etmesine ve geliştirmesine olanak tanır.
Bu yöntem dijital ikizleri kullanır ve maliyet açısından verimli ve zaman açısından verimlidir. Görülmemiş koşullarda çeşitli testler yapar ve geliştiricilerin etkisiz olanları hızlıca eliyoruzken, Fiziksel AI görevlerini ve kaynaklarını umut vaat eden politikalara odaklanmalarını sağlar.
Politika başlatma: Dünya Çekirdek Modelleri, gerçek dünya fiziklerini ve dinamiklerini modelleyerek politika modellerini başlatmak için güçlü bir temel sağlar. Bu yaklaşım veri kıtlığı zorluklarını ele alır ve Fiziksel AI model geliştirme sürecini hızlandırır.
Politika eğitimi: Ödül modelleriyle birlikte, Dünya Çekirdek Modelleri pekiştirmeli öğrenme düzenlemelerinde fiziksel dünyanın yerine geçer. Bu modeller, politika modellerini simüle edilmiş etkileşimler aracılığıyla ince ayar yapmaya yardımcı olan geri bildirim sağlar ve bu da yeteneklerini geliştirir.
Dünya Çekirdek Modeli platformlarının geleceği
Dünya çekirdek modellerinin uygulamalarının otonom araçlardan ve robotlardan çok daha ötesine uzanması bekleniyor. Dünya Çekirdek Modellerinin olası gelecek uygulamaları şunları içerir:
Sağlık
Bu modeller, cerrahi robotlar ve tıbbi cihazlar için simüle edilmiş eğitim sağlayarak karmaşık prosedürler sırasında hassasiyeti ve güvenliği sağlayabilir ve nihayetinde hasta sonuçlarını iyileştirebilir.
Eğitim ve eğitim
Sanal ortamlar, ağır makine operatörleri, pilotlar ve acil durum görevlileri için yüksek riskli senaryoları tekrarlayarak, gerçek dünya riskleri olmadan eğitim ve eğitim için içine çekici simülasyonlar sağlayabilir.
Oyun ve eğlence
Daha etkileşimli ve uyarlanabilir yapay zeka karakterleri yaratarak, bu modeller sanal ve artırılmış gerçeklik deneyimlerini dönüştürebilir ve onları daha ilgi çekici ve gerçekçi hale getirebilir.
Kent planlaması
Şehir planlamacıları, trafik desenlerini, yaya dinamiklerini ve altyapı değişikliklerini simüle ederek, fiziksel uygulamadan önce tasarımları optimize edebilir.
Güvenlik ve savunma
Dünya modelleri, insansız hava araçlarını ve otonom ajanları gözetim, arama-kurtarma görevleri ve afet müdahaleleri için güvenli ve kontrollü sanal senaryolarda eğitmek için önemli olacak.
Bu araştırmayı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Ermut, Sıla},
title = {{Dünya Çekirdek Modelleri: 10 Kullanım Alanı}},
year = {2026},
month = may,
howpublished = {\url{https://aimultiple.com/world-foundation-model}},
note = {AIMultiple. Erişim tarihi: 15 Mayıs 2026}
}Referans Linkleri
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.