Dünya Temel Modelleri: 10 Kullanım Alanı
Fiziksel dünyada robotları ve otonom araçları (AV'leri) eğitmek maliyetli, zaman alıcı ve riskli olabilir. Dünya Temel Modelleri, gerçek dünya ortamlarının gerçekçi simülasyonlarını sağlayarak ölçeklenebilir bir alternatif sunar.
Bu modeller, fiziksel teste olan bağımlılığı azaltarak robotik, AV ve diğer alanlarda geliştirme ve dağıtımı hızlandırır.
Dünya Temel Modelleri'nin nasıl çalıştığını, gerçek hayattaki kullanım alanlarını ve sundukları somut faydaları keşfedin.
En İyi 10 Dünya Temel Modeli
1) NVIDIA’nın Alpamayo’su
NVIDIA’nın Alpamayo’su, otonom araçları mantıksal çıkarıma dayalı karar verme yoluyla daha güvenli hale getirmek için tasarlanmış yeni bir açık kaynaklı yapay zeka modelleri, simülasyon araçları ve veri kümeleri ailesidir.
Bu yaklaşımı desteklemek üzere Alpamayo üç temel bileşeni bir araya getirir:
- Sürüş kararlarını açıklayan 10 milyar parametreli bir düşünce zinciri VLA modeli olan Alpamayo 1
- Test ve doğrulama için açık kaynaklı bir simülasyon çerçevesi olan AlpaSim
- 1.700 saatten fazla çeşitli gerçek dünya sürüş verisini içeren Fiziksel Yapay Zeka Açık Veri Kümeleri.
Bu modeller doğrudan araçlarda çalıştırılmak üzere tasarlanmamıştır. Bunun yerine, geliştiricilerin ince ayar yapabileceği ve üretim AV yığınlarına damıtabileceği büyük öğretmen modelleri olarak hizmet eder, böylece güvenliği ve ölçeklenebilirliği artırırlar.1
2) NVIDIA Research’ın GR00T N1.6’sı
NVIDIA Research’ın GR00T N1.6’sı, genel amaçlı insansı robotlar için güncellenmiş bir açık temel modeldir. GR00T N1.5 üzerine inşa edilen yeni sürüm, YAM, AgiBot Genie-1 ve Unitree G1 gibi robotlarda çift kollu manipülasyon ve tüm vücut hareketi görevleri dahil olmak üzere hem simülasyon hem de gerçek dünya testlerinde daha güçlü performans sunmaktadır (aşağıdaki şekle bakınız).
Şekil 1: GR00T N1.6 ile GR00T N1.5 karşılaştırma grafikleri.
GR00T N1.6, daha büyük bir difüzyon dönüştürücüsü, daha yetenekli bir görü-dil modeli ve binlerce saatlik teleoperasyonlu robot gösterimi ekleyen genişletilmiş ön eğitim verisi gibi mimari ve eğitim iyileştirmelerini içerir. Bu değişiklikler, modelin daha pürüzsüz, daha doğru hareketler öğrenmesine ve eğitim sonrası süreçte daha hızlı uyum sağlamasına yardımcı olur.
GR00T N1.6, tek bir robota veya göreve odaklanmak yerine, farklı insansı platformlara aktarılabilen genelci bir politika olarak tasarlanmıştır.
NVIDIA, daha hızlı yakınsama, daha iyi el becerisi ve uzun ufuklu görevlerde gelişmiş performans rapor ederek N1.6'yı açık, ölçeklenebilir insansı robot öğrenimi için anlamlı bir adım haline getirmektedir.2
GR00T N1.6'yı çalışırken görmek için aşağıdaki videoyu izleyin.
3) PAN
PAN, uzun ufuklu tahmin ve eylem koşullu simülasyon için tasarlanmış genel bir etkileşimli dünya modelidir. Özbağlanımlı bir gizil dinamik modelini bir video difüzyon kod çözücüsü ile birleştiren Üretken Gizil Tahmin mimarisine dayanır.
Bu tasarım, sistemin bir ortamın doğal dilde sağlanan belirli eylemlere yanıt olarak nasıl evrildiğini, zamansal tutarlılığı ve görsel bütünlüğü koruyarak simüle etmesini sağlar.
PAN, bir ajanın eylemler önerebileceği, olası sonuçlarını simüle edebileceği ve tanımlanmış bir hedefe daha iyi ulaşan dizileri seçebileceği çok adımlı dağıtım üretimini destekler. Model ayrıca, nesne etkileşimlerinin veya hareket yörüngelerinin değiştirilmesi durumunda görev sonuçlarının nasıl değişebileceğini değerlendirerek karşı olgusal akıl yürütme gerçekleştirebilir.
Deneysel sonuçlar, karşılaştırılabilir açık kaynaklı modellere kıyasla uzun ufuklu görsel tahmin, fiziksel akıl yürütme ve planlama kıstaslarında güçlü performans elde ettiğini göstermektedir.
Robotik için bu yetenekler, robotların veya eğitim sistemlerinin çevresel dinamikleri öngörmesini, stratejileri uygulamadan önce dahili olarak test etmesini ve görev politikalarını iyileştirmesini sağlayarak tekrarlanan fiziksel denemelerin maliyet ve risklerini azaltır.
Şekil 2: Uzun ufuklu dünya simülasyonu için özbağlanımlı LLM tabanlı bir omurgayı birleştiren PAN model mimarisini gösteren görüntü.3
4) World Labs’in Marble’ı
World Labs’in Marble'ı, metin istemlerinden, tek veya çoklu görüntülerden, videolardan, panoramalardan ve 3D yerleşimlerden kalıcı ve düzenlenebilir 3D ortamlar üretir.
Keşif sırasında sahneleri sürekli değiştiren gerçek zamanlı üretken sistemlerin aksine Marble, Gauss sıçratmaları, ağlar veya videolar olarak dışa aktarılabilen kararlı dünyalar üretir. Platform, mekansal yapıyı görsel stilden ayıran hibrit bir 3D düzenleyici olan Chisel'ı içerir.
Bu araç, geliştiricilerin duvarlar veya büyük nesneler gibi temel geometrik öğeleri düzenlemesine ve ardından sahneyi tamamlamak için stilistik prompt'lar uygulamasına olanak tanır.
Kullanıcılar ayrıca doğrudan düzenleyici içinde nesneleri yeniden konumlandırabilir ve üretilen dünyayı yakındaki ek bölgeleri içerecek şekilde genişletebilir. Bu özellikler, robotik ekiplerinin çalışma alanlarının gerçekçi dijital ikizlerini oluşturmasını, kontrol edilen ortamlarda navigasyon ve manipülasyonu test etmesini ve yeniden sahne oluşturmak zorunda kalmadan yerleşim veya görev tasarımında hızla yineleme yapmasını sağlar.
Marble'ın çok açılı görsel girdileri kabul etme yeteneği, yüksek aslına uygunlukta gerçekçiliğin oluşturulmasını destekler. Bu tutarlı simülasyon ortamları, robot eğitiminin verimliliğini artırabilir ve kapsamlı fiziksel prototipleme ihtiyacını azaltabilir.
Şekil 3: Grafik, Marble'ın girdi-çıktı ardışık düzenini göstermektedir.4
5) Meta’nın V-JEPA 2’si
Meta, fiziksel akıl yürütme, görsel tahmin ve sıfır atışlı robot planlamasında yeni kıstaslar belirleyen gelişmiş bir video tabanlı dünya modeli olan V-JEPA 2'yi tanıttı.
Ortak Gömme Tahmin Mimarisi (JEPA) üzerine inşa edilen 1.2 milyar parametreli model, bir milyon saatin üzerinde video ve ek robot etkileşim verisi ile eğitilerek bilinmeyen nesnelerin ve ortamların dinamiklerini anlamasını ve tahmin etmesini sağlar.
V-JEPA 2, bir kodlayıcı-tahminci mimarisi ve özdenetimli öğrenme yoluyla planlamayı destekler ve eylem tanıma, tahmin etme ve video soru cevaplama gibi görevlerde ileri düzey sonuçlar elde eder.
Meta ayrıca yapay zekadaki fiziksel akıl yürütmeyi değerlendirmek için IntPhys 2, MVPBench ve CausalVQA adlı üç kıstas yayınlayarak yapay zeka ile insan performansı arasındaki mevcut boşlukları vurguladı.
Model, hem araştırma hem de ticari kullanım için açık kaynaklıdır ve Meta’nın gelişmiş makine zekası (AMI) hedefine ve pratik, uyarlanabilir yapay zeka ajanlarının geliştirilmesine doğru önemli bir adımdır.5
Şekil 4: V-JEPA 2, büyük ölçekli video ve görüntü verisi üzerinde ön eğitilir, ardından görsel görevler için bir dil modeli ile hizalanır ve robotikte planlama ve kontrol için az miktarda robot verisi ile genişletilir.6
6) NVIDIA Cosmos Dünya Temel Modelleri
NVIDIA Cosmos Dünya Temel Modelleri, otonom araçlar (AV'ler) ve robotlar da dahil olmak üzere fiziksel yapay zeka sistemlerinin geliştirilmesini hızlandırmak için tasarlanmış gelişmiş bir platformdur.
NVIDIA Cosmos Süiti, üretken dünya temel modellerini (WFM'ler), gelişmiş tokenleştiricileri, yerleşik koruma çitlerini ve yüksek hızlı bir video işleme ardışık düzenini entegre eder.
NVIDIA NeMo Curator, CUDA ile hızlandırılmış ardışık düzenle birleştiğinde, iki haftada 20 milyon saatlik videoyu işler, böylece maliyetleri ve zamanı düşürür.
NVIDIA Cosmos Tokenleştiricisi, üstün sıkıştırma ve daha hızlı görüntü ve video verisi işleme sağlar. İşte NVIDIA Cosmos Süiti'nin temel özellikleri:
- Yapay zeka modellerini eğitmek ve değerlendirmek için büyük miktarlarda fotogerçekçi, fizik tabanlı sentetik veri oluşturulmasını sağlar.
- Metin, görüntü, video ve sensör verileri gibi çeşitli girdileri kullanarak fizik tabanlı videolar üretir.
- Depolar ve çeşitli yol koşulları dahil olmak üzere karmaşık endüstriyel ve sürüş ortamlarını simüle eder.
- Belirli senaryolar için video aramasını ve simüle edilmiş koşullar altında model değerlendirmesini kolaylaştırır.
- Geliştiriciler, belirli uygulamalara uygun özel modeller oluşturmak için WFM'lere ince ayar yapabilir.
- WFM'ler, robotik ve otonom araç toplulukları içinde iş birliğini teşvik etmek için açık bir lisans altında erişilebilir.
- Modellere NVIDIA’nın API kataloğu aracılığıyla önizleme yapılabilir veya NVIDIA NGC ve Hugging Face platformlarından indirilebilir.7
Şekil 5: NVIDIA Cosmos Süiti'nin ana bileşenleri: video küratörü, video tokenleştiricisi, önceden eğitilmiş dünya temel modeli, dünya temel modeli son eğitim örnekleri ve koruma çiti.8
Waabi, Foretellix, XPENG ve Wayve, trafik senaryolarını, hava koşullarını ve yaya davranışlarını simüle etmek için NVIDIA Cosmos Dünya Temel Modellerini kullanır. Bu şirketler, fiziksel denemeler olmadan sanal ortamlarda test yapar.9
Platform, CUDA ivmesiyle yaklaşık iki haftada 20 milyon saatin üzerinde videoyu işlemek ve etiketlemek için NVIDIA NeMo Curator'ı kullanır.
Temel özellikler:
- Etiketlenmiş trafik, hava durumu, aydınlatma ve yaya senaryoları üretir.
- Sensör verisi ile fotogerçekçi video üretir.
- Yerelleştirme için bölgesel sürüş normlarını simüle eder.
- AV sistemlerinin risk'siz doğrulamasını sağlar.
7) DeepMind’in Genie 3’ü
Google DeepMind, metinsel açıklamalardan gerçek zamanlı olarak etkileşimli sanal ortamlar oluşturmak üzere tasarlanmış bir yapay zeka sistemi olan Genie 3'ü yayınladı.
Teknik özellikler:
- Performans karakteristikleri: Sistem, birkaç dakikalık etkileşim boyunca çevresel tutarlılığı korurken 24 kare/saniye hızında çalışarak 720p çözünürlükte çıktı üretir.
- Model, geçmiş etkileşimlere yaklaşık bir dakika geriye uzanan görsel bellek yetenekleri gösterir.
- Ortam kategorileri: Genie 3, birden çok sanal dünya türü üretir:
- Akışkan dinamiği, aydınlatma efektleri ve çevresel fiziği içeren fiziksel simülasyonlar.
- Bitki örtüsü, hayvan yaşamı ve ekolojik etkileşimleri içeren biyolojik ekosistemler.
- Gerçek dışı öğeler ve animasyon karakterler içeren kurgusal ortamlar.
- Gerçek dünya konumlarının ve zaman dilimlerinin coğrafi ve tarihsel yeniden canlandırmaları.
- Etkileşim mekanizmaları:
- İstem yoluyla dünya olayları, çalışma zamanında çevresel koşulların ve nesne yerleşiminin değiştirilmesini sağlar.
- Zamansal tutarlılık, uzun süreli etkileşim oturumları boyunca tutarlı fiziksel özellikleri korur.
- Ajan entegrasyonu, üretilen ortamlarda hedefe yönelik görevler gerçekleştiren otonom ajanları destekler.
- Teknik mimari: Sistem, açık 3D sahne temsillerinden ziyade özbağlanımlı kare üretimi kullanır.
- Bu yaklaşım, gerçek zamanlı etkileşim sırasında büyüyen zamansal dizilerde tutarlılığı korumanın hesaplama zorluğunu ele alırken dinamik ortam oluşturmayı mümkün kılar.
Araştırma uygulamaları ve erişim:
Erişim şu anda sınırlı bir önizleme programı aracılığıyla seçilmiş akademik araştırmacılar ve içerik üreticilerle kısıtlıdır. Eğitim simülasyonu, otonom sistem eğitimi, ajan davranış değerlendirmesi ve makine öğrenimi sistemleri için karşı olgusal senaryo analizi gibi potansiyel araştırma uygulamaları bulunmaktadır.10
8) NVIDIA’nın Earth-2’si
NVIDIA’nın Earth-2’si, Dünya’nın iklimini ve hava sistemlerini yüksek çözünürlükte simüle etmek için yapay zeka ve yüksek başarımlı hesaplamayı (HPC) kullanmak üzere tasarlanmış bir girişimdir. Hava tahmini ve iklim modellemesine yeni bir yaklaşımı temsil eder.
Arkasındaki teknoloji nedir?
NVIDIA, gerçekçi simülasyonlar oluşturmak için NVIDIA’nın grafik işleme birimleri (GPU'lar) ve yapay zeka araçları üzerine inşa edilen Omniverse platformunu kullanıyor. Amaç, karmaşık hava modellerini modellemek ve daha hassas tahminler yapmak için yapay zekadan yararlanarak Dünya’nın ikliminin son derece ayrıntılı, doğru simülasyonlarını üretmektir.
Etkisi nedir?
Earth-2’nin nihai hedefi, daha iyi hava tahminleri sağlamak, uzun vadeli iklim eğilimlerini anlamaya yardımcı olmak ve iklim değişikliğini hafifletmektir.
Daha doğru simülasyonlar, aşırı hava olaylarına daha iyi hazırlanmaya, daha verimli enerji kullanımına ve gelişmiş afet müdahale stratejilerine yol açabilir.11
NVIDIA’nın yapay zeka teknolojisinin hava tahmini ve iklim modellemesini nasıl ilerlettiğini keşfetmek için, Earth-2 platformuna ve fırtına tahminleri üzerindeki etkisine ayrıntılı bir bakış için aşağıdaki videoyu izleyin:
9) NVIDIA’nın DreamDojo’su
DreamDojo, NVIDIA’dan geniş ölçekli insan videosundan fiziksel bilgi edinmek ve bunu hedef bedenlenme üzerinde sonradan eğitimle robotlara aktarmak üzere inşa edilmiş genelci bir robot dünya modelidir.
Sistem, yaklaşık 44.000 saatlik benmerkezci insan videosundan oluşan küratörlü bir veri kümesi olan DreamDojo-HV üzerinde eğitilmiştir. Bugüne kadar dünya modeli ön eğitimi için kullanılan en büyük koleksiyon olduğu ve bu kategorideki önceki veri kümelerinden önemli ölçüde daha fazla beceri ve sahne kapsadığı bildirilmektedir.
Sonradan eğitilmiş bir Cosmos-Predict 2.5 taban çizgisine kıyasla DreamDojo, çeşitli ortamlar ve nesne etkileşimleri boyunca fiziksel olarak daha doğru eylem koşullu dağıtımlar üretir.
Temel özellikler:
- NVIDIA’nın GitHub'ı aracılığıyla açık kaynaklı sürüm.
- Yaklaşık 44.000 saatlik benmerkezci insan videosu üzerinde ön eğitim.
- Gizli eylem ön eğitimi ve ardından robota özgü son eğitim.
- Damıtmadan sonra gerçek zamanlı 10 FPS özbağlanımlı üretim.
- Birden çok insansı ve manipülatör bedenlenmesine genelleme yapar.
- Alt uygulamalar olarak politika değerlendirmesini ve modele dayalı planlamayı destekler.
Şekil 6: İnsan videosu üzerinde gizli eylem ön eğitimini ve ardından hedef bedenlenme üzerinde sürekli robot eylemleriyle son eğitimi gösteren DreamDojo'ya genel bakış.12
10) NVIDIA’nın DreamZero’su
DreamZero, NVIDIA’dan önceden eğitilmiş bir video difüzyon omurgası üzerine inşa edilmiş bir Dünya Eylem Modeli'dir (WAM). Bilinmeyen fiziksel hareketlerle zorlanan standart Görü-Dil-Eylem modellerinin aksine DreamZero, videoyu ortamın nasıl evrildiğinin yoğun bir temsili olarak ele alarak, tek bir ileri geçişte gelecek dünya durumlarını ve gelecek eylemleri birlikte tahmin ederek dinamikleri öğrenir.
Bu birleşik modelleme, sistemin tekrarlayan gösterimlere dayanmadan heterojen robot veri kümelerinden çeşitli beceriler öğrenmesini sağlar. Gerçek robot deneylerinde DreamZero, en son teknoloji VLA taban çizgilerine kıyasla yeni görevlere ve ortamlara genellemede 2 kattan fazla iyileşme rapor etmektedir.
DreamZero ayrıca güçlü çapraz bedenlenme transferi gösterir. İnsanlardan veya diğer robotlardan alınan yaklaşık 10–20 dakikalık video gösterimleri, görülmeyen görevlerde %42‘nin üzerinde iyileşme sağlar. Model, sıfır atışlı genellemeyi korurken 30 dakikalık oyun verisiyle tamamen yeni bir robot platformuna (YAM) uyum sağlar.
Temel özellikler:
- Video ve robot eylemlerini birlikte tahmin eden Dünya Eylem Modeli.
- 14B parametreli özbağlanımlı bir video difüzyon omurgası üzerine inşa edilmiştir.
- Yeni görevlerde son teknoloji VLA'lara kıyasla 2 kattan fazla genelleme iyileşmesi.
- 38x çıkarım hızlandırması sonrasında gerçek zamanlı 7 Hz kapalı döngü kontrolü.
- Vahşi ortamda yeni görevlerde sıfır atışlı etkileşimli prompt'lar oluşturmayı destekler.
Dünya Temel Modelleri kullanım alanları
Robotik
Robotikte, Dünya Temel Modelleri, robotların dinamik, gerçek dünya ortamlarında etkili bir şekilde çalışmasını sağlamada kritik bir rol oynar:
1. Mekansal zeka inşa etme
Robotlar, nesneleri hassasiyetle yönlendirmelerine ve manipüle etmelerine olanak tanıyan simüle edilmiş eğitim ortamları aracılığıyla çevrelerini anlama yetisi kazanır.
2. Gelişmiş öğrenme verimliliği
Simüle edilmiş ortamlar, robotların fiziksel sonuçlar olmadan deney yapabileceği ve hatalardan ders çıkarabileceği kontrollü senaryolar sağlayarak eğitimi hızlandırır.
3. Görev genellemesi
Görsel, işitsel ve dokunsal sensörler gibi çeşitli modalitelerden girdi entegre ederek, Dünya Temel Modelleri transfer öğrenimini destekleyerek robotların minimum yeniden eğitimle yeni ortamlara ve görevlere uyum sağlamasını mümkün kılar.
4. Karmaşık görev planlaması
Bu modeller, robotların nesnelerin montajı, insan eylemlerini tahmin etme veya endüstriyel veya işbirlikçi ortamlarda diğer robotlarla koordinasyon gibi uzun ufuklu planlama yapmasını sağlar.
Otonom araçlar
Dünya temel modelleri, otonom araçların (AV'ler) geliştirme ardışık düzenini aşağıdaki yollarla geliştirebilir:
5. Önceden etiketlenmiş veriyle eğitim
AV sistemlerinin çeşitli koşullarda çevredeki araçları, yayaları ve nesneleri doğru bir şekilde tanımlamasını ve yorumlamasını sağlayan önceden etiketlenmiş ve kodlanmış video veri kümeleri sağlarlar.
6. Senaryo üretimi
Bu modeller, gerçek dünya eğitim verilerindeki boşlukları dolduran çeşitli trafik modelleri, hava koşulları ve yaya davranışları gibi simüle edilmiş senaryolar oluşturabilir.
7. Ölçeklenebilirlik ve yerelleştirme
Geliştiriciler, yeni coğrafi konumlardaki koşulları çoğaltmak için sanal ortamları kullanabilir, böylece AV'ler kapsamlı yol testi yapmadan çeşitli yol düzenlemelerine, kültürel sürüş davranışlarına ve altyapı tasarımlarına uyum sağlayabilir.
8. Sensör füzyon'u ve kalibrasyon
WFM'ler, aynı ortam içinde kamera, LiDAR, radar ve GPS gibi çoklu sensör girdilerini simüle edebilir. Bu, AV sistemlerinin karmaşık sürüş bağlamlarında derinlik, hız ve hareketi anlamak için gerekli olan doğru sensör füzyon'u ve kalibrasyonu için eğitilmesine yardımcı olur.
9. Güvenlik ve maliyet verimliliği
AV sistemleri, sanal ortamlarda test ederek risk'siz bir ortamda yineleme ve optimizasyon yapabilir, böylece gerçek dünya denemeleri sırasında maliyetleri ve kaza potansiyelini azaltır.
Çok modlu entegrasyon
10. WFM'lerin diğer kaynaklarla entegrasyonu
WFM'leri büyük dil modelleri (LLM'ler) ve yüksek başarımlı hesaplama (HPC) gibi diğer hesaplama kaynaklarıyla entegre etmek, anlamsal anlayış ekleyerek Fiziksel Yapay Zeka sistemlerini geliştirir.
Bu kombinasyon, görüntü ve video verileriyle daha sofistike etkileşimler sağlayarak görsel dil modellerini ve çok modlu yetenekleri destekler.
Dünya Temel Modellerinin arkasındaki temel teknolojiler
Dünya Temel Modellerinin inşası, veri küratörlüğü, tokenleştirme, sinir ağları, iç temsil ve ince ayar ve uzmanlaşma dahil olmak üzere birden çok karmaşık süreç ve teknoloji katmanını içerir:
Veri kaynağı temini
Küratörlük ardışık düzenleri toplanan video üzerinde çalışır ve bu havuzun büyüklüğü bir modelin öğrenebileceklerine üst sınır koyar. Cosmos, 20 milyon saatlik video kürate eder, DreamDojo ise yaklaşık 44.000 saatlik benmerkezci insan görüntüsü üzerinde ön eğitim yapar. Bu seviyedeki hacimlere kendi kendine toplama yoluyla ulaşmak zordur, çünkü tek bir laboratuvar sınırlı sayıda ortam, aydınlatma koşulu ve başarısızlık senaryosu kaydedebilir.
Kamusal web videoları daha geniş bir sahne, görev ve coğrafya yelpazesini kapsar, bu nedenle ekipler genellikle kaydedilen görüntüleri açık kaynaklardan toplanan materyalle tamamlar. Bir toplama düzeneğinin eğitim ölçeğinde tutup tutmayacağını belirleyen iki gereklilik vardır:
- Çıkarma güvenilirliği: yt-dlp gibi araçlar, sürekli petabayt düzeyinde veri çıktısı için değil, bireysel indirmeler için üretilmiştir. Örneğin, Bright Data, bu hacimde açık kaynaklı araçlar için %60 ila %75 başarı oranına kıyasla %99‘un üzerinde çıkarma başarısı rapor etmektedir.
- Görsel içeriğe göre arama: Başlıklar ve etiketler, bir klipte neler olduğunu nadiren açıklar; bu, yağmurda al-ve-yerleştir veya yaya geçişleri gibi görev ailelerini bir araya getirirken anahtar kelime aramasını sınırlar. Bright Data’nın Video Arama API'si, 1 milyardan fazla web videosunu dizine ekler ve görüntülerin içeriğine dayalı geri alma işlemini destekler.
Veri küratörlüğü
Veri küratörlüğü, dünya modellerinin geliştirilmesindeki ilk adımdır. Modelin yüksek kaliteli bilgi üzerinde eğitilmesini sağlamak için kapsamlı gerçek dünya veri kümelerinin sistematik olarak düzenlenmesi, temizlenmesi ve hazırlanmasını içerir. Veri küratörlüğündeki adımlar şunlardır:
- Filtreleme: Yüksek kaliteli verileri tanımlar ve muhafaza eder.
- Ek açıklama: Görü-dil modelleri kullanarak anahtar nesneleri, eylemleri ve olayları etiketler.
- Sınıflandırma: Verileri belirli eğitim hedefleri için kategorilere ayırır.
- Yinelenenleri temizleme: Verimlilik için fazladan verileri belirlemek ve kaldırmak üzere video gömüntülerini kullanır.
Video işleme
Video işleme şunları içerir:
- Videoyu daha küçük bölümlere ayırma ve kod dönüştürme.
- İlgili yüksek çözünürlüklü verileri yalıtmak için kalite filtreleri uygulama.
Tokenleştirme
Tokenleştirme, ham, yüksek boyutlu görsel verileri belirteç adı verilen daha küçük, daha yönetilebilir birimlere dönüştürerek makine öğrenimi süreçlerini basitleştirir. Piksel fazlalıklarını azaltmayı ve bunları kompakt, anlamsal olarak anlamlı belirteçlere dönüştürmeyi amaçlayarak daha hızlı ve daha verimli model eğitimi ve çıkarımı sağlar.
İki tür tokenleştirme vardır: ayrık (görsel verileri tam sayılar olarak kodlayan) ve sürekli (görsel verileri sürekli vektörler olarak kodlayan).
Sinir ağları ve iç temsil
Dünya temel modellerinin merkezinde milyarlarca parametreli sinir ağları bulunur. Bu ağlar, ortamın gizli bir durumunu veya iç temsilini oluşturmak ve güncellemek için verileri analiz eder.
Temel yetenekler şunları içerir:
- Algılama: Videolardan ve görüntülerden hareket, derinlik ve diğer 3D dinamik davranışları çıkarır.
- Tahmin: Öğrenilen temsillere dayanarak gizli nesneleri, hareket modellerini ve olası olayları öngörür.
- Uyarlama: Derin öğrenme yoluyla gizli durumu sürekli olarak iyileştirir, yeni senaryolara ve ortamlara duyarlılık sağlar.
Model mimarileri
Dünya temel modelleri, fiziksel olayları etkili bir şekilde simüle etmek ve tahmin etmek için özelleşmiş sinir ağı mimarileri kullanır:
Difüzyon modelleri
- Yüksek kaliteli videolar üretmek için rastgele gürültüyü rafine ederek çalışır.
- Video üretimi ve stil transferi gibi görevler için idealdir.
Özbağlanımlı modeller
- Önceki karelere dayanarak sonraki her kareyi tahmin ederek videoyu kare üretir.
- Video tamamlama ve gelecek kare tahmini için uygundur.
İnce ayar ve uzmanlaşma
Başlangıçta genel görevler için eğitilen dünya temel modelleri, belirli uygulamalar için ince ayar yapılabilir.
İnce ayar çerçeveleri, veri hazırlama, model eğitimi, performans optimizasyonu ve çözüm dağıtımını basitleştirmek için kitaplıkları, SDK'ları ve araçları entegre ederken, robotik, otonom sistemler ve diğer uygulamalardaki uzmanlaşmış görevler için uyarlamayı da mümkün kılar.
Dünya Temel Modelleri nedir?
Dünya temel modelleri, gerçek dünya ortamlarını ve dinamiklerini simüle etmek ve tahmin etmek için tasarlanmış gelişmiş yapay zeka sistemleridir.
Bu modeller, fiziksel ve sanal senaryoların gerçekçi ve sürükleyici simülasyonlarını oluşturmak için metinsel bilgiler, görüntü ve video gibi görsel veriler ve hareketle ilgili veriler dahil olmak üzere çeşitli veri girdilerini işler.
Dünya temel modellerinin temel yeteneği, hareket, kuvvet, nedensellik ve mekansal ilişkiler gibi temel fizik ilkelerini anlamalarında yatar.
Bu, ister bir aracın hareketi, ister bir robot kolunun dinamiği veya sanal bir dünyadaki nesnelerin etkileşimi olsun, belirli bir ortam içinde nesnelerin ve varlıkların nasıl etkileşime girdiğini simüle etmelerini sağlar.
Bu modellerin kilit bir uygulaması, robotlar ve otonom araçlar gibi fiziksel yapay zeka sistemlerinin geliştirilmesi ve rafine edilmesindedir. Eğitim ve test için güvenli ve kontrollü bir ortam sağlayarak, bu modeller maliyetli, zaman alıcı ve potansiyel olarak tehlikeli olabilecek gerçek dünya deneylerine olan ihtiyacı azaltabilir.
Ayrıca dünya temel modelleri, eğlence, eğitim ve araştırma dahil olmak üzere çeşitli amaçlar için kullanılabilecek yüksek kaliteli, gerçekçi video içeriği üretebilir.
Doğru ve ayrıntılı ortamları simüle etme yetenekleri, bunları geliştiriciler için temel araçlar haline getirerek daha verimli ve hassas yapay zeka performansı iyileştirmelerini mümkün kılar.
Fiziksel yapay zeka sistemleri: Tanım ve önem
Fiziksel yapay zeka uygulamaları, fiziksel dünyayı algılamak için sensörlerle ve onunla etkileşime girmek ve onu değiştirmek için eyleyicilerle donatılmış yapay zeka sistemlerini ifade eder.
Robotlar, sürücüsüz arabalar ve diğer cihazlar gibi otonom makinelerin gerçek dünya ortamlarında karmaşık eylemler gerçekleştirmesini sağlarlar.
Sıklıkla “üretken fiziksel yapay zeka” olarak tanımlanan bu alan, üretken yapay zeka modellerini mekansal ilişkiler ve 3D dünyayı yöneten fizik kuralları anlayışıyla genişletir.
Fiziksel yapay zeka nasıl çalışır?
Üretken fiziksel yapay zeka, gelişmiş işlevsellik için üretken yapay zekayı fiziksel dünya verileriyle birleştirir.
Eğitim sırasında yapay zeka sistemleri, gerçek dünya senaryolarını taklit eden simülasyonlara maruz bırakılır. Bu simülasyonlar, otonom makinelerin ve sensörlerin tanıtıldığı fabrikalar gibi fiziksel alanların son derece doğru sanal kopyaları olan dijital ikizlere dayanır. Sanal ortam, nesne hareketi, çarpışmalar ve ışık dinamikleri gibi etkileşimleri yakalayan 3D eğitim verileri üretir.
Pekiştirmeli öğrenme bu süreçte kritik öneme sahiptir. Makinelerin bu simüle edilmiş ortamlarda deneme yanılma yoluyla beceriler öğrenmesini sağlar. İstenen eylemleri tamamladıkları için ödüller verilir, bu da yapay zekanın uyum sağlamasına, gelişmesine ve sonunda görevleri hassasiyetle ustalaşmasına olanak tanır. Bu süreç, makineleri gerçek dünya uygulamaları için gerekli olan sofistike motor becerileriyle donatır.
Fiziksel yapay zeka sistemleri neden önemlidir?
Daha önce otonom makineler, çevrelerini etkili bir şekilde algılamakta ve onunla etkileşime girmekte zorlanıyordu. Fiziksel yapay zeka, robotların ve diğer cihazların çevrelerini algılamasını, uyum sağlamasını ve onunla etkileşime girmesini sağlayarak bu sınırlamanın üstesinden gelir.
Fiziksel yapay zeka sistemleri, cerrahi prosedürlerden depo navigasyonuna kadar karmaşık görevleri yerine getirebilen makineler yaratarak endüstriler genelinde verimliliği, güvenliği ve erişilebilirliği artırmaya yardımcı olur.
Fiziksel yapay zeka, makineleri güvenli, kontrollü ortamlarda eğitmek için gelişmiş fizik tabanlı simülasyonlara dayanır. Bu simülasyonlar, geliştirmeyi hızlandırır, erken öğrenme aşamalarında hasarı önler ve gerçek dünya dağıtımına hazır olmayı sağlar.
İşte fiziksel yapay zekanın bazı uygulamaları:
- Otonom Mobil Robotlar (AMR'ler): Karmaşık depo ortamlarında gezinir, engellerden kaçınır ve gerçek zamanlı sensör geri bildirimine uyum sağlar.
- Manipülatörler: Nesne pozlarına göre kavrama gücünü ve konumlandırmayı ayarlama gibi hassas görevleri yerine getirir.
- İnsansı robotlar: Çeşitli görevleri algılamak, yönlendirmek ve etkileşime girmek için ince ve kaba motor becerileri gerektirir.
- Akıllı alanlar: Depolar ve fabrikalar gibi büyük ölçekli iç mekan ortamları, tedarik zinciri uygulamalarında gelişmiş güvenlik, dinamik rota planlaması ve operasyonel verimlilik yoluyla Fiziksel Yapay Zeka ve üretken yapay zekadan faydalanır. Gelişmiş bilgisayarla görü modelleri, insan güvenliğini önceliklendirirken faaliyetleri izler ve optimize eder.
- Cerrahi robotlar: Dikiş atma ve iğneye iplik geçirme gibi hassas işlemleri gerçekleştirir.
Gerçek hayattan örnek:
Toronto Üniversitesi, UC Berkeley, ETH Zürih, Georgia Tech ve NVIDIA‘dan araştırmacılar tarafından geliştirilen ORBIT-Surgical, cerrahi robotları eğitmek için tasarlanmış açık kaynaklı bir simülasyon çerçevesidir. Cerrahların bilişsel yükünü hafifletir ve ekip performansını artırır.
NVIDIA Isaac Sim üzerine inşa edilen çerçeve, iğne kavrama, nesne transferi ve hassas yerleştirmeler gibi laparoskopiden ilham alan görevleri destekler. GPU ivmesini kullanarak, şant yerleştirme gibi görevleri tek bir NVIDIA RTX GPU üzerinde iki saatten kısa sürede tamamlayarak robotları hızla eğitebilir.
Çerçeve aynı zamanda, yapay zeka algı modellerini eğitmek, araç tanımayı geliştirmek ve gerçek dünya veri kümelerine bağımlılığı azaltmak için yüksek kaliteli sentetik veri üretmek üzere NVIDIA Omniverse‘i kullanır.13
Dünya Temel Modeli neden önemlidir?
Fiziksel Yapay Zeka için etkili dünya modelleri oluşturmak genellikle, özellikle kapsamlı eğitim için gereken geniş yelpazedeki gerçek dünya senaryolarını yakalamak söz konusu olduğunda, toplanması hem zaman alıcı hem de maliyetli olan geniş veri kümeleri gerektirir.
Dünya Temel Modelleri (WFM'ler), sentetik veri üreterek bu zorluğun üstesinden gelebilir. Bu veriler zengin, çeşitli ve ölçeklenebilirdir ve geliştiricilerin gerçek dünya bilgisi toplamanın lojistik sorunları olmadan yapay zeka sistemlerini daha etkili bir şekilde eğitmesini sağlar.
WFM'ler tarafından oluşturulan sentetik veri kümeleri, gerçek dünyada nadir görülen veya çoğaltılması zor olabilecek senaryolardaki boşlukları doldurmaya da yardımcı olur.
Fiziksel Yapay Zeka sistemlerini gerçek dünya ortamlarında eğitmek ve test etmek önemli zorluklar doğurur. Bunlar arasında yüksek maliyetler, ekipman veya çevre için potansiyel riskler ve tutarlı test için kontrollü koşulları sürdürmenin zorluğu bulunur.
Dünya Temel Modelleri, yapay zeka sistemlerinin güvenli bir şekilde eğitilip test edilebileceği son derece gerçekçi, sanal 3D ortamlar sunarak bir çözüm sağlar. Bu ortamlar, geliştiricilerin karmaşık fiziksel etkileşimleri simüle etmesine, yeni yetenekleri test etmesine ve yapay zeka davranışlarını kontrollü, tekrarlanabilir bir şekilde iyileştirmesine olanak tanır.
Dünya Temel Modellerinin faydaları
Araştırmacılar ve mühendisler, Dünya Temel Modellerinden yararlanarak geliştirme döngülerini hızlandırabilir, maliyetleri düşürebilir ve daha sağlam ve uyarlanabilir Fiziksel Yapay Zeka sistemleri inşa ederken riskleri en aza indirebilir.
Bu yaklaşım, gelişmiş yapay zeka uygulamaları oluşturmaya yardımcı olabilir ve gerçek dünya senaryolarında daha güvenli ve verimli dağıtımı sağlayabilir.
İyileştirilmiş karar verme ve planlama
Dünya Temel Modelleri, çeşitli eylem dizilerine dayalı olarak potansiyel gelecek senaryolarını simüle ederek Fiziksel Yapay Zeka sistemlerini geliştirir. Bütünleşik maliyet veya ödül modüllerini kullanan bu modeller, optimal stratejileri belirlemek için sonuçları değerlendirir.
Bu öngörü, Fiziksel Yapay Zeka geliştiricilerinin karmaşık zorlukları çözmesini sağlayarak dinamik ortamlarda verimlilik, uyarlanabilirlik ve güvenliği garanti eder.
Gerçekçi ve fiziksel olarak doğru simülasyonlar
NVIDIA‘nın difüzyon modelleri dahil olmak üzere Dünya Temel Modelleri, nesnelerin nasıl hareket ettiğini ve etkileşime girdiğini anlayarak yüksek aslına uygunlukta 3D simülasyonlar üretir. Bu simülasyonlar, algı yapay zekasını eğitmek ve çeşitli ortamlarda otonom araçları veya robotik sistemleri test etmek için kritik öneme sahiptir.
Örneğin, sürücüsüz otomobiller çeşitli hava ve trafik koşullarında değerlendirilebilirken, robotlar gerçek dünya dağıtımından önce nesne manipülasyonu ve görev performansı açısından test edilebilir.
Tahmine dayalı zeka
Dünya Temel Modelleri, Fiziksel Yapay Zeka sistemlerinin senaryoları öngörmesine ve video eğitimi ile geçmiş verilere dayalı bilinçli kararlar almasına olanak tanıyan tahmine dayalı zeka sağlar.
Videodan-dünyaya üretimden yararlanan ve fizik farkındalığına sahip videolar üreten bu modeller, stratejileri optimize etmeye, güvenliği artırmaya ve Fiziksel Yapay Zeka kurulumları genelinde uyarlanabilirliği geliştirmeye yardımcı olur.
Dünya Temel Modelleri ile gelişmiş politika geliştirme
Politika değerlendirmesi: NVIDIA Cosmos modelleri gibi Dünya Temel Modelleri, Fiziksel Yapay Zeka sistemlerinin geliştiricilerinin politika modellerini fiziksel dünya yerine sanal ortamlarda test etmelerine ve iyileştirmelerine olanak tanır.
Bu yöntem dijital ikizleri kullanır ve maliyet etkin ve zaman tasarrufludur. Görülmeyen koşullar altında çeşitlilik içeren testleri mümkün kılar ve geliştiriciler, etkisiz olanları hızla eleyerek fiziksel yapay zeka görevlerini ve kaynaklarını umut vaat eden politikalara odaklayabilir.
Politika başlatma: Dünya Temel Modelleri, gerçek dünya fiziğini ve dinamiklerini modelleyerek politika modellerini başlatmak için güçlü bir temel sağlar. Bu yaklaşım, veri kıtlığı zorluklarını ele alır ve Fiziksel Yapay Zeka model geliştirmeyi hızlandırır.
Politika eğitimi: Ödül modelleriyle eşleştirilen Dünya Temel Modelleri, pekiştirmeli öğrenme kurulumlarında fiziksel dünyanın yerine geçer. Bu modeller, simüle edilmiş etkileşimler yoluyla politika modellerinin ince ayarını yapmaya yardımcı olan geri bildirim sağlayarak yeteneklerini geliştirir.
Tercih edilen kaynak olarak ekleDünya Temel Modeli platformlarının geleceği
Dünya temel modellerinin uygulamalarının, otonom araçlar ve robotiğin çok ötesine uzanması beklenmektedir. Dünya Temel Modellerinin olası gelecekteki bazı uygulamaları şunlardır:
Sağlık hizmetleri
Bu modeller, karmaşık prosedürler sırasında hassasiyet ve güvenliği sağlayarak, sonuçta hasta sonuçlarını iyileştirerek cerrahi robotlar ve tıbbi cihazlar için simüle edilmiş eğitimi mümkün kılabilir.
Eğitim ve öğretim
Sanal ortamlar, gerçek dünya riskleri olmadan yüksek riskli senaryoları kopyalayarak özellikle ağır makine operatörleri, pilotlar ve acil müdahale ekipleri için eğitim ve öğretim için sürükleyici simülasyonlar sağlayabilir.
Oyun ve eğlence
Bu modeller, daha etkileşimli ve uyarlanabilir yapay zeka karakterleri yaratarak, sanal ve artırılmış gerçeklik deneyimlerini daha ilgi çekici ve canlı hale getirerek dönüştürebilir.
Şehir planlaması
Şehir planlamacıları, fiziksel uygulamadan önce tasarımları optimize etmek için bu modellerden trafik modellerini, yaya dinamiklerini ve altyapı değişikliklerini simüle etmek için yararlanabilir.
Güvenlik ve savunma
Dünya modellerinin, hepsi güvenli ve kontrollü sanal senaryolar içinde olmak üzere, gözetleme, arama-kurtarma görevleri ve afet müdahalesi için drone'ları ve otonom ajanları eğitmede temel olması beklenmektedir.
Bu araştırmayı kaynak gösterin
Yayınlayacağınız yere uygun formatı seçin. Bağlantılı sürümü CMS'inize yapıştırmak, geri bağlantıyı korur.
@misc{dilmegani2026,
author = {Dilmegani, Cem and Ermut, Sıla},
title = {{Dünya Temel Modelleri: 10 Kullanım Alanı}},
year = {2026},
month = aug,
howpublished = {\url{https://aimultiple.com/world-foundation-model}},
note = {AIMultiple. Erişim tarihi: 10 Ağustos 2026}
}3 veri noktasının sonuçları ve zaman damgaları. Bu makalede kullanılan verileri, bir CSV dosyası içeren ZIP dosyası olarak indirin.
Referans Linkleri
Cem'in çalışmaları Business Insider, Forbes, Washington Post gibi önde gelen küresel yayınlar, Deloitte, HPE gibi küresel firmalar, Dünya Ekonomik Forumu gibi STK'lar ve Avrupa Komisyonu gibi uluslarüstü kuruluşlar tarafından alıntılanmıştır.
Cem, kariyeri boyunca teknoloji danışmanı, teknoloji alıcısı ve teknoloji girişimcisi olarak görev yapmıştır. On yıldan fazla bir süre McKinsey & Company ve Altman Solon'da işletmelere teknoloji kararlarında danışmanlık yapmıştır. Ayrıca dijitalleşme üzerine bir McKinsey raporu yayımlamıştır.
CEO'ya rapor verirken bir telekomünikasyon şirketinin teknoloji stratejisini ve satın alımını yönetmiştir. Ayrıca, 2 yıl içinde 0'dan 7 haneli yıllık yinelenen gelire ve 9 haneli değerlemeye ulaşan derin teknoloji şirketi Hypatos'un ticari büyümesini yönetmiştir. Cem'in Hypatos'taki çalışmaları TechCrunch ve Business Insider gibi önde gelen teknoloji yayınları tarafından ele alınmıştır.
Cem, uluslararası teknoloji konferanslarında düzenli olarak konuşma yapmaktadır. Boğaziçi Üniversitesi'nden bilgisayar mühendisi olarak mezun olmuş ve Columbia Business School'dan MBA derecesine sahiptir.
Daha önce proje yönetimi ve danışmanlık firmalarında işe alım uzmanı olarak çalıştı. Sıla, Sosyal Psikoloji alanında Yüksek Lisans derecesine ve Uluslararası İlişkiler alanında Lisans derecesine sahiptir.
Yorum yapan ilk kişi olun
E-posta adresiniz yayınlanmayacak. Tüm alanlar gereklidir. Yorumlar orijinal dilinde bırakılır.