Akışa Uygun Bellek Verimli Radyans Alanı, SMERF

Gerçek zamanlı büyük ölçekli sahne gezintisi için akışa uygun bellek verimli radyans alanı (SMERF)

• Gerçek zamanlı bakış açısı sentezi teknolojisindeki gelişmeler sayesinde, neredeyse fotoğraf kalitesinde sahneleri gerçek zamanlı olarak işlemek mümkün hale geldi.
• Rasterleştirilebilen açık sahne temsilleri ile ray marching tabanlı sinirsel alanlar arasında bir gerilim ilişkisi bulunuyor.
• SMERF, büyük ölçekli sahnelerde gerçek zamanlı biçimde en yüksek doğruluğu elde eden bir görüntü sentezi yaklaşımı sunuyor.

Büyük ölçekli sahneleri işlemek için ifade gücünü artırma yöntemi

• Büyük ölçekli, çok odalı sahneler birden fazla bağımsız alt model olarak modellenir ve işleme sırasında kamera başlangıç noktasına göre alt model seçilir.
• Karmaşık bakış açısına bağlı etkileri modellemek için, her alt model içinde grid ile hizalanmış ertelenmiş MLP parametreleri ek olarak örneklenir.
• Her alt model tüm sahneyi temsil eder, ancak yalnızca alt modele atanan grid hücreleri yüksek çözünürlükte modellenir.

İfade gücünü en üst düzeye çıkarmak için distillation kullanma yöntemi

• Distillation yoluyla görüntü kalitesinin büyük ölçüde artırılabileceği gösteriliyor.
• Önce son teknoloji bir çevrimdışı radyans alanı (Zip-NeRF) eğitiliyor ve bu modelin RGB renk tahminleri, kendi modelinin denetimi olarak kullanılıyor.
• Öğretmen modelin hacimsel yoğunluk değerleri en aza indirilerek öğretmen ve öğrenci arasındaki hacimsel işleme ağırlıklarının farkı azaltılıyor.

GN⁺ görüşü

• SMERF, büyük ölçekli sahnelerde gerçek zamanlı olarak yüksek kaliteli görüntü sentezini mümkün kılan yenilikçi bir teknoloji.
• Bu teknoloji, web tarayıcısı içinde 6DOF gezinmeyi mümkün kılıyor ve çeşitli genel tüketici cihazlarında gerçek zamanlı performans sunuyor.
• SMERF yaklaşımı, gerçek zamanlı görüntü sentezi alanında mevcut teknolojileri aşan bir performans sergiliyor; bu da sanal gerçeklik, oyun geliştirme, çevrimiçi emlak turları gibi çeşitli alanlarda uygulanabilecek heyecan verici bir gelişme anlamına geliyor.

[GN⁺]

Hacker News yorumları

• Berlin’deki bir dairenin banyosundaki duvar aynası, yan odadaki mutfağı gösteriyor. Tahminimce derinlik ölçüm algoritması paralaks kullanıyor ve ayna da pencere gibi davranarak onu şaşırtıyor. Aynanın arka yüzü mutfakta bulanık bir bölge oluşturuyor, ama bu bulanıklığın içinden iki odanın da görülebildiğini görebiliyorsunuz. Biraz ürkütücü bir etki yaratıyor. Sanki duvarların içinden geçen bir hayaletmişsiniz gibi hissettiriyor. 2 yıllık bir s21fe’de bile etkileyici derecede iyi çalışıyor.
• Berlin demosunda mekânı keşfederken daha fazla görüntünün stream edilmesi gerçekten çok etkileyici. TV yansıma efekti de çok etkileyici. Ancak tüm görüntüler yüklenene kadar sahne render edilmiyor; bu yüzden ilk yaklaşık 40 görüntünün tamamının yüklenmesi uzun sürüyor. Görüntüler geldikçe kısmi render’a başlamak mümkün mü, yoksa ilk büyük render’dan önce tüm görüntüleri beklemek mi gerekiyor, merak ediyorum.
• fulllivingroom demosu hakkında birkaç sorum var. (FPS modu tercih edilir)
  1. Kaç giriş görüntüsü kullanıldı?
  2. Bu modeli hesaplamak ne kadar sürüyor?
  3. Bu modeli tarayıcıda tüm seviyeleriyle vb. hazır hale getirmek ne kadar sürüyor?
  4. Bunu VR’da denediniz mi?
• Bu render tekniğiyle Cyberpunk 2077’de üretilen BD sahneleri arasında nasıl bir ilişki olduğunu merak ediyorum. Hacimlerin ve "voxel"lerin davranışı oldukça benzer görünüyor.
• Bu teknolojiyi Two Minute Papers sayesinde takip ediyorum ve kullanmayı dört gözle bekliyorum. Büyükbabam 2 yıl önce vefat etti ve demoda kullanılan yöntem gibi onun da fotoğraflarını çekmiştim. Teşekkürler.
• Yakalanabilen, işlenebilen ve gezilebilir 3D walkthrough’lar barındıran bir açık kaynak araç zinciri olup olmadığını merak ediyorum (örneğin açık kaynak bir Matterport gibi).
• Bu teknolojinin 3D Gaussian Splatting ile performans, kalite veya veri boyutu açısından nasıl karşılaştırıldığına dair bilgi gerçekten çok etkileyici.
• Bu teknolojilerden görülebildiği kadarıyla ortaya çok hassas, içinde gezinilebilen tek bir 3D görüntü çıkıyor. Ancak özellik ve nesne algılama, maskeleme ve çıkarma konusunda henüz hiçbir şey görmedim. Umarım daha verimli ve stream edilebilir codec’ler, analize daha kolay uygulanabilecek bir yapıya da sahip olur.
• Bu teknolojiyi tüketici VR’ında ne zaman görebileceğimizi merak ediyorum. Aslında şimdiye kadar ortaya çıkmış olmasını beklerdim ama görünüşe göre hesaplama kısıtları nedeniyle henüz yok. Quest 2/3’te çalıştırmaya yetecek kadar bu hesaplama kısıtlarını azaltıyor mu, ya da stereo kullanımı engelleyen başka unsurlar mı var, merak ediyorum.
• Yazarlara bir soru: Bir sahnenin modelini yeniden oluşturmak için optimizasyon ya da tuning yöntemleri kullanmama ihtimali var mı, merak ediyorum. Siz sahne görünümlerini render etmenin verimli yollarını geliştiriyorsunuz, ancak sahne hâlâ statik. Sahneyi yeniden oluşturmak da zaman alıyor. Pahalı yeniden oluşturma maliyeti olmadan RF ve GS’nin harika görünüm ve detay seviyesine ulaşmanın bir yolu var mı? Artık render hızlı olduğuna göre, yeni temsilleri kullanıp geleneksel CG yöntemleriyle sahneyi agresif biçimde yeniden oluşturmak mümkün olabilir mi? Yanlış anladıysam peşinen özür dilerim; ayrıca yürüttüğünüz çalışma için gerçekten minnettarım.