CityGaussian: Gaussian tabanlı gerçek zamanlı yüksek kaliteli büyük ölçekli sahne işleme

 (dekuliutesla.github.io)
1 puan yazan GN⁺ 2024-04-03 | 1 yorum | WhatsApp'ta paylaş

CityGaussian: hızlı ve yüksek kaliteli büyük ölçekli sahne işleme için Gaussian tekniği

  • CityGaussian (CityGS), büyük ölçekli 3D Gaussian Splatting (3DGS) için verimli eğitim ve gerçek zamanlı işleme amacıyla yeni bir yaklaşım sunuyor.
  • Küresel sahne ön bilgisi ve uyarlanabilir eğitim verisi seçimi sayesinde verimli eğitim ve dikişsiz birleştirme mümkün oluyor.
  • Gaussian ilkel verilerine dayanarak farklı ayrıntı düzeyleri sıkıştırılarak üretiliyor ve önerilen blok bazlı ayrıntı düzeyi seçimi ile toplulaştırma stratejisi sayesinde farklı ölçeklerde hızlı işleme sağlanıyor.
  • Büyük ölçekli sahneler üzerinde yapılan kapsamlı deneyler, bu yaklaşımın en gelişmiş işleme kalitesine ulaştığını ve ölçeği büyük ölçüde değişen büyük sahneleri tutarlı biçimde gerçek zamanlı işleyebildiğini gösteriyor.

SOTA ile karşılaştırma

  • LoD teknolojisi olmadan CityGS: MatrixCity, 25 milyon Gaussian ile temsil ediliyor ve A100 üzerinde yapılan testlerde 18 FPS hız vererek rahatsız edici bir dolaşım deneyimine yol açıyor.
  • LoD teknolojisi ile CityGS: LoD desteği sayesinde CityGS, ölçeği çok farklı sahnelerde gerçek zamanlı işlenebiliyor; A100 üzerinde yapılan testlerde ortalama hız 36 FPS.

Görsel karşılaştırma

  • MegaNeRF, SwitchNeRF, GPNeRF ve 3DGS gibi mevcut tekniklerle karşılaştırıldığında CityGS'nin üstün işleme kalitesi görsel olarak gösteriliyor.

GN⁺ görüşü

  • CityGaussian, büyük ölçekli 3D sahnelerin gerçek zamanlı işlenmesinde önemli bir teknik ilerlemeyi temsil ediyor. Bu, sanal gerçeklik, oyun geliştirme, şehir planlama ve simülasyon gibi alanlardaki uygulama potansiyelini artırıyor.
  • Gerçek zamanlı işleme, kullanıcı deneyimini büyük ölçüde iyileştiren bir unsur ve CityGaussian'ın sunduğu yüksek kare hızı bu deneyimi daha akıcı ve daha gerçekçi hale getirebilir.
  • Ancak gerçek zamanlı işleme teknolojileri genellikle yüksek performanslı hesaplama kaynakları gerektirir; bu da maliyet ve erişilebilirlik açısından kısıt oluşturabilir.
  • Bu teknolojinin yaygın biçimde benimsenmesi için, donanımın gelişmesine paralel olarak optimizasyon tekniklerinin de sürekli iyileştirilmesi gerekiyor.
  • Ayrıca CityGaussian'a benzer teknikler kullanan başka proje veya ürünler piyasada bulunabilir; bu nedenle kullanıcıların kendi ihtiyaçlarına en uygun çözümü seçmek için farklı seçenekleri karşılaştırması gerekir.

İlgili okumalar

1 yorum

 
GN⁺ 2024-04-03
Hacker News görüşleri
  • Google Maps 3D tile'ları ile Gaussian splat'leri birleştiren deneysel bir proje tanıtılıyor. Bu teknolojiyle gerçeğe yakın etkiler elde edilmiş ve ilgili kodu içeren örnekler sunulmuş.
  • Videoda kullanılan veri seti, birkaç yıl önce yayımlanan Unreal Engine 5'in Matrix demosundan çıkarılmış gibi görünen Matrix city. Fotoğraftan değil, fotogerçekçilik teknikleriyle üretilmiş olduğu tahmin ediliyor.
  • Ortalama kare hızı saniyede 36 kare ve testler A100 ekran kartında yapılmış. Bu ekran kartının fiyatı yaklaşık 8.000 dolar.
  • Gaussian splat adlı teknik, adını Gauss'tan alıyor; doğrudan onun icadı olmasa da, bu tekniğin matematiksel temelinde büyük katkısı bulunuyor.
  • Son dönemde Unreal Engine'in gösterdiği şaşırtıcı demolarda kullanılan teknolojinin Gaussian splat olup olmadığına dair teknik bir soru var.
  • Bu teknolojinin hangi lisansla yayımlanacağı merak ediliyor ve açık kaynak oyunlarda kullanıldığını görmek istendiği belirtiliyor.
  • 3D Gaussian'larla büyük sahneleri render etmeye yönelik ileri tekniklere duyulan merak ve kodu test etme isteğini yansıtan ilgi çekici tepkiler var.
  • Bu teknolojinin mevcut şehir simülasyonu oyunu Cities: Skylines'a göre belirgin biçimde daha iyi görünmediğini ve yalnızca sınırlı sayıda kare gösterildiği için gerçek etkinin anlaşılmasının zor olduğunu söyleyen görüşler var.
  • 3D Gaussian splat'lerin gerçekten faydalı olup olmayacağını sorgulayan bir yorum da var. Render hızının fazla yavaş, veri miktarının da fazla olması nedeniyle pratik olmayabileceği endişesi dile getirilirken, rasterization'ın ray tracing'den her zaman daha hızlı olacağı iddia ediliyor. Gaussian point cloud'lardan geleneksel geometri ve malzeme üretmenin ilginç olduğu, ancak photogrammetry'nin zaten uzun zamandır kullanıldığı da belirtiliyor.
  • Bu tekniğin bellek ve hesaplama gereksinimlerine dair sorular var.