A$AP Rocky, Gaussian Splatting kullanılan ‘Helicopter’ müzik videosunu yayımladı

• A$AP Rocky’nin yeni parçası ‘Helicopter’ müzik videosu, neredeyse tüm karakter performanslarını volumetrik capture ve Gaussian Splatting ile hayata geçiren bir yapım
• Çekimler, Evercoast’in 56 RGB-D kamera dizisi kullanılarak gerçek performansların 3D olarak kaydedilmesiyle yapıldı; post prodüksiyonda ise Houdini·OctaneRender ile render alındı
• CG Nomads GSOPs ve WildCapture’ın dahili araçları ile splat verilerinin sıralanması, ışığın yeniden ayarlanması ve fiziksel etkileşimler işlendi
• Videonun sürreal hissine rağmen tüm sahneler gerçek oyuncuların fiziksel performansları temel alınarak üretildi
• Bu proje, popüler müzik videolarında dinamik Gaussian Splatting’in gerçek kullanım örneği olarak, gelecekte gerçek zamanlı 3D video üretiminin olanaklarını gösteriyor

---

Helicopter müzik videosunun yapımına genel bakış

• A$AP Rocky’nin ‘Helicopter’ı, Radiance Fields teknolojisini kullanan bir müzik videosu; neredeyse tüm karakter performansları volumetrik yöntemle capture edildi
  • Video, kaotik hareketleri ve erken dönem MTV tarzı enerjisiyle öne çıkıyor
  • Karakterler Dynamic Splat biçiminde render edilerek hacimli bir mekân algısı oluşturuluyor
• Projede Evercoast, Grin Machine, WildCapture, Fitsū.ai gibi ekipler yer aldı
  • Performans capture tarafını Evercoast üstlenirken, Grin Machine’den Chris Rutledge CG süpervizörü olarak görev aldı
  • WildCapture’dan Wilfred Driscoll, zamansal tutarlılık ve hareket aktarımı için teknik destek sağladı

Volumetrik çekim ve teknik kurgu

• Çekimler 2025 Ağustos’unda Los Angeles’ta, Evercoast’in 56 RGB-D kamerası ve iki Dell workstation ile senkronize biçimde gerçekleştirildi
  • Oyuncular tellere bağlandı ya da tavandaki barlara asılarak fiziksel stunt performansları sergiledi
  • Helikopter kanatları ve aksesuarlar, gerçekçi bir sette çekim yapılabilmesi için gerçek ahşap yapılarla değiştirildi
• Toplam 10 TB ham veri toplandı ve bu veriler yaklaşık 30 dakikalık splat video olarak render edildi
  • Nihai çıktı, yaklaşık 1 TB boyutunda PLY sekansları olarak üretildi

Post prodüksiyon pipeline’ı

• Post prodüksiyon çalışmaları Houdini üzerinde yürütüldü; splat verilerinin işlenmesi ve sıralanması için CG Nomads GSOPs kullanıldı
  • Nihai render ve yeniden ışıklandırma (relighting) için OTOY’un OctaneRender çözümü kullanıldı
  • Octane’in Houdini entegrasyonu olgunlaşarak gölge ve hacim hissi üretimini mümkün kıldı
• Blender, layout ve previs aşamalarında kullanıldı
  • Splat sekansları, sahne planlamasında kullanılmak üzere hafif proxy cache’lere dönüştürüldü
  • WildCapture’ın dahili araçlarıyla poz tahmini iskeletleri üretildi ve çarpışma ile fizik simülasyonu desteklendi

Gerçek zamanlı önizleme ve üretim verimliliği

• Evercoast sistemi, çekim sahasında gerçek zamanlı uzamsal geri bildirim sağlıyor
  • Yönetmen, çekimin hemen ardından mesh tabanlı preview görebiliyor; sonrasında ise web player üzerinden tam splat render’larını inceleyebiliyor
  • Büyük veri setleri indirilmeden önce, yalnızca gerekli sahneler seçilerek son işleme alınıyor
• Bu workflow, geleneksel video prodüksiyonundan çok simülasyona yakın bir yöntem sunarak hızlı ve maliyet açısından verimli üretimi mümkün kılıyor

Gerçek performans ve görsel yanılsama

• Bazı izleyiciler videoyu AI üretimi sanmış olsa da, tüm sahneler gerçek oyuncuların fiziksel performanslarına dayanıyor
  • Stunt, zıplama ve düşüş gibi tüm hareketler gerçek mekânda gerçekleştirildi
  • Volumetrik capture sayesinde kamera kadrajını yeniden yerleştirmek ve mekânsal sürekliliği bozmak serbest hâle geldiği için yapay bir his oluşabiliyor
• Radiance Field teknolojisi, gerçekliğin yerini almak yerine gerçek hareketi ve mekânı koruma işlevi görüyor

A$AP Rocky ve Radiance Fields’ın önceki iş birlikleri

• A$AP Rocky, 2023’teki ‘Shittin’ Me’ müzik videosunda da NeRF ve Instant-NGP GUI kullanmıştı
  • Bu kez ‘Helicopter’, bunun devamı olarak dinamik Gaussian Splatting’in büyük ölçekli gerçek kullanım örneği olarak değerlendiriliyor

[GN⁺]

Hacker News yorumları

• 2023'te Nial Ashley (Llainwire)'ın bu işi tek başına yapıp görselleri de bizzat üretmiş olması gerçekten etkileyici
  YouTube video bağlantısı
  Ne yazık ki bu kişi pek ilgi görmedi. Discord'a göre çok fazla sanatçı ondan sadece bu tarz müzik videoları üretmesini isteyince, sonunda müzikal iş birlikleri yerine bu projeden vazgeçmiş
• Ben CG Nomads kurucu ortaklarından David Rhodes'um. SideFX Houdini için GSOPs (Gaussian Splatting Operators) geliştirdim
  Bu müzik videosu GSOPs ile OTOY OctaneRender birleştirilerek üretildi
  Teknik taraf ilgini çekiyorsa resmi siteye ya da GitHub deposuna bakabilirsin
  • Bu tekniğin estetik tarafı gerçekten ilginç. Eski sürümlerde tamamen glitch'li 3D gürültü bulutu gibi görünüyordu; acaba kasıtlı olarak hatalı girişler veya hizalama bozukluklarını kullanarak bunu yaratıcı biçimde "istismar etme" yolları hakkında düşüncen var mı diye merak ediyorum
  • David, Mesh Splatting gibi 3DGS alternatif tekniklere de baktın mı diye merak ediyorum. Daha hızlı eğitim ve daha iyi sonuçlar vaat ediyor gibiydi
  • DaVinci Resolve için bir eklentiyle iki iPhone'dan çekilmiş uzamsal veriyi birleştirip 3D sahneye dönüştürmek mümkün olur mu diye merak ediyorum. M4 çiple bunun gayet mümkün olması gerekir gibi geliyor
  • "Yüksek kaliteli 3D içerik" denmiş ama videoda bu biraz eksik gibiydi
• HN'de A$AP ile ilgili bir gönderi göreceğimi hiç düşünmezdim. Bu topluluk gerçekten ilginç
  • Ben de bütün gün Helicopter müzik videosunu HN'e nasıl gönderebileceğimi düşünüyordum; sonunda birinin bunu Gaussian açısından paylaşmasına sevindim
  • Videoda saçına hair roller mı takmış?
  • Neredeyse HN ana sayfasına Carti ile ilgili bir gönderi çıkacaktı
  • Ben de iki kez dönüp baktım, gerçekten beklenmedikti
  • Ama bunun neden "havalı" görüldüğünü pek anlamıyorum
• Gaussian splatting'in tam olarak ne olduğunu ve yazıdaki "artık yeterince olgunlaştı" ifadesinin ne anlama geldiğini basitçe açıklayabilecek biri var mı diye merak ediyorum
  • Sahneden bir point cloud oluşturup her noktayı yayılmış bir elipsoidle değiştiriyorsun, sonra bunu diferansiyellenebilir bir renderer ile eğitiyorsun. Böylece gerçek fotoğraflarla neredeyse birebir örtüşen 3D sahneler yeniden oluşturulabiliyor
  • Birden fazla açıdan çekilmiş videoları birleştirerek 3D uzayın radiance field'ını tahmin etme yöntemi. Bununla gerçekte var olmayan kamera açılarını da simüle edebiliyorsun.
    Houdini gibi araçlarda bu teknik kullanıldığında sanatçı sanal kamerayı özgürce hareket ettirebiliyor
  • Her nokta, bakış yönüne göre rengi değişen yarı saydam bir blob biçiminde. Bu sayede yansıma ve parlaklık efektleri ifade edilebiliyor
  • Bu 2 dakikalık video iyi bir başlangıç kaynağı.
    2023 tarihli temel makale ve GPU ile diferansiyel programlama alanındaki ilerlemeler sayesinde artık pratikte de kullanılabilir hale gelmiş görünüyor
  • Görsel demoları bu blog yazısında ve bu sitede görebilirsin
• Video gerçekten harikaydı. Yazının yarısından fazlasını anlamadım ama böyle uzmanlık jargonu dolu cümleler okumak daha da eğlenceli oluyor
  "Veriyi Houdini'ye aktardık, GSOPs ile düzenledik ve son render'ı OctaneRender ile aldık" kısmı özellikle etkileyiciydi
  • Houdini için GSOPs'u yapanlardan biriyim. Gaussian splat, gerçekliği çok sayıda 3D elipsoidle kopyalama yöntemi. Houdini bu tür büyük ölçekli nokta verisi ile çalışmakta güçlü, Octane gibi render araçları da bunu geleneksel CG öğeleriyle birleştirebiliyor
  • O yazının yazarı benim. Gaussian splatting, sıradan 2D görüntü veya videoları girdi olarak alıp gerçekçi 3D yeniden kurulum sağlıyor. NeRF veya Plenoxel gibi radiance field tabanlı tekniklerden biri
  • Corridor Crew Gaussian splat kullanarak harika bir şey yaptı. Şu videoyu tavsiye ederim
  • Bu üslup nedense bana Kurtwood Smith'in The Patriot'ta pipo sattığı sahneyi hatırlatıyor
• Ben Gaussian splatting'i bir fotoğraf sanat mecrası olarak deniyorum. Veri yetersiz olduğunda ortaya çıkan dışavurumcu sonuçlar gerçekten çok çekici
  Çalışmalarım
  • Çalışmaların çok güzel! Üretim sürecini daha ayrıntılı anlattığın bir yer var mı diye merak ediyorum
  • Estetiği gerçekten çok özgün ve güzel
• Dürüst olmak gerekirse video bana eski Unreal Engine render'ları gibi geldi. Belki bilerek böyle bir estetik hedeflenmiştir ama Gaussian splatting ile ne kadar gerçekçi sonuçlar alınabildiğini merak ediyorum
  Işık veya gölgeleri yeniden ayarlasan ya da sahnenin bazı kısımlarını değiştirsen, ilk baştaki gerçekçilik hissi korunabilir mi?
  Günümüzde film yapımının çok açılı çekim ve sonradan kurgu eksenine kaydığını görünce, sonunda insanların Gaussian splat, arka planların ise green screen ile işlendiği bir döneme girebiliriz gibi geliyor
  • Bu videonun estetiği, Gaussian splatting artefaktlarını özellikle korumaktan geliyor. Özellikle 4DGS'de zamansal tutarsızlıklar oluşuyor ve yeniden ışıklandırma sürecinde bunlar daha görünür hale geliyor.
    Yine de teknoloji hızla ilerliyor ve volumetrik capture kesinlikle kalıcı olacak gibi görünüyor.
    Statik ortamlarda bu örnekte olduğu gibi kalite çok yüksek
  • Sanatçının eğilimine bakınca bu, bütçeden çok teknolojinin yeniliği ve yaratıcı özgürlük için yapılmış bir tercih gibi duruyor
  • Bana Teardown adlı voxel tabanlı oyunun yüksek çözünürlüklü bir sürümü gibi hissettirdi. Işıklandırma ve kamera hareketleri o hissi veriyor
  • Doğru veriyle bugün bile IMAX düzeyinde 3D kalite çıkarmak mümkün olabilir
  • A$AP'in diğer videolarında da zaman zaman bilerek lo-fi ve retro bir hava kullanılıyor. Mesela Yamborghini High'da MPEG bozulma efektini taklit etmişlerdi
• Videonun kendisini mutlaka izlemek lazım. Sürreal efektlerle insan performansı arasındaki denge gerçekten çok iyi
  Müzik zevkine hitap etmiyorsa sessize alıp da izleyebilirsin
  • A$AP Rocky'nin bir başka parçası olan Taylor Swif müzik videosu da benzer şekilde sürreal ve tuhaf bir atmosfere sahip. Doğu Avrupa tarzı yönetmenlik tercihleri temayla bilerek örtüşüyor
    Video bağlantısı
  • Videonun sonuna kadar izlersen son splat'ın Gaussian olmadığını görürsün
• Müzik videosunun doğrudan bağlantısı: https://www.youtube.com/watch?v=g1-46Nu3HxQ
  • İyi fikir. O bağlantıyı ana metnin üst kısmına da ekleyeceğim
• Ne yazık ki yaklaşık 30 saniye izledikten sonra midem bulandı ve kapattım. Yine de teknoloji gerçekten etkileyici. Benzer hisseden başka biri oldu mu diye merak ediyorum
  • Ben videoyu gerçekten beğendim. Bende hiç mide bulantısı yapmadı
  • Eşim de aynı tepkiyi verdi ama girişten sonra çok daha katlanılabilir hale geliyor