Makro Splat 2025

• Gaussian splat, birden çok bulanık elipsoidden oluşur ve 3D fotoğraf gibi farklı açılardan görüntülenebilme özelliğine sahiptir
• Böcekler gibi makro nesnelerin karmaşık ve ince dokularını etkili biçimde yeniden üretebilir
• Sığ alan derinliği kaynaklı sorunları çözmek için focus stacking tekniği kullanılır
• Otomasyon ekipmanları ve optimize edilmiş çekim yöntemiyle çekim verimliliği ve kalite artırılır
• Son olarak COLMAP ve Postshot kullanılarak yüksek çözünürlüklü 3D model üretilip yayımlanır

---

Macro Splats 2025 özeti

Gaussian Splat kavramı ve 3D fotoğrafa dönüştürme

• Gaussian splat, bulanık elipsoidlerin 3D uzayda üst üste yerleştirilip her birine görünüme bağlı renk atanması tekniğidir
• Yapay zeka modelinin eğitimi gibi, birden fazla fotoğraf girilip optimizasyon tekrarlandığında gerçekçi 3D fotoğraf çıktıları üretilebilir
• Bu yöntemin sonucunda farklı açılardan gerçekçi biçimde incelenebilen 3D görüntüler elde edilir

Makro nesnelere uygulama motivasyonu

• Böcekler gibi kıllı ya da karmaşık yapılı makro nesneler, Gaussian splat gösterimi için son derece uygundur
• Bu tür dokuların, mevcut 3D yeniden yapılandırma teknikleriyle betimlenmesi zor alanlar olduğu vurgulanır

Focus stacking kullanılan çekim süreci

• Makro çekimin doğası gereği alan derinliği çok sığdır; bu yüzden tüm bölümleri net şekilde yakalamak zordur
• Focus stacking, aynı açıdan odağı çok az farklı birçok görüntü çekip bunları tek bir tamamen net fotoğrafta birleştirme tekniğidir
• Normalde bir stack için 50~500 fotoğraf gerekir, ancak çekim verimliliği için bu sayı her stack'te 16'ya düşürülmüş ve f/18 diyafram değeri kullanılmıştır
• Döner disk, boom arm ve otomatik odak rayı ile böcekler farklı açılardan sistemli biçimde fotoğraflanır
• Toplam 111 açıdan 1776 kare çekilmiş ve tüm çekim yaklaşık 4 saat sürmüştür

3D model oluşturma ve son işlem

• Tüm görüntüler batch focus stacking ile işlenerek 111 yüksek çözünürlüklü fotoğrafa dönüştürülmüştür
• Kamera konum bilgisi COLMAP ile geri kazanılmış, renk düzeltme ve arka plan maskeleme işlemleri uygulanmıştır
• Nihai veri Postshot ile eğitilerek splat modeli üretilmiş, destek/montaj bölümü minimum retouch ile kaldırılmıştır

3D modelin yayımlanması ve kullanımı

• Tamamlanan böcek modelleri superspl.at üzerinde 3D olarak serbestçe görüntülenebilir
• Cluster fly modeli, buradan ücretsiz olarak yayımlanmıştır; kaynak gösterme şartıyla ticari ve ticari olmayan amaçlarla kullanıma izin verilir

[GN⁺]

Hacker News görüşleri

• Gördüğüm bilgisayar grafikleri arasında bu mandarin arısı hem en etkileyici işlerden biri hem de makro fotoğrafçılık açısından en üst düzey örneklerden biri gibi geliyor. Gerçek zamanlı render edilebilmesi de şaşırtıcı. Birkaç gün önce PS6 hakkında bir tartışma vardı; konsol ya da oyun yapımında hâlâ yer alıyor olsaydım, böyle varlıkları oyunlara nasıl dahil edebileceğim konusunda ciddi biçimde kafa yorardım
  • Gaussian splat'ler sıradan video oyunlarının gerektirdiği esnekliğe sahip değil. Gerçek anlamda PBR olmadıkları için aydınlatma neredeyse hardcoded durumda. Rigging iyi çalışmıyor ve düzenleme de çok zor. Tek bir nesnenin görselleştirilmesi için iyiler ama birçok unsurdan oluşan sahneler kurmak için uygun değiller
• Gerçekten harika görünüyor. Siteyle ilgili geri bildirim olarak, gri arka plan üstüne siyah yazı okunabilirliği düşürüyor; bu yüzden reader modunu kullanmak zorunda kaldım
  • Sayfadaki renk doygunluğu o kadar güçlü ki, sanki vurgulanmış bir ön planı gözden kaçırıyormuşum gibi hissettim ve tüm sayfa arka planmış gibi geldi
  • Ben ise tam tersini yaşadım. Bu site, gözlük takarken bile harflerin dağılmadan net okunabildiği ender sitelerden biri
• Bu çalışma gerçekten harika görünüyor ve makro fotoğrafçılığı Gaussian splatting ile birleştirmeyi hiç düşünmemiştim. Bunu özgür kültür dosyası olarak (CC BY) yayımladıkları için gerçekten minnettarım
• Exquisite Creatures Revealed sanatçısıyla bir iş birliği görmek harika olurdu. Kendisi çeşitli böcekleri koruyor ve onları, doğadaki renkleri ve yanardöner etkileri vurgulayacak şekilde sergiliyor. Sergiden o kadar etkilendim ki tekrar gittim. Sanatçıyla ilgili bilgiye buradan bakabilirsiniz
• Odak uzaklığına bağlı Gaussian splat'leri hizalamaya yönelik araştırmalar olup olmadığını merak ediyorum. Temelde bokeh modellemesi gibi; orijinal raw görüntüleri verirseniz, genel olarak tamamı net bir model elde edilebilir mi diye düşünüyorum
  • Bu konuda çalışan birkaç ekip var: dof-gs projesi, dof-gaussian projesi
• Sineğin gövdesindeki yanardöner yansımaların nasıl yakalandığını merak ediyorum. Hatta bazen yansıyan kısımların içinden arka planı görüyormuşsunuz gibi duruyor. Yansımaların rengi açıya göre değiştiği için, Gaussian splat üretiminin tüm ışınları tatmin eden bir çözüm bulmasının zor olmayacağını düşündüm. En azından yansıtıcı yüzeylerin çamur gibi çıkmasını beklerdim. Acaba gizli bir hile mi var, yoksa Gaussian splat'leri yanlış mı anlıyorum?
  • Renkler bakış açısına göre değişiyor; bu da aydınlatmanın baked-in olduğu anlamına geliyor. Bu yüzden 3D animasyon ya da gerçek zamanlı ortamlarda doğrudan kullanmanın zor olduğunu düşünüyorum (tabii dinamik aydınlatma üzerine araştırmalar yapılıyor olabilir). Bazen yanlış görünen durumlar da var; örneğin sinek modelinde fazla yaklaşırsanız gövdenin bazı kısımları şeffafmış gibi görünüyor ve specular highlight, iç yüzeyin arka tarafındaki splat'lerden geliyormuş gibi duruyor. Ayna modelinde bu daha da belirgin ve aynanın içinden gerçekten geçebiliyorsunuz
  • Gaussian splat'lere bakış açısına bağlı renkler atanabiliyor. Bildiğim kadarıyla bu, spherical harmonics ile yapılıyor. Açısal çözünürlük, bu harmonik bileşenlerin sayısına bağlı; sayı çok az olursa tüm yansımalar yavaş ve yumuşak biçimde değişiyor, dolayısıyla yansımalar bulanıklaşıyor
  • FTA'ya göre, “Gaussian splat özünde bir dizi bulanık elipsoidden oluşur ve her elipsoidin bakış açısına bağlı bir rengi vardır.” Umarım bu açıklama yardımcı olur
  • "View-dependant colors with SH" bölümüne bakmak faydalı olabilir: ilgili yazı
• Tarayıcıda, hatta telefonda bile gerçek zamanlı çalıştırılabilen döndürülebilir demo gerçekten çok iyi çalışıyor. Gaussian splat render maliyeti o kadar da yüksek değil gibi; yoğun hesaplama daha çok ön hesaplama tarafında yapılıyor gibi görünüyor
  • Dosya boyutu da etkileyici derecede küçük. Şu an linki yok ama hareketi de içeren 4D splat'ler (videoya benzer şekilde izlenebiliyor ve sahnenin içinde de gezilebiliyor) yayımlandı ve onların dosyaları da birkaç megabayt seviyesinde
• Çok etkileyici bir çalışma. Ama mobilde 3D hiç kullanılamıyor. Orbit modunda 3D'ye dokunduğum anda görünüm güney yarımküreye kilitleniyor ve nasıl çevirmeye çalışsam da ekran delirmiş gibi savruluyor
  • Ben PlayCanvas geliştiricisiyim. Bunun hangi telefon/cihazda olduğunu söyleyebilir misiniz diye merak ediyorum. Bir bug olabilir (kelime oyunu kasıtlı değil)
• Yakın zamanda "The Matrix"i yeniden ziyaret etmek için de kullanıldı: YouTube videosu
• Bu, Stars/NoooN [1] içinde gösterilen 23.806 üçgenin gerçek zamanlı render'ına kıyasla muazzam bir ilerleme. [1] YouTube videosu
  • Bunun ne zaman yapıldığını merak ediyorum. YouTube videosu 14 yıllık ama çok daha eskiymiş gibi hissettiriyor