Show HN: Çileğin Gaussian Splat'ı

 (superspl.at)
2 puan yazan GN⁺ 18 시간 전 | 1 yorum | WhatsApp'ta paylaş
  • Strawberry, danylyon tarafından SuperSplat'te paylaşılan indirilebilir bir çilek 3D sahnesi ve lisansı CC BY 4.0 olarak belirtiliyor
  • Sahne verisi 46.530 öğe ve 22,94 MB dosya boyutu ile listeleniyor; paylaşım zamanı da 13 saat önce olarak görünüyor
  • Çekim 90 açıdan yapıldı ve her açı için 88 odak istifleme görüntüsü kullanıldı
  • Ekipman olarak Nikon Z8 full-frame, f/7.1, 1/160 sn, ISO 100, Laowa 180mm makro lens, LED ışık ve mavi ekran arka plan kullanıldı
  • Eğitim slang-splat üzerinde gerçekleştirildi ve COLMAP ile COLMAP veri kümesi birlikte sunuluyor

Sahneye genel bakış

  • Strawberry, SuperSplat üzerinde yayımlanan bir 3D çilek sahnesi ve paylaşan kişi danylyon
  • Sahne verisi 46.530 öğe, dosya boyutu ise 22,94 MB olarak gösteriliyor
  • Paylaşım zamanı 13 saat önce olarak görünüyor ve indirilebiliyor
  • Lisans CC BY 4.0 olarak belirtiliyor

Çekim koşulları

  • Çilek sahnesi 90 açıdan çekildi ve her açı için 88 odak istifleme görüntüsü kullanıldı
  • Çekim ekipmanı ve ayarları Nikon Z8, full-frame, f/7.1, 1/160 sn, ISO 100, Laowa 180mm makro lens olarak belirtiliyor
  • Aydınlatma LED ışık, arka plan ise mavi ekran olarak kurulmuş

Eğitim ve veriler

  • Eğitim slang-splat üzerinde gerçekleştirildi
  • Kullanılan yazılım olarak COLMAP gösteriliyor
  • COLMAP veri kümesi de sunuluyor ve Patreon üzerinden ücretsiz erişilebiliyor

Kullanım koşulları

  • Sahne CC BY lisansı ile indirilebiliyor
  • Kaynak belirtmenin bir zorunluluk değil, teşekkür amacıyla önerildiği açıkça belirtiliyor
  • Bu çalışmanın kaynak göstermeden de kullanılabileceği ifade ediliyor

İlgili okumalar

1 yorum

 
GN⁺ 18 시간 전
Hacker News yorumları

  • 2011'de video oyunları çalıştırmak için PlayCanvas'ı yapmıştık, 2026'da ise çilek çalıştırıyoruz

    • İlgilenenler için, SuperSplat ve PlayCanvas GitHub'da açık kaynak olarak yayınlandı: https://github.com/playcanvas
    • Açık kaynağın en sevilesi yanlarından biri, insanların bambaşka kullanım alanları bulması

  • Vay canına, zaman nasıl geçti anlamadım. Sonunda buraya geldim ve çok güzel: https://superspl.at/scene/ff1d0393

    • Bu sahnede benim ortamımda garip rendering hataları var. Ağaçlar ve ufuk değirmen binasının önünde görünüyor ve yörünge modu dışında dış kısım düzgün render edilmiyor
      Yine de merdivenlerden yürüyerek çıkabildiğimi fark ettiğimde epey şaşırdım. Koşmak için Shift gerekiyor
      Sahne sınırlarında ciddi biçimde clipping gerekiyor. Scaniverse gibi uygulamalar kullanırsanız sınır kutusu ekleyip uzaktaki, genelde iyi yeniden oluşturulamamış noktaları kaldırabiliyorsunuz
      LiDAR tarayıcılı yeni bir iPhone'unuz varsa şiddetle tavsiye ederim. Evinizi ya da bahçenizi oyuncak ev gibi render edebiliyor ve duvar ya da yapı planlayıp ölçmek için beklenmedik derecede faydalı oluyor
    • Bunun iPhone 12 mini cihazımda tamamen akıcı çalışmasına şaşırdım
      İçinde dolaşabildiğiniz, çözünürlüğü de oldukça iyi olan gerçekten harika bir sahne

  • [1]'i okudum ama hâlâ tam olarak neye baktığımı anlamadım. Tahminim, çok sayıda yüksek çözünürlüklü fotoğraftan yeniden oluşturulmuş bir 3D model olduğu yönünde
    [1] https://en.wikipedia.org/wiki/Gaussian_splatting

    • Çileğe benzemesi için bir araya getirilmiş çok sayıda yarı saydam parça var
      Mesh ya da model yok. Çileğin görsel yüzeyi, fiziksel olarak gerçekten yüzey gibi görünen bir konumda değil de birbirinden uzak parçalardan oluşabilir
      Bu yüzden bunlara ışıma alanı (radiance field) deniyor. Geometriyi değil ışığı modelliyorlar
      Pratikte parçaların konumu ve dönüşü kısıtlanarak çileğin geometrik şekline daha iyi uyması sağlanabilir
    • Gaussian splatting'in nasıl çalıştığını şu video anlatıyor: https://www.youtube.com/watch?v=X8yRlA7jqEQ
    • Çalışma mantığını diğer yanıtlar iyi açıklamış. Görüntüye çok yaklaşınca yüzeyin “içinden” geçmeye başlıyorsunuz ve bu da mantığını kavramayı kolaylaştırıyor
      Önemli nokta, tanımlı bir geometrik yüzey yani bir mesh olmaması. Ayrıca iyi bir splat oluşturmak için çok farklı açılardan inanılmaz sayıda fotoğraf çekmek gerekiyor, yani oldukça zor; kötü bir splat üretmek ise çok kolay. Ama iyi yapıldığında hayranlık uyandırıyor
    • İlk kez https://youtube.com/watch?v=X8yRlA7jqEQ ile öğrenmiştim, gerçekten çok etkileyici
    • 2 dakikalık güzel bir açıklama videosu var: https://youtu.be/HVv_IQKlafQ

  • Çok güzel
    Gaussian splatting'de sevdiğim şey, bozulma biçimi. Birden kesilmiyor ya da ayrıntı seviyesi değişince küreler küplere dönüşmüyor; bunun yerine giderek daha “rüya gibi” bir hale geliyor. Temel biçim kalıyor, sadece detay azalıyor gibi
    Örneğin şu sahne: https://superspl.at/scene/e721ea7c
    Ağaca doğru yaklaştığınızda çevre bulanıklaşıyor; sanki gerçekliğin dokusu çözülüyormuş gibi

    • O halde Gaussian splatting'den türeterek yaptığım sanat işlerini de beğenebilirsiniz. Ben bunlara gaussographs diyorum
      https://bayardrandel.com/gaussographs
      Daha yeni çalışmalar Instagram'da
      https://www.instagram.com/bayardrandel/
    • Çok bilgim yok ama harika bir etki. En azından bu çilekte olan şey yakınlaştırmak değil, daha çok nesneye yaklaşmak
      Yakınlaştırınca beklenen ek “sahte detay” görünmüyor; onun yerine kabuğun içinden geçip hayali bir iç kısma giriyormuşsunuz gibi oluyor
    • Bana çok Minority Report'taki “anı” sahnesini hatırlatıyor: https://www.youtube.com/watch?v=arTIRgdEb1g
    • Gerçekten inanılmaz havalı bir etki. Sanki gerçeklik sis, buzlu cam, dağılan boya, aurora parçaları ya da karahindiba tüyleri gibi şeylere çözülüyor
      Tutarlılık azaldıkça keşif de daha zor ve daha öngörülemez hale geliyor
      Sıradan 3D modellerden çok, zihnin mekânsal bilgiyi saklama ve işleme biçimine daha yakın görünüyor
    • Fotoğraf ile 3D model arasında bir yerde olmasını seviyorum. Tam olarak benzeri bir şey yok

  • Sadece bulanık bir görüntü görüyorsanız ve hiçbir şey yüklenmiyor ya da çalışmıyorsa, JavaScript konsolunda "WebGL not supported" yazıp yazmadığına bakın

  • Şu da ilginç: https://github.com/apple/ml-sharp
    Tek bir görüntüden Gaussian splatting üreten bir Apple modeli. M1 Pro'da yaklaşık 30 saniye sürüyor
    Fazla hareket ederseniz çöküyor ama hafifçe sağa sola sallama ya da VR'da ikinci gözün bakış açısı gibi durumlarda mükemmel. https://github.com/combatwombat/tiefling içinde kullandığım eski yöntem olan derinlik haritası + vertex shader yaklaşımından çok daha iyi görünüyor
    Yalnız ml-sharp'ın ağırlıkları 2.6GB, yani tarayıcıda çalıştırmak için biraz büyük

    • Bu, Apple'ın son OS sürümlerindeki Photos uygulamasında yaptığı şeylerin temeli mi?
      Artık iDevice ve Mac'te 30 saniyeden çok daha hızlı çalışıyor gibi görünüyor
    • Bunu Nvidia'da çalıştırmak için ne kadar VRAM gerektiğini bilen var mı?

  • Gaussian splatting'i birkaç hafta önce öğrendim ve belki komik, saf ya da aptalca bir soru olacak ama dinamik ışıklandırma konusunda ilerleme var mı, ya da en azından teoride mümkün mü?

    • Bunu doğrudan yapmaya çalışan araştırmalar var. Örneğin: https://arxiv.org/abs/2601.23065
      Ama dağınık yansımadan daha karmaşık durumlarda doğru malzeme elde etmek zor
      Yapay zeka tabanlı relighting'in yakında iyi çalışmaya başlayacağını düşünüyorum
    • Varsayılan durumda yüzeye ışık vurabilirsiniz ama gölgeleri doğru işlemek zor olur gibi geliyor. Yapılar katı nesnelerden çok 3D uzaydaki parçacıklara benziyor
      Biraz, oldukça modern asset'lerin üstüne eski oyun motorlarının gerçek zamanlı ışıklandırmasını koymak gibi olabilir. Quake 2~3 dönemi gibi
      Ya da splat'lerden seyrek bir voxel hacmi üretip her voxel'e ışığı soğuran bir voxel opaklık değeri vererek bir tür “occlusion pre-pass” yapılabilir diye düşünüyorum. Günümüzdeki önceden hesaplanmış global illumination'dan çok da farklı sayılmaz
      Bu arada ben rendering uzmanı değilim, sadece eskiden OpenGL ile bir şeyler kurcalamış bir meraklıyım

  • Tek kelimeyle vay!
    Sitede dolaşırken şu sahne beni daha da çok etkiledi: https://superspl.at/scene/c67edb74

    • Bu sahne %100'e ulaşınca tarayıcı sürekli çöküyor. Safari/iOS, iPhone 13 kullanıyorum
      Yorumlarda bağlantısı verilen diğer birkaçını gezip kullanabilmiştim, garip
    • Sadece hızlıca bir boyut karşılaştırması yapmak istedim
      Chrome'u doğru okuduysam, web sitesi ve veri birlikte 171MB ediyor
      Hesabım doğruysa bu, Netflix'in en yüksek aktarım hızında yaklaşık 40 saniyelik bant genişliğine denk geliyor
    • Güzel, bir de tavanın içine doğru “yürüyüp” aşağı bakabilmek oldukça hoş
      Ne kadar tuhaf biri olduğunuza bağlı olarak ya Quasimodo gibi ya da tanrı gibi hissediyorsunuz
    • Arka taraftaki piskoposun biraz düz görünmesi üzücü ;-)

  • Buna bakarken kendimi tavşan deliğinde buldum ve Gaussian splatting videoları üreten şu şirkete kadar gittim: https://www.4dv.ai/. İlginç

  • Güzel bir küçük minyatür gibi. Büyük sahneler yerine ayrıntılı küçük nesnelere Gaussian splatting uygulanmış hâlini görmek hoş
    Bu çilekte muhtemelen en sıkıcı taraf olan lisansı merak ettim. “CC BY lisansıyla indirilebilir, ancak atıf zorunlu değil, yaparsanız seviniriz” yazıyor; avukat değilim ama CC-BY ile lisanslayıp açıklama kısmında BY şartını kaldırabilmek pek mümkün değil gibi geliyor
    Atfı isteğe bağlı yapmak istiyorsanız, CC0 gibi daha gevşek bir lisans kullanıp yine de atıf rica etmek daha doğru olmaz mı?

    • Bence mümkün. Sonuçta “istediğini yap” da gayriresmî bir lisans sayılır. Sadece biraz anlamsız
    • Kendi içeriği olduğu için istediğini yapabilir
      Bir noktaya kadar. Fransa gibi ülkelerde atıf hakkı temelde devredilemez, yani yazar kalıcı olarak feragat etse bile daha sonra yine atıf talep edebilir
      Ama ABD'de, bir sözleşme maddesinden fayda sağlayan taraf genelde o maddeyi görmezden gelebilir ya da ondan feragat edebilir. Buna hâlâ “CC BY” denip denemeyeceği tartışmalı, çünkü atıf onun özünde var
      Yine de CC BY ile lisanslayıp hemen ardından bu şarttan feragat etmek meşru görünüyor