Infinigen: Prosedürel üretimle sonsuz fotogerçekçi dünyalar oluşturma

 (github.com/princeton-vl)
2 puan yazan GN⁺ 2024-12-24 | 1 yorum | WhatsApp'ta paylaş
  • Infinigen, prosedürel üretimle fotogerçekçi dünyalar oluşturan bir projedir; doğal sahneler, iç mekân sahneleri ve eklemli simülasyon varlıkları için başlangıç kılavuzları sunar
  • Kullanıcılar kurulumdan sonra Infinigen-Indoors, Infinigen-Nature ve Infinigen-Articulated akışlarıyla oda sahneleri, doğal sahneler ve simülatörler için eklemli varlıklar oluşturmaya başlayabilir
  • İlgili araştırmalar CVPR 2023 makalesi Infinite Photorealistic Worlds using Procedural Generation, CVPR 2024 makalesi Infinigen Indoors ve 2025 arXiv makalesi Infinigen-Articulated ile devam eder
  • Dokümantasyon; kurulum, kamera ayarları, önceden üretilmiş veri indirme, tekil varlık üretimi, OBJ·OpenUSD gibi harici dosya biçimlerine dışa aktarma, fizik simülasyonu dışa aktarma ve genişletilmiş ground-truth gibi konuları kapsar
  • Katkı yolları depo kodu, prosedürel üreticiler ve önceden üretilmiş veri sağlama olarak ayrılır; Blender Nodes’u Python koduna dönüştüren araç ve GitHub Issues tabanlı destek süreci anlatılır

Infinigen’in üretebildiği içerikler

  • Infinigen, prosedürel üretim ile fotogerçekçi dünyalar oluşturan bir projedir
  • Başlangıç akışı üç kola ayrılır
    • Hello Room: Infinigen-Indoors ile iç mekân sahneleri üretir
    • Hello World: Infinigen-Nature ile doğal sahneler üretir
    • Infinigen-Articulated: eklemli simülasyon varlıkları üretme ve bunları simülatöre dışa aktarma akışı sunar
  • Proje web sitesi, tanıtım videosu, makaleler, dokümantasyon ve katkı rehberini birlikte sunar

Başlangıç yöntemi ve örnekler

  • Önce Installation Instructions izlenerek kurulum yapılmalıdır
  • Infinigen-Indoors başlangıç dokümanı HelloRoom.md içindedir
    • Örnek görseller Blender sahnesini, render sonucunu, depth ve object ile ilgili çıktıları gösterir
  • Infinigen-Nature başlangıç dokümanı HelloWorld.md içindedir
    • Örnek çıktı image, depth, surface normal ve instance segmentation içerir
  • Infinigen-Articulated başlangıç akışı Exporting to Simulators dokümanında yer alır
    • Eklemli varlıkları simülatörlere dışa aktarma kullanım senaryosunu ele alır

İlgili makaleler

Dokümantasyon kapsamı

  • Dokümantasyon, kurulum ve ilk sahneyi oluşturmanın yanı sıra yapılandırma·kamera·veri·dışa aktarma akışlarını kapsar
  • Sunulan dokümantasyon başlıkları şunları içerir
    • Installation Guide
    • “Hello World”: ilk Infinigen-Nature sahnesini oluşturma
    • “Hello Room”: ilk Infinigen-Indoors sahnesini oluşturma
    • Configuring Infinigen
    • Configuring Cameras
    • Downloading pre-generated data
    • Generating individual assets
    • Harici dosya biçimlerine dışa aktarma, örn. OBJ, OpenUSD
    • İç mekân sahnelerine harici varlık ekleme
    • Extended ground-truth
    • Yeni materyaller ve varlıklar uygulama
    • Akışkan simülasyonları üretme
    • Fizik simülasyonuna dışa aktarma
  • Proje yol haritası Infinigen web sitesindeki roadmap sayfasında sunulur

Katkı ve destek süreci

  • Katkı yolları üç başlıkta anlatılır
    • Depo koduna katkı: kod katkıları kabul edilir; daha ayrıntılı rehber daha sonra sağlanacaktır
    • Prosedürel üretici katkısı: infinigen/nodes/node_transpiler/dev_script.py, artist-friendly Blender Nodes’u Python koduna dönüştüren bir araç sunar
    • Önceden üretilmiş veri katkısı: herkes hesaplama gücüyle veri oluşturup toplulukla paylaşabilir; önceden üretilmiş veri deposu daha sonra sağlanacaktır
  • Yardım isteklerinin GitHub Issues sayfasına gönderilmesi istenir
  • Sorunu yeniden üretmek için komut --debug ile çalıştırılmalı ve şu bilgiler eklenmelidir
    • OS sürümü, CPU, RAM, GPU ve sürücüleri içeren hesaplama ortamı
    • Kullanılan kod sürümü ve commit hash bağlantısı, değişiklik yapılıp yapılmadığı
    • Çalıştırılan tam komut
    • Çıktı logları
      • manage_jobs kullanılıyorsa loglar outputs/MYJOB/MYSEED/logs/ altında bulunur
      • Python hatası ve stacktrace varsa birlikte sağlanır

Temel alınan projeler ve değişimler

  • Infinigen, Blender Foundation ve açık kaynak katkıcılarının çalışmaları olmadan mümkün olamayacağını belirtir
  • Kullanılan projeler arasında Land-Lab, BlenderProc, Blender-FLIP-Fluids ve Blender-Differential-Growth özellikle anılır
  • Thomas Kole, prosedürel bulutları sağlayan kişi olarak teşekkür edilenler arasındadır
  • Çeşitli çevrimiçi Blender eğitimleri, ilk deneysel prosedürel üreticileri sağlamış ve resmi sürüm uygulamasına ilham veren kaynaklar olarak listelenmiştir
  • Infinigen, CVPR makalesi sürümünden bu yana önemli ölçüde değişmiştir
    • Günümüzde internetten elde edilmiş CC-0 lisanslı prosedürel kodun bazı bölümlerini içerir
    • Bu kod, uygulandığı yerlerde kod yorumlarıyla işaretlenmiştir
    • CVPR sürümünde bu tür kod yoktu

İlgili okumalar

1 yorum

 
GN⁺ 2024-12-24
Hacker News yorumları

  • Gerçekten harika bir proje.
    HN’deki ML/AI araştırmacılarına merak ediyorum: Bunu eğitim için kullanan bir makale var mı? Örneğin robotları sanal bir ortamda eğitmek gibi.
    Ayrıca bugünlerde ML/AI alanında robot eğitimi için hangi veri kümelerinin kullanıldığını da merak ediyorum.

    • Videoya göre “Infinigen %100 prosedürel üretim. Yalnızca matematik kuralları kullanıyor, hiç AI yok; sadece grafik” deniyor.
      Zaman damgası: https://youtu.be/6tgspeI-GHY?t=107
    • Nvidia Research’ün üretilmiş ortamlarla robotları vb. eğittiği bir video görmüş gibiyim.
      Hemen bulamam ama Nvidia’nın Omniverse’ü kilit unsurlardan biri.

  • Bu daha önce paylaşılmamış mıydı? Harika olduğu doğru, ama birkaç yıllık bir proje diye biliyorum. Bir güncelleme olup olmadığını merak ediyorum.

  • İç mekân sahneleri tamamen inandırıcı görünüyor, ama dış mekânlarda hâlâ eksikler çok. En ileri seviyeden epey uzak.

    • Peki açık kaynak olan, mümkünse kütüphane olarak kullanılabilen ve üretken AI olmayan en ileri seviye ne var? Etkileşim/oyun geliştirme/gerçek zamanlı kullanım senaryolarını düşünüyorum.
    • No Man's Sky’ın çeşitli sürümlerinden bile geride; LLM tarafındaki insanların ortaya çıkardığı her türden çılgın sonuçla kıyaslayınca daha da öyle görüyorum.
    • Yine de deniz suyunun şu anki herhangi bir video oyunundan çok daha iyi olduğunu kabul etmek gerek. Geri kalanı için evet.
    • En ileri seviye olarak neyi görmeliyiz?

  • Böyle bir şeyin mümkün olması, evren hakkında bir şey söylüyormuş gibi geliyor. Belki de ortamlar düşündüğümüz kadar fazla bilgi miktarı içermiyordur.
    Bu, beynin, özellikle de hayvanların küçük beyinlerinin dünyayı modelleme ve onun içinde işlev görme konusunda gösterdiği mantıksız derecede yüksek verimliliği de açıklayabilir.

    • Bu, evrene çok yüzeysel bakmanın bir yolu.
      Varoluş, gözlemlenip gözlemlenmemekle sınırlı değildir. Beyinler, belirli ortamlarda organizmayı hayatta tutmak için gereken asgari bilgiyi toplamaya evrimleşti. Ama algılayabildiğimiz şeylerin içinde bile evrende akıl almaz bir karmaşıklık var.
      3D modellemede bu tür ayrıntılar önemli olmadığı için fotoğraf gerçekçiliğine yaklaşılabiliyor. Render, beyni gerçek dünyadaki nesnelere bakıyormuş gibi hissettirecek kadar iyi görünüyor. Ama bu yalnızca görsel yönün iyi bir yaklaşımı; gerçek nesnelerin doğru bir temsili kesinlikle değil. Bunu yapmak için hesaplama kaynakları fazlasıyla yetersiz.
      Gerçek dünyada ışığın nasıl davrandığını gerçek zamanlı modelleyebilmemiz bile yeni oldu, o da yine bir yaklaşım. Her hâlükârda Infinigen güzel bir ürün gibi görünüyor ve uzun zaman sonra AI değil de klasik simülasyon görmek de hoş.
    • “Böyle bir şeyin mümkün olması evren hakkında bir şey söylüyorsa”, Final Fantasy 7’nin karakter modelleri de insan endokrin sistemi hakkında bir şey söylüyor demektir.
      Aeris, böbreküstü bezleri görünmese bile açıkça insan gibi algılanıyor; o hâlde gerçeklikte de böbreküstü bezleri olmayabilir demek gibi.
    • “Harita, arazi değildir.”
    • “Dipte hâlâ çok yer var.”[0]
      0. http://researchgroups.pku.edu.cn/_resources/group1/M00/00/0D...
    • Evren hakkında olmaktan çok insan beyni hakkında daha fazla şey gösterdiğini düşünüyorum. Algımızın ne kadar kolay kandırılabildiğini anlatıyor.

  • Sadece README’ye bakınca net değil: Buradaki sonsuz ifadesi, tek bir sahnenin sonsuz varyasyonlarının üretilebilmesi mi demek, yoksa sonsuz bir dünya üretmesi mi?

  • Önceki gönderi: https://news.ycombinator.com/item?id=36373494

  • Paylaşıldığında meta etiket açıklaması placeholder içerik gibi görünüyor; güncellenmeli.

  • Yazar listesinde Çin’in önde gelen üniversitelerinden birkaçını görüyorum; ilk bakışta bu çip yaptırımları/ihracat düzenlemeleri ihlali anlamına gelmiyor mu?

    • Makalede, ortak yazarların araştırmayı Princeton bünyesindeyken yaptığı yazıyor.

  • Matrix benzeri giriş hiç de incelikli değil.