Trellis – 3D Mesh Oluşturma Modeli

 (trellis3d.github.io)
1 puan yazan GN⁺ 2024-12-10 | 1 yorum | WhatsApp'ta paylaş

Yeni bir 3D üretim yöntemi tanıtımı

  • Structured LATent (SLAT) gösterimi: Çeşitli çıktı biçimlerine çözümlenebilen birleşik bir yapısal latent gösterim sunuyor. Bu gösterim, güçlü görsel tabanlı modellerden çıkarılan yoğun çoklu görünüm görsel özelliklerini seyrek doldurulmuş 3D ızgarayla birleştirerek yapısal (geometrik) ve dokusal (görünüş) bilgileri kapsamlı biçimde yakalıyor.

  • Rectified Flow Transformers: SLAT için tasarlanmış bir 3D üretim modeli; 500 bin çeşitli nesneden oluşan büyük ölçekli bir 3D varlık veri kümesinde, 2 milyara kadar parametreyle eğitilmiş. Metin veya görsel koşullandırmayla yüksek kaliteli sonuçlar üretiyor ve mevcut yöntemleri açık farkla geride bırakıyor.

3D varlık üretimi ve düzenleme

  • Metin ve görsel tabanlı 3D varlık üretimi: TRELLIS, metin veya görsel istemleri kullanarak çeşitli 3D varlıklar üretebiliyor. Örnekler arasında bakır çevirmeli telefon, iki katlı tuğla ev ve küresel robot yer alıyor.

  • Varlık varyasyonları ve bölgesel düzenleme: Verilen bir 3D varlığın varyasyonlarını metin istemine göre üretebilir ve belirli bölgeleri değiştirerek yeni tasarımlar oluşturabilir. Örneğin savaş robotunun kolunu kaldırmak veya silah eklemek gibi işlemler yapılabiliyor.

TRELLIS'in uygulamaları ve metodolojisi

  • 3D sanat tasarımı: TRELLIS'in ürettiği yüksek kaliteli 3D varlıklar birleştirilerek karmaşık ve canlı 3D sanat tasarımları kolayca oluşturulabiliyor.

  • Yapısal latent gösterim: SLAT, seyrek yapı ile güçlü görsel temsilleri birleştirerek nesne yüzeyiyle kesişen aktif vokseller üzerinde yerel latentler tanımlıyor. Bu özellikler, güçlü önceden eğitilmiş görsel kodlayıcılardan türetilerek ayrıntılı geometrik ve görsel nitelikleri yakalıyor.

  • TRELLIS modeli: Metin istemi veya görseli koşul olarak alan büyük ölçekli bir 3D üretim modeli eğitiyor. İki aşamalı bir ardışık düzen uygulayarak önce SLAT'in seyrek yapısını, ardından boş olmayan hücreler için latent vektörleri üretiyor. Böylece çeşitli çıktı biçimlerinde 3D varlıklar kolayca oluşturulabiliyor.

İlgili okumalar

1 yorum

 
GN⁺ 2024-12-10
Hacker News görüşleri

  • Yapay zeka tarafından üretilen içerik yüzünden ilk kez midemin bulandığını hissettim. Bu tür içerikler çok etkileyici ama insanların eliyle yapılan işlerin yok olup gidiyor olması beni üzüyor. Prosedürel olarak üretilmiş oyunlar yerine insan düşüncesinden doğan dünyalar istiyorum.

    • İçerik değil, sanat eseri istiyorum. Meslektaşlarımın kendi vizyonlarını ve değerlerini kattıkları eserler istiyorum.

  • NeRF demosundan beri herkesin bunu düşündüğünü sanıyorum. 5 yıl önce yazdığım yorumu buldum. Bir sonraki adım, animasyon ve etkileşime izin veren içerik oluşturmak için 3D görüntülere "node" eklemek.

    • Çocukluk fotoğraflarınızı girip anıları yeniden canlandırabilir, sevdiğiniz birinin ses örneğini ekleyip onunla konuşulabilir hale getirebilirsiniz. VR ve gürültü önleyici kulaklıklarla sürükleyicilik artırılabilir.

  • Mükemmel değil ama şimdiye kadar denediğim en iyi 3D model oluşturucu. Orca Slicer'a doğrudan aktarılabilecek bir dosya formatı istiyorum.

  • Wikipedia'daki F-117 stealth bomber görselini denedim ama sonuç tam bir fiyaskoydu. Farklı açılardan birden fazla görsel yükleyebilme özelliği gerekli.

  • "Text to 3D Asset" özelliği için bir demo olup olmadığını merak ediyorum.

  • Bunun birkaç gün önce paylaşıldığını görmüştüm ama demo gerçekten çok etkileyici. Burada tartışılmasını istiyorum.

  • Potansiyelini görebiliyorum ama verdiğim görsel sanki eğitim kapsamının dışındaydı, bu yüzden sadece garip düzlemler üretti.

  • Layer diffusion kullanarak low-poly bir airship yaptım. Oyun varlığı olarak kullanılabilecek seviyeye ulaşıyor.

  • Kablo ve fiş fotoğrafları yükleyip tek tek telleri ve doğru delikleri olan bir fiş mesh'i oluşturdum.

  • Nix snowflake modellemesi çok kötüydü. Sanki daha çok doğal ve biyolojik yapılarla dokular üzerinde eğitilmiş gibi görünüyor.