Meta 3D Gen - Metinden 3D varlık üretimi

• Metinden 3D varlık üretmek için yeni, son teknoloji ürünü ve hızlı bir pipeline
• 3DGen, yüksek prompt sadakati ve üstün kaliteye sahip 3D şekil ve dokuları 1 dakikanın altında üretebiliyor
• Gerçek dünya uygulamalarında 3D varlıkların yeniden aydınlatılması için gerekli olan PBR'yi (fizik tabanlı render) destekliyor
• Daha önce üretilmiş (veya sanatçılar tarafından oluşturulmuş) 3D şekillerin materyal görünümü, kullanıcının ek olarak verdiği metin girdisiyle üretici biçimde değiştirilebiliyor
• 3DGen, metinden 3D ve metinden doku üretimi için geliştirilen temel teknoloji bileşenleri olan Meta 3D AssetGen ve Meta 3D TextureGen'i birleştiriyor
• Bu iki teknolojiyi birleştirerek 3DGen, 3D nesneleri aynı anda görünüm uzayı, hacim uzayı ve UV (veya doku) uzayında üç farklı şekilde temsil ediyor
• Tek aşamalı modellere kıyasla %68 kazanma oranına ulaşıyor
• 3DGen, prompt sadakati ve karmaşık metin prompt'ları karşısındaki görsel kalite açısından sektör benchmark'larını aşarken çok daha hızlı

İlgili makaleler

Meta 3D AssetGen: Yüksek kaliteli geometri, doku ve PBR materyalleri içeren metinden mesh üretimi

• AssetGen, doku ve materyal kontrolüyle sadık ve yüksek kaliteli mesh'ler üreten, metinden 3D üretiminde önemli bir ilerleme
• 3D nesnelerin görünümüne gölgelendirmeyi bake etmeye kıyasla AssetGen, gerçek yeniden aydınlatmayı destekleyen PBR materyalleri çıktılar
• AssetGen önce nesnenin birden fazla görünümünü ayrıştırılmış gölgelendirme ve albedo görünüm kanallarıyla üretir; ardından verimli denetim için gecikmeli gölgelendirme kaybı kullanarak 3D ortamda renk, metaliklik ve pürüzlülüğü yeniden oluşturur
• Ayrıca signed distance function kullanarak 3D şekli daha kararlı biçimde temsil eder ve doğrudan şekil denetimi için buna karşılık gelen kaybı tanıtır
• Mesh çıkarımından sonra UV uzayında çalışan bir doku iyileştirme transformer'ı, netliği ve ayrıntıyı önemli ölçüde artırır
• AssetGen, az sayıda görünüm rekonstrüksiyonunda en iyi eşzamanlı çalışmaya kıyasla Chamfer distance'ta %17, LPIPS'te %40 iyileşme sağlıyor ve PBR destekleyen benzer hızdaki en iyi sektör rakibine karşı insan tercihinde %72'ye ulaşıyor

Meta 3D TextureGen: 3D nesneler için hızlı ve tutarlı doku üretimi

• Metinden görüntü modellerinin son dönemdeki erişilebilirliği ve uyarlanabilirliği, doku üretimi gibi birçok ilgili alanda yeni bir dönemin kapısını açtı
• Son dönemdeki doku üretim yöntemleri, metinden görüntü ağlarını kullanarak etkileyici sonuçlar elde ediyor; ancak küresel tutarlılık, kalite ve hızın birleşimi, doku üretimini gerçek uygulamalara taşımakta kritik önem taşıyor
• Rastgele geometri üzerinde 20 saniyenin altında yüksek kaliteli ve küresel olarak tutarlı dokular üretmek için iki ardışık ağdan oluşan yeni bir ileri yöntem olan Meta 3D TextureGen tanıtılıyor
• 3DGen, 2D uzayındaki 3D semantiğe metinden görüntü modelini koşullandırıp bunu eksiksiz, yüksek çözünürlüklü UV doku haritalarına kaynaştırarak kalite ve hız açısından son teknoloji sonuçlara ulaşıyor
• Ayrıca dokuları rastgele ölçeklerde büyüterek 4k piksel çözünürlüklü dokular üretebilen bir doku geliştirme ağı da sunuluyor

GN+ görüşü

• 3DGen, 3D varlık üretimi alanında çığır açıcı bir ilerleme gibi görünüyor. Metin prompt'larına dayalı olarak yüksek kaliteli 3D modelleri hızlıca üretebilen bu teknoloji; oyun, film, tasarım gibi birçok alanda kullanılabilir
• Özellikle PBR materyal desteği ve halihazırda oluşturulmuş 3D modellerin dokularını değiştirebilme yeteneğinin, gerçek kullanım değerini artırması bekleniyor
• Ancak metin prompt'larının anlamını doğru şekilde kavrayıp amaçlandığı gibi 3D model üretmek hâlâ zor bir problem olmaya devam edecek gibi görünüyor. Prompt engineering tekniklerinin de birlikte gelişmesi gerekiyor
• 3D modelleme alanındaki uzmanların bu teknolojiyi nasıl kullanacağı, bunun yaratıcılığın ortaya çıkışını nasıl etkileyeceği merak konusu. Mevcut 3D modelleme araçlarından hangi yönlerle ayrıştığı ve artı-eksi yönlerinin karşılaştırılması da gerekli görünüyor
• Nvidia'nın GET3D'si, Luma Lab'in Imagine 3D'si gibi benzer işlevler sunan başka çözümler de var. Performans ve kullanılabilirlik açısından ne tür artı ve eksi yönleri olduğu konusunda karşılaştırmalı analiz gerekli
• 3D model üretim teknolojilerinin gelişmesiyle herkesin istediği 3D modeli kolayca oluşturabilir hâle gelmesi, 3D modellerin telif hakkı sorunları ve kötüye kullanım ihtimali gibi yeni meseleleri de gündeme getirebilir. Bu konuda toplumsal tartışma ve uzlaşıya ihtiyaç olduğu görülüyor

[GN⁺]

Hacker News yorumları

• Bir kullanıcı, üretken yapay zekanın önemli bir yönü olarak 3D modellemedeki ilerlemeyi olumlu görüyor ve özellikle VR varlıkları üretmenin zorluğundan bahsediyor

  • Yapay zekanın metin, fotoğraf, LIDAR gibi girdilerle gerçek dünyadaki nesneleri 3D yazdırılabilir modellere dönüştürme ihtimaliyle ilgileniyor

• Başka bir kullanıcı, VR içerik üretiminin çok emek yoğun olduğunu ve 3D model üretim araçlarının metaverse'ün başlıca itici güçlerinden biri olacağını umuyor

• Bir diğer kullanıcı, son dönemde metin/görüntüden 3D modele dönüştüren servislerin hepsinin işe yaramaz çıktılar ürettiğini düşünüyor

• Bir kullanıcı, tüm sistemin PBR texturing pipeline kullanılarak çalıştırılmasının oldukça etkileyici olduğunu belirtiyor

  • SDF'lerin (signed distance fields) kullanımının kötü topolojiye yol açıp açamayacağını merak ediyor
  • Oyun için hazır topoloji oluşturan bir makaleye değinerek, animasyon için rigging'in mümkün olabileceğini düşünüyor

• Başka bir kullanıcı, topolojinin iyi olmadığının wireframe eksikliğinden anlaşılabildiğini söylüyor

• Bir kullanıcı bunun gerçekliğin dijital olarak yeniden üretilmesinde öncü niteliğinde bir başka adım olduğunu düşünüyor

  • Eğer insanın durumuna tepki verebilirse, güvenli bir ortamda gerçek hayatta ele alması zor senaryoların öğrenilebileceğini düşünüyor
  • Sanal dünyada öğrenilen derslere dayanarak yeni bir doğum gibi gerçek dünyaya çıkılabileceğini söylüyor

• Bir diğer kullanıcı, basit 3D-to-3D dönüşümün yakında mümkün olacağını umuyor

  • Böylece eski oyunların mesh ve texture'larını upscale etmek istediğini söylüyor

• Bir kullanıcı, bir sanatçının girdisiyle üretilen modellerin daha sonra düzenlenebileceğini ya da başlangıç noktası olarak kullanılabileceğini hayal ediyor

  • Ya da PS1 filtresi uygulayarak retro oyunlar yapılabileceğini belirtiyor

• Meta 3D Gen'in, VR uygulamaları için 3D içerik üretiminde önemli bir ilerlemeyi temsil ettiği değerlendiriliyor

  • Metin girdisinden ayrıntılı 3D modeller üretebilme yeteneğinin içerik üretim sürecini büyük ölçüde kısaltabileceği düşünülüyor
  • Ancak mevcut teknolojinin, yüksek kaliteli ve ayrıntılı geometri üretmede hâlâ zorluklar barındırdığı belirtiliyor
  • PBR texturing entegrasyonu umut verici görülse de, asıl meselenin modellerin gerçek uygulamalarda ne kadar iyi rafine edilip kullanılabileceği olduğu ifade ediliyor

• Son olarak bir kullanıcı, screened Poisson surface reconstruction için sinir ağları kullanan alternatif bir teknik görmek istediğini söylüyor

  • MeshAnything'e baktığını, ancak onun nihai hedef olmadığını belirtiyor