3D temsilleri verimli 3D mesh’lere dönüştüren MeshAnything teknolojisi

 (buaacyw.github.io)
1 puan yazan GN⁺ 2024-06-22 | 1 yorum | WhatsApp'ta paylaş

MeshAnything: sanatçı yapımı mesh üretimi

Genel bakış

  • MeshAnything, insan sanatçıların 3D temsillerden mesh çıkarma biçimini taklit eder.
  • Çeşitli 3D varlık üretim hatlarıyla birleştirilerek 3D endüstrisinde kullanılabilecek sanatçı yapımı mesh’ler (AM) üretebilir.

Mevcut yöntemlerle karşılaştırma

  • MeshAnything, yüzlerce kat daha az yüzeyle mesh üreterek depolama, render alma ve simülasyon verimliliğini büyük ölçüde artırır.
  • Mevcut yöntemlere benzer hassasiyet düzeyine ulaşır.

Yöntem

  • MeshAnything, verilen 3D şekle uygun sanatçı yapımı mesh üreten otoregresif bir transformer’dır.
  • Verilen 3D varlıktan point cloud örneklenir, bu veriler özellik olarak encode edilip yalnızca decoder’dan oluşan transformer’a enjekte edilir.
  • Karmaşık 3D şekil dağılımlarını öğrenmek yerine, optimize edilmiş topoloji üzerinden şekli verimli biçimde oluşturur.

Daha fazla sonuç

  • Çeşitli 3D varlık üretim yöntemleriyle entegre edilerek yüksek düzeyde kontrol edilebilir sanatçı yapımı mesh üretimi sağlanır.
  • MeshAnything, daha iyi topoloji ve daha az yüzeyle mesh üretir; benzer şekli korurken tamamen farklı bir topoloji de üretebilir.

GN⁺ görüşü

  • Verimlilik: MeshAnything, mevcut mesh üretim yöntemlerine göre çok daha az yüzeyle mesh üreterek depolama ve render verimliliğini önemli ölçüde artırır.
  • Uygulanabilirlik: Çeşitli 3D varlık üretim hatlarıyla entegre edilebildiği için 3D endüstrisinin genelinde kullanım potansiyeli yüksektir.
  • Teknik avantaj: Karmaşık 3D şekil dağılımlarını öğrenmeden de optimize edilmiş topoloji üzerinden şekli verimli biçimde oluşturabilir.
  • Eleştirel bakış: Yeni teknolojinin benimsenmesinde mevcut sistemlerle uyumluluk sorunları veya başlangıçta bir öğrenme eğrisi olabilir.
  • Önerilen alternatif: Benzer işlevlere sahip diğer projeler arasında MeshGPT de bulunur; her projenin artı ve eksilerini karşılaştırmak faydalı olabilir.

İlgili okumalar

1 yorum

 
GN⁺ 2024-06-22
Hacker News görüşleri
  • 3D model üretimi makaleleri sık sık eleştirilirken, bu çalışma memnuniyetle karşılanabilir. Ancak ticari olmayan lisans hayal kırıklığı yaratıyor. GitHub bilgilerine göre, A6000 GPU üzerinde mesh üretimi yaklaşık 7 GB bellek ve 30 saniye gerektiriyor; ayrıca yalnızca 800'den az yüzeye sahip mesh'ler üretilebiliyor.
  • Düşük poligonlu üretim sonuçları arasında gördüğüm en iyisi. Hâlâ üçgen mesh, ama giderek daha iyi oluyor.
  • Nihai hedef; ağırlıklı olarak dörtgen poligonlar, edge smooth/crease, doğal texture UV'leri ve tekrar eden texture'larla PBR texture üretimi olmalı. Sonrasında ise görüntülerden CAD modeli çıkarımı yönüne ilerlenmesi gerekiyor.
  • LiDAR taraması veya fotogrametriyle üretilen büyük mesh'ler ya da point cloud'larla çalışmak için yüksek performanslı PC'ler ve pahalı yazılımlar gerekiyor. Mesh'i küçültüp web üzerinden paylaşılabilir hâle getirmek faydalı olur.
  • Point cloud taramalarını elle işleme deneyimim var. 450 GB veri üretilmişti; önceki bir proje ise 2.1 TB idi. Bu makalenin ölçeği oyuncak gibi hissettiriyor ama bir yerden başlamak önemli.
  • Yapay zeka tarafından üretilen mesh'leri "sanatçı yapımı" gibi adlandırmak yanıltıcı olabilir.
  • Toplumsal etki bölümünde iş gücü maliyetlerini azaltmaktan söz edilmesini beğendim. Bunun sanatçılara olan ihtiyacı ortadan kaldırmak anlamına gelmediği önemli.
  • Birkaç karmaşık modeli test etmeyi planlıyorum.
  • MeshAnything, yüzlerce kat daha az yüzeye sahip mesh'ler üreterek depolama, render alma ve simülasyon verimliliğini büyük ölçüde artırıyor.
  • Çevrimiçi demoyu denedim ama çıktı mesh'te orijinalde olmayan delikler oluştu. Algoritmada bir sorun olup olmadığını merak ediyorum.
  • Dönüştürülen mesh verimli değil; çok sayıda n-gon içeriyor ve retopology çalışması gerektiriyor.