- Hunyuan3D 2.0, yüksek çözünürlüklü dokulu 3D varlık üretimi için büyük ölçekli bir 3D sentez sistemi
- İki ana bileşen:
- Hunyuan3D-DiT: Büyük ölçekli bir şekil üretim modeli olup, ölçeklenebilir akış tabanlı bir fusion transformer üzerine kuruludur ve belirli koşul görselleriyle hizalanmış geometri üreterek kararlı bir temel sağlar
- Hunyuan3D-Paint: Güçlü geometri ve difüzyon ön bilgisinden yararlanarak üretilmiş mesh'ler veya elle hazırlanmış mesh'ler için yüksek çözünürlüklü ve canlı doku haritaları üretir
- Hunyuan3D-Studio, 3D varlıkların yeniden üretim sürecini kolaylaştıran bir platformdur; profesyonellerin ve amatörlerin mesh'leri verimli şekilde düzenlemesini veya animasyonlaştırmasını sağlar
- Hunyuan3D 2.0, geometri ayrıntıları, koşul hizalaması ve doku kalitesi gibi alanlarda mevcut açık kaynak ve kapalı modellerden daha iyi performans gösterir
Hunyuan3D 2.0
Mimari
- İki aşamalı üretim hattı: mesh üretiminin ardından doku haritası sentezi
- Şekil ve doku üretiminin zorluklarını ayırır ve üretilmiş mesh'lere veya elle hazırlanmış mesh'lere esnek biçimde dokulama sağlar
Performans
- Hunyuan3D 2.0, diğer açık kaynak ve kapalı 3D üretim yöntemleriyle karşılaştırıldığında üstün performans gösterir
- CMMD, FID_CLIP, FID ve CLIP-score metriklerinin tamamında tüm kıyaslamaları aşar
Önceden eğitilmiş modeller
- Hunyuan3D-DiT-v2-0: 2025-01-21, 2.6B parametre
- Hunyuan3D-Paint-v2-0: 2025-01-21, 1.3B parametre
- Hunyuan3D-Delight-v2-0: 2025-01-21, 1.3B parametre
API kullanımı
- Hunyuan3D-DiT ve Hunyuan3D-Paint modellerini kullanmak için diffusers benzeri API tasarımı
- Hunyuan3D-DiT ile mesh üretilebilir
- Hunyuan3D-Paint ile doku sentezi yapılabilir
Gradio uygulaması
- Gradio uygulaması üzerinden kişisel bilgisayarda barındırılabilir
📑 Açık kaynak planı
- Çıkarım kodu, model checkpoint'leri, teknik rapor, ComfyUI ve TensorRT sürümü dahil
1 yorum
Hacker News yorumları
3D mesh modelle ilgili sorularda, fotogrametriye uygun bir model olup olmadığı tartışılıyor. Yüksek kaliteli fotoğraflar, tutarlı ışıklandırma ve düz renkli arka plan kullanılmasına rağmen, tipik uygulamalar düşük poligonlu veya çok delikli mesh'ler üretiyor.
Üretken yapay zekanın 3D etkileşimli içerik üretiminin marjinal maliyetini sıfıra indireceği yönünde bir görüş var. Bunun metaverse'ü canlandırma potansiyeli taşıdığı düşünülüyor.
Tencent Hunyuan 3D 2.0 lisansı Avrupa Birliği, Birleşik Krallık ve Güney Kore'de geçerli değil.
Mesh'in marching cubes algoritmasıyla üretildiğini gösteren bir diyagram var, ancak gerçekte farklı bir yöntemle üretilmiş gibi göründüğüne dair bir yorum bulunuyor.
Yapay zeka modelinin evde çalıştırılıp çalıştırılamayacağı soruluyor. Örneğin, 4090 ekran kartında çalıştırılıp çalıştırılamayacağı tartışılıyor.
İçinde "advanced" kelimesi geçen her şeyin iyi olduğuna dair bir yorum var.
Kullanıcı tarafından üretilen içerik sistemleri, "penis problemi" denilen bir sorun yaşayabilir.
Üretken modellere güvenmek ama doğrulamak gerektiği söyleniyor. Bunu doğrudan denemenin önemli olduğu vurgulanıyor.
Hugging Face sayfasında bağlantısı verilen model denenmiş, ancak aşırı kullanım hatası nedeniyle test edilememiş. Sonuçlar ise oldukça iyi görünüyor.
Uzun prompt'lara ihtiyaç duyulduğu, bunun da şüphe uyandırabileceği belirtiliyor. Gerçek kullanımın ne kadar zor olduğunu görmek için basit prompt'larla denemeler yapılmış.
"gitar" prompt'unun sonucu biraz kalın bir gitar olmuş, "monstera yaprağı" prompt'u ise biraz garip bir şekil üretmiş.
"Super Mario" karakteri için verilen prompt'un sonucu şüpheli bulunuyor. Luigi'nin Mario'dan farklı görünmesi gerekirken öyle olmadığı söyleniyor.
"Peach" prompt'unun sonucu güldürüyor; sevimli yüzlü bir şeftali olarak çıkıyor.
"Toad" prompt'unun sonucu deforme olmuş bir Squirtle'a benziyor.
Makaleye arXiv üzerinden ulaşılabiliyor. Üretken modeller çok fazla veriyle eğitildiğinden, veritabanı benzeri bir arayüze ihtiyaç duyulabileceği ifade ediliyor.
3D baskıda işlevsel nesnelere odaklanan bir model hayal edilebileceği söyleniyor.