Tales of Syn( https://www.youtube.com/watch?v=ejw6OI4_lJw ) içinde Stable Diffusion kullanarak 2D izometrik (yaygın adıyla quarter-view) bir RPG için arka plan oluşturma süreci ayrıntılı olarak anlatılıyor.
Kullanılan araçlar:
- Stable Diffusion v1.5
- Automatic1111 WebUI
- Alpaca Photoshop Plugin
- Boosting Monocular Depth
- Substance Designer
- Unity URP
- Amplify Shader Editor
Başlangıçta step count düşük tutulduğu için sonuçlar iyi değildi; ancak step count 100'lü seviyelere çıkarılıp 15~30 CFG (classifier free guidance) uygulandığında daha ilginç sonuçlar elde edildi.
Üretilen görseller Photoshop'ta düzenlendi ve Alpaca adlı Stable Diffusion eklentisi kullanılarak çözünürlük yükseltildi.
Mevcut ışıklandırmayı kaldırıp istenen ışıklandırmayı eklemek için 2D sahneye ait bir normal map gerekiyordu; bunun için Boosting Monocular Depth içindeki MiDaS ve LeRes kullanılarak görselin depth map üretimi otomatikleştirildi.
Bu şekilde üretilen MiDaS depth map ile ters çevrilmiş LeRes depth map görselleri, Substance Designer'da Height to Normal World Units düğümü kullanılarak normal map'e dönüştürüldü ve normal blend düğümü ile birleştirildi.
Amplify Shader Editor ile oluşturulan özel Unity URP shader'ının depth ve normal map'leri kullanılarak, kamera hareketine hafif sahte 3D perspektif eklemek amacıyla parallax occlusion mapping denendi; ancak izometrik görünümde depth yeterince doğru olmadığından sonuç pek iyi görünmedi.
Normal mapping shadow uygulanarak directional light gölgeleri eklenmeye çalışıldı, ancak gerçek ışıklandırma için uygun değildi. Yine de 3D karakterlerin gölgelendirmesini işleyen özel bir lighting pass olarak kullanılma ihtimali var.
2K görsel dört parçaya bölündükten sonra, her biri img2img içinde başlangıçtakiyle aynı prompt kullanılarak daha yüksek çözünürlüğe çıkarıldı; ancak kenarların birbirine bağlanmaması sorunu yaşandı. Sonunda aynı süreç tekrar uygulanarak mevcut dört parçalık yüksek çözünürlüklü görselleri birbirine bağlayan ek görseller üretildi ve bunlar Photoshop'ta birleştirilerek nihai 4K görsel oluşturuldu.
İlgili GeekNews:
https://tr.news.hada.io/topic?id=7206
1 yorum
Geliştirici, bunun dışındaki geliştirme süreçlerini de paylaştı:
Stable Diffusion ile 3D karakter modeli oluşturma:
https://talesofsyn.com/posts/creating-3d-character-models
İzometrik tarzda bir DreamBooth modelini ince ayarlama:
https://talesofsyn.com/posts/fine-tuning-isometric-style