VideoLDM - Latent Diffusion Model ile yüksek çözünürlüklü Text-to-Video sentezi
(research.nvidia.com)- LDM, sıkıştırılmış düşük boyutlu latent uzayda bir Diffusion Model eğiterek çok fazla hesaplama kaynağı olmadan da yüksek çözünürlüklü görüntü sentezini mümkün kılar
- Bu LDM'yi yüksek çözünürlüklü videoya uygulayan NVIDIA makalesi
- LDM, önce yalnızca görüntü için önceden eğitiliyor; ardından temporal dimension eklenerek kodlanmış görüntü dizileri ince ayardan geçiriliyor ve görüntü üreticisi video üreticisine dönüştürülüyor
- Diffusion model upsampler hizalanarak zamansal tutarlılığa sahip ultra yüksek çözünürlüklü bir video modeline dönüştürülüyor
Henüz yorum yok.