Üretken Görüntü Dinamikleri

• Tek bir durağan görüntüye sahne hareketinin görüntü uzayı önsel dağılımını uygulayarak onu döngüsel videoya veya etkileşim kurulabilir dinamik bir sahneye dönüştüren bir yaklaşımdır
• Eğitimde ağaçlar, çiçekler, mum alevleri ve rüzgârda sallanan kıyafetler gibi doğal biçimde salınan hareketleri içeren gerçek video sekanslarının yörüngeleri kullanılır
• Model, uzun vadeli hareketi Fourier alanında ele alır ve tek görüntü girdisiyle frekans ayarlı difüzyon örneklemesi üzerinden bir spektral hacim tahmin eder
• Tahmin edilen spektral hacim, tüm videonun hareket dokusuna dönüştürülür; döngüsel video üretimi ve gerçek fotoğraflardaki nesnelerle etkileşim için kullanılır
• Demo, WebGL2 destekleyen bir tarayıcı gerektirir ve hız için makaledeki yüksek kaliteli render modeli yerine mesh-warping kullanır

---

Durağan görüntülerden dinamik sahneler oluşturma

• Generative Image Dynamics, sahne hareketi için görüntü uzayında bir önsel dağılım modelleme yöntemidir
• Girdi tek bir durağan görüntüdür; çıktı ise akıcı biçimde döngüye giren bir video veya kullanıcının etkileşim kurabildiği dinamik bir sahnedir
• Makale, arXiv ve ek materyaller görülebilir
• Bu çalışma CVPR 2024 Best Paper Award aldı

Hareket önsel dağılımı ve render yöntemi

• Eğitim verisi, gerçek video sekanslarından çıkarılmış hareket yörüngeleri koleksiyonudur
  • Ağaçlar, çiçekler, mum alevleri ve rüzgârda sallanan kıyafetler gibi doğal ve salınımlı hareketler örnek olarak kullanılır
• Model, yoğun ve uzun vadeli hareket önsel dağılımını Fourier alanında modeller
  • Tek bir görüntü verildiğinde frekans ayarlı difüzyon örneklemesiyle bir spektral hacim tahmin eder
  • Spektral hacim, videonun tamamına yayılan bir hareket dokusuna dönüştürülebilir
• Görüntü tabanlı render modülüyle birleştirildiğinde çeşitli uygulamalar mümkün olur
  • Durağan görüntüleri akıcı biçimde döngüye giren videolara dönüştürür
  • Spektral hacmi görüntü uzayında modal bazlar olarak yorumlayarak gerçek fotoğraflardaki nesnelerle gerçekçi biçimde etkileşim kurulmasını sağlayabilir
  • Nesnelerin kullanıcı uyarılarına dinamik tepkileri, Davis ve diğerlerinin modal analizi kullanılarak simüle edilir

Demo ve ek kullanım alanları

• Demo, görüntü üzerindeki bir noktaya tıklayıp sürükledikten sonra bırakınca sahnenin nasıl hareket ettiğini gösterir
  • Tarayıcının WebGL2 desteklemesi gerekir
  • Hız için makalede yer alan yüksek kaliteli render modeli yerine mesh-warping kullanır
• Hareket dokusunun genliği ayarlanarak animasyon hareketi azaltılabilir veya artırılabilir
• Tahmin edilen hareket dokusu enterpole edilirse ağır çekim video oluşturulabilir
• İlgili önceki çalışmalar arasında Animating Pictures with Stochastic Motion Textures, Image-space Modal Bases for Plausible Manipulation of Objects in Video ve Visual Vibration Analysis yer alır

[GN⁺]

Hacker News yorumları

• Gerçekten harika. Sinemagrafları uzun zamandır seviyorum; ister pazarlama ister çekim işi olsun, çalışmalarımda hafif bir durağanlık hissi katmaya çalışıyorum. Bu yüzden bunun sık kullanacağım bir araç olabileceğini düşünüyorum.
  10 puanlık bir sinemagrafın püf noktası, ne kadar incelikliyse etkisinin o kadar büyük olmasıdır. İzleyicinin önce bunun hareketsiz bir fotoğraf olduğunu sanması, sonra beyninin gecikmeli olarak “bir dakika, burada bir gariplik var; bu fotoğraf değil, video” diye fark etmesi daha iyi.
• Ağaçlarda kenardan sürükleyince bozulma çok fazla oluyor. Yine de ilginç bir fikir.
  • Muhtemelen bunu segmentasyon ve arka plan katmanı için generative fill ile birleştirmek gerekir. Neyse ki o taraf da epey gelişmiş durumda.
• İlk fotoğraftaki kırmızı gülde arka plandaki çiçekler de hareket ediyor; üçüncü fotoğraftaki ağaçta neden aynı etki görünmüyor merak ediyorum.
  İlk ve ikinci fotoğraflardaki hareket miktarının farklı olması da ilginç; belki de imlecin çevresindeki yoğunluğu hesaba kattığı içindir. Yavaş hareket örneğini izlemek gerçekten rahatlatıcı.
  • Neden bilmiyorum ama gül örneği biraz ürkütücü geldi.
• Google araştırmacılarının açık makaleleri demolarla birlikte yayımlamaya devam etmesini görmek güzel. Google’ın yapay zeka araştırmalarını ürüne dönüştürmekte ya da açık kaynak olarak yayımlamakta başarısız olduğu konusunu tekrar etmeyeceğim.
• Gerçekten harika. Dünyayı sarsacak ya da üretkenliği artıracak bir şey değil ama yine de çok güzel.
  Masaüstü ve telefon duvar kâğıtları için varsayılan bir özellik hâline gelebilir. Su ya da bulutların yumuşak hareketini de işleyebiliyorsa, tarih belgeselleri gibi yerlerde fotoğraflara seçici olarak uygulanması da iyi olur.
• Demoda WebGL kullanmışlar. Güzel.
  • Video oyunlarına girerse müthiş olur. Çalıların arasından yürürken bitkilerin bedeninize takılıp sürüklenmesi gibi şeyler mümkün olabilir.
• Bu, EbSynth gibi düşük vektör hareketi gerektirme sınırlamasına sahip.
  • Buradaki başarı daha çok görüntünün dinamiklerini üretme tarafında gibi. Örneğin görüntüde bir kedi varsa model kedinin nefes alması gerektiğini anlayıp akciğerlerin kasılıp gevşediği bir hareket üretiyor; makale de bu görüntü dinamiklerini ve kaynak görüntüyü pürüzsüz bir videoya dönüştürme yöntemini ele alıyor gibi. Yanılıyor olabilirim.
• Statik bir fotoğrafın Harry Potter tarzı çerçeveli fotoğrafa dönüşmesine bir adım kalmış gibi.
• Vay, gerçeküstü görünüyor. Photoshop’a entegre edilirse bir an önce denemek isterim.