RealFill: Difüzyon modelleri kullanarak görüntü tamamlama

• Google Research ve Cornell Üniversitesi tarafından geliştirilen, görüntü tamamlama için yeni bir üretken yaklaşım
• RealFill, görüntünün eksik kısımlarını aslında orada olması gereken içerikle doldurarak daha gerçekçi görüntüler üretmeyi hedefler
• Model, hedef görüntüyle tam eşleşmesi gerekmeyen; bakış açısı, ışık koşulları, kamera diyaframı veya görüntü stili açısından çeşitlilik gösterebilen birkaç referans görüntü kullanılarak kişiselleştirilir
• RealFill, çeşitli ve zorlu senaryoları kapsayan yeni bir görüntü tamamlama kıyaslamasında mevcut yaklaşımları açık farkla geride bırakır
• Süreç, referans ve hedef görüntüler üzerinde önceden eğitilmiş bir inpainting difüzyon modelinin ince ayarını içerir; bu model, giriş görüntüsündeki sahnenin içeriğini, ışığını ve stilini öğrenir
• İnce ayarlanmış model daha sonra standart difüzyon örnekleme süreciyle hedef görüntünün eksik bölgelerini doldurmak için kullanılır
• RealFill, referans ile hedef arasında büyük farklar olsa bile, özgün sahneye sadık ve görsel açıdan etkileyici yüksek kaliteli görüntüler üretir
• RealFill'in sınırlamaları arasında nispeten yavaş gradyan tabanlı ince ayar süreci ve referans ile hedef görüntü arasındaki bakış açısı değişimi çok büyük olduğunda 3D sahneyi geri kurmadaki zorluk yer alır
• RealFill, Stable Diffusion gibi temel önceden eğitilmiş modeller için zorlu örneklerde de zorlanır

[GN⁺]

Hacker News görüşü

• Difüzyon modeli kullanan bir görüntü tamamlama aracı olan 'RealFill' hakkındaki yazı
• Mevcut ve geçmişte çekilmiş fotoğrafları iyileştirmede potansiyel değeri olan bir araç
• RealFill, benzer fotoğrafları tek bir üstün görüntüde birleştirerek iyileştirme yapabiliyor
• Sosyal medya gönderileri için yapay görüntü üretimi yaparak çekiciliği ve eğlenceyi artırabilecek bir araç
• RealFill, film ve TV için kullanışlı bir post-prodüksiyon aracı; "uncropping" ve 4:3 görüntüleri geniş ekrana dönüştürme esnekliği sağlıyor
• Holografik kamera dizilerinde ucuz iğne deliği kameraların sorunlarını düzeltmek için kullanılabilecek bir araç
• RealFill, birinin yanlışlıkla kırpılmış aile fotoğrafını düzeltmek için kullanılabilir
• Lens veya mesafeye bağlı kalmadan uzaklaştırılmış fotoğraflar üreten, yapay zeka tabanlı bir dijital zoom out özelliği
• Demoda "gerçek" ve "restorasyon" terimlerinin kullanımına dair endişeler var; ortaya çıkan görüntüler gerçek ya da restore edilmiş değil, bir yanılsama
• Pixel telefonları daha çekici hale getirebilecek bir araç; Sihirli Silgi ve "gerçek görüntü tamamlama" gibi özellikler sunuyor
• Son yıllarda yapay zekadaki ilerlemeler etkileyici; RealFill gibi araçlar önemli bir gelişim aşamasını temsil ediyor
• Bazı yorumcular, gerçeklik yanılsaması yaratan yapay zeka kullanımının sonuçları hakkında endişe dile getiriyor
• Aracın işlevi, GoPro kameraların selfie çubuğunu kaldırmasına benzetiliyor; bitişik kareleri kullanarak pikselleri dolduruyor