Toon3D: Çizgi Romanlara Yeni Bir Perspektiften Bakmak

• İnsanlar, 3D tutarlılığı olmayan görüntülerde bile 3D dünyayı algılayabilir
• Toon3D, piecewise-rigid deformable optimizasyonu üzerinden kamera pozlarını ve yüksek yoğunluklu geometrileri geri kazanabilir
• Elle çizilmiş sahneler 3D tutarlı değildir, ancak Toon3D ile geri kazanılabilir ve daha önce görülmemiş yeni görünümler enterpole edilebilir

Abstract

• Toon3D öneriliyor
  • Geometrik olarak tutarlı olmayan sahnelerin temel 3D yapısını geri kazanır
  • Çizgi roman ve animasyonlardaki elle çizilmiş görüntülere odaklanır
  • Birçok çizgi roman, 3D rendering motoru olmadan sanatçılar tarafından doğrudan çizilir
  • Elle çizilmiş görüntüler dünyayı niteliksel olarak aslına sadık biçimde gösterse de, birden fazla bakış açısını 3D tutarlı şekilde çizmek zordur
  • İnsanlar, tutarsız girdilerden bile 3D sahneleri kolayca algılayabilir
  • 2D çizimlerdeki tutarsızlıkları düzelterek yeni dönüştürülmüş çizimlerin birbiriyle tutarlı olmasını sağlar
  • Kullanıcı dostu açıklama aracı, kamera pozu tahmini ve görüntü deformasyonu ile yoğun yapı geri kazanılır
  • Görüntüler, perspektif kamera modeline uyacak şekilde dönüştürülerek yeni görünüm üretimi yeniden yapılandırma yöntemlerine eklenti olarak kullanılabilir

Çizgi roman yeniden yapılandırması

• Önce kamera pozları ve hizalanmış nokta bulutu geri kazanılır
• Yoğun nokta bulutundan Gaussian'lar başlatılır ve geri kazanılan kameralarla Gaussian splatting optimize edilir
• Derinlik regularizasyonu vardır ve Nerfstudio tabanlıdır
• Sahnenin fly-through render'ı gösterilir

Yöntem

• Her görüntünün derinliği Marigold ile tahmin edilir ve SAM ile geçici aday maskeler elde edilir
• Toon3D etiketleyicisi ile görüntüler etiketlenerek eşleşmeler elde edilir ve geçici bölgeler işaretlenir
• Kamera pozları optimize edilir ve görüntüler çarpıtılarak düzeltilmiş perspektif kameralar elde edilir
• Hizalanmış yoğun nokta bulutuyla Gaussian'lar başlatılır ve iyileştirme uygulanır

Toon3D etiketleyicisi

• Yöntemin iki ana adımı gösterilir
  • Seyrek hizalama videosu: kaba kamera parametresi tahmini
  • Yoğun hizalama videosu: çeşitli katmanlar (kamera, seyrek eşleşmeler, çarpıtma ağı vb.) kullanılarak 3D'de nasıl hizalama yapıldığını gösterir

Rick and Morty evinin içini keşfetmek

• Duvarlar ve tavan etiketlenerek odalar bağlanır ve Rick and Morty evinin içi yeniden yapılandırılır
• İlk video: nokta bulutu, kameralar ve özel etiketleme arayüzünü gösterir
• İkinci video: slider sürüklenerek evin içinde gezinilebilir

Nokta bulutu ve kameralar

• Toon3D veri kümesindeki 12 çizgi roman sahnesi için nokta bulutları ve geri kazanılan kameralar gösterilir
• Sahneleri keşfetmek için simgelere tıklanabilir

Seyrek görünüm yeniden yapılandırması

• Az sayıda görüntü ve büyük bakış açısı değişimleriyle sahne yeniden yapılandırılabilir
• COLMAP'in başarısız olabileceği yerlerde, insanlar Toon3D etiketleyicisiyle etiketlenmiş eşleşmeler sağlayarak sürece müdahale edebilir
• Airbnb ilanındaki iki oda ("oturma odası" ve "yatak odası 2") için fly-through render'lar gösterilir

Tutarsızlık görselleştirmesi

• Çizgi romanlar elle çizildiği için görüntülerin 3D tutarlı olacak şekilde çarpıtılması gerekir
• İlk öğe: hizalama optimizasyonu sırasında çarpıtmanın oluştuğunu gösteren video
• Sonraki iki öğe: orijinal ve çarpıtılmış çizimleri ve iki çizim arasındaki örtüşmeyi gösteren görseller
• Bulanık bölgeler, çok fazla çarpıtmanın meydana geldiği yerleri gösterir

Çizim yeniden yapılandırması

• Toon3D kullanılarak elle çizilmiş resimler de yeniden yapılandırılabilir
• Her görüntünün derinliği tahmin edilir, ardından nokta bulutları hizalanır ve çarpıtılır
• Son olarak Gaussian iyileştirmesi kullanılarak video üretilir

GN⁺ görüşü

• Toon3D, çizgi roman ve animasyonlardaki elle çizilmiş görüntüleri 3D olarak yeniden yapılandırmak için yenilikçi bir yöntemdir
• Bu teknoloji yeni bir görsel deneyim sunar ve özellikle animasyon üretimi ile oyun geliştirme açısından çok faydalı olabilir
• Ancak elle etiketleme süreci biraz zahmetli olabilir; otomatik yöntemlerin daha da gelişmesi yararlı olur
• Benzer işlevler sunan diğer projeler arasında COLMAP ve Nerfstudio bulunur
• Bu teknolojiyi kullanırken doğru etiketleme ve derinlik tahmini önemlidir; bunlar sayesinde daha tutarlı 3D yeniden yapılandırmalar elde edilebilir

[GN⁺]

Hacker News görüşü

Hacker News yorum derlemesi özeti

• Futurama’daki Planet Express binası örneği

  • Futurama’daki Planet Express binasının 3D tutarsızlık örneği olarak kullanılması ilginç. Aslında 3D modelden üretilmiş gibi görünüyor.
  • Grafik sanatçısı değilim ama illüstratörlerin sanatlarında karmaşık anlamları iletmek için yaratıcı ifade teknikleri kullanmasını takdir ediyorum.
  • Son dönemdeki LLM’lerin (büyük dil modelleri) abartılı tanıtımına benzer şekilde, “kafa karıştırıcı” 3D uzamsal yeniden yapılandırmaları hatırlatıyor.

• 3D uzam üretmenin eğlencesi

  • Tutarsız kaynak görüntülerden 3D uzam üretmek çok eğlenceli bir fikir.
  • Birkaç yıl önce soyut, mekânsal olmayan görüntüleri sanal gerçeklik uzamlarına dönüştürmeyi denemiştim. Örneğin Kandinsky ya da Pollock’un soyut resimlerini keşfedilebilir sanal gerçeklik ortamlarına dönüştürmek gibi.
  • İş akışı, soyut bir görüntüyle başlayıp SinGan kullanarak “sahne” için alternatif “bakış noktaları” üretmek, ardından 3D fotoğraf inpainting ile derinlik eşlemesi yapmak ve son olarak kareleri bir fotogrametri uygulamasına vermekten oluşuyordu.

• Gelecekte 3D model üretme olasılığı

  • Hayal edilen bir sahnenin çizimine dayanarak bile (düşük kaliteli de olsa) 3D model üretilebilmesi şaşırtıcı.
  • Gelecekte sanatçılar yalnızca birkaç görüntüyle doğru 3D modeller elde edebilir.
  • AI benzeri araçların sanatçılar üzerindeki etkisine dair kaygılar var. Yine de makine öğrenimi tabanlı sistemlerin sanatçılarla daha doğrudan iş birliği yaptığı bir gelecek hayal edilebilir.
  • Sanatçıların sanat üretmesinin değerini düşündüğümüzde, AI’nın sanatçıların yerini alması tüm uygarlık için kötü sonuçlar doğurabilir.

• 2D sanat eserlerini 3D’ye dönüştürme sorunu

  • 2D sanat eserlerinin tutarlı bir 3D uzamı yok. Bunun faydalı biçimde çözülmüş gibi görünmüyor.
  • Orijinal kamera konumundan çıkıldığında sahne neredeyse tamamen tutarsız hâle geliyor.

• Fotogrametri ve VR

  • Quest 2 kullanarak fotogrametri üzerine araştırma yapmış biri var. Farklı açılardan çekilmiş fotoğraflarla 3D model oluşturma sürecini incelemiş.
  • VR’ye aktarırken önemli olan temiz bir mesh oluşturmak. Mevcut araçlar henüz 3D mesh üretmiyor.
  • Matterport benzeri modeller üretip bunları emlak şirketlerine satma motivasyonu vardı. Ancak temiz mesh’i otomatik üretme aşaması en fazla emek gerektiren kısım.

• Algoritmanın geliştirilmesi gerekiyor

  • Belirli görüntülerin bakış açısından görünümü yeniden üretme konusunda performans iyi değil. Örneğin Magic School Bus örneği veriliyor.
  • Algoritmanın görüntüye daha fazla güvenecek şekilde ayarlanması gerekiyor.

• Sitede videoların otomatik oynatılması sorunu

  • Tüm videoların otomatik oynatılıp döngüye girdiği bir site rahatsız edici. İkinci ekranda video izlerken siteyi ziyaret etmek takılmalara neden oluyor.

• Miyazaki’nin tepkisi

  • Spirited Away örneği Miyazaki’ye gösterilse, muhtemelen bunun hayatın kendisine hakaret olduğunu söylerdi.

• Beklentilerin altında kalan sonuçlar

  • Tüm örnekler çok kötü görünüyor. Ara karelerdeki gürültü ve bulanıklık yüzünden sonuçlar orijinallerle birlikte kullanılamaz.
  • Her öğenin başlangıç ve bitiş noktaları neredeyse hiç birleşmiyor. Duvarlar, kapılar vb. hedefe doğru uçuyor ama nihai konumdan birkaç fit uzakta kayboluyor.
  • Fikir harika, ancak gerçekten çalışan bir sürümünü görmek isterdim.