Toon3D: Çizgi Romanlara Yeni Bir Açıdan Bakmak
(toon3d.studio)- Toon3D, aynı sahneyi tasvir eden çizgi roman ve animasyon görsellerinden kamera pozlarını ve yoğun 3D yapıyı geri çıkararak, gerçekte hiç çizilmemiş bakış açılarından görünümler sentezleyen bir yöntemdir
- Elde çizilmiş sahnelerde açık 3D tutarlılığı eksik olduğundan mevcut SfM yöntemleri kolayca başarısız olur; Toon3D ise görüntüleri deforme ederken kamera ve sahne geometrisini birlikte hizalar
- İş hattı, Marigold derinlik tahmini, SAM transient mask adayları ve Toon3D Labeler ile yapılan insan etiketlemesini birleştirerek eşleşme noktalarını ve transient bölgeleri hizalamaya dahil eder
- Geri çıkarılan yoğun nokta bulutu, Gaussian Splatting başlatması için kullanılır; Nerfstudio tabanlı optimizasyon ve derinlik düzenlileştirmesi ile çizgi roman sahnelerinin fly-through render'ları üretilir
- COLMAP, Bundle Adjustment ve DUSt3R'dan daha kararlı kamera pozları ve sahne geometrisi elde etmeye odaklanır; ayrıca Airbnb odaları ve tablo rekonstrüksiyonu örneklerine de uygulanır
Elde çizilmiş sahnelerde SfM neden zor?
- İnsanlar, 3D olarak tamamen tutarlı olmayan görüntülerde bile temel 3D sahneyi algılayabilir, ancak makineler aynı koşullarda zorlanır
- Çizgi roman ve animasyon görselleri, hikâye anlatımı ve yaratıcı ifade için çoğu zaman açık geometrik tutarlılık olmadan çizilir
- Mevcut Structure-from-Motion (SfM) yaklaşımları 3D tutarlılık varsaydığı için bu tür elde çizilmiş görsellerde büyük ölçüde başarısız olur
- COLMAP, kusursuz eşleşme noktaları olsa bile geometrik olmayan elde çizilmiş görselleri yeniden kuramaz; Bundle Adjustment ve DUSt3R da çok kötü performans gösterir
Tutarsızlığı absorbe eden hizalama yöntemi
- Toon3D, geometrik olarak tutarsız görüntüleri deforme ederek kamera pozları ve sahne geometrisini birlikte geri çıkarır
- Temel fikir, görüntüler arasındaki geometrik tutarsızlığı deformasyonla absorbe ederek sahneyi daha tutarlı bir 3D yapıya uydurmaktır
- Tek görüntüden derinlik tahmininden elde edilen yapısal bilgi bu hizalama sürecine yön verir
- Elle etiketlenmiş anahtar noktalara dayanarak piecewise-rigid deformation optimizasyonu yapılır ve böylece kamera pozları ile yoğun geometri geri çıkarılır
İşleme hattı
- Her görüntünün derinliği Marigold ile tahmin edilir
- Transient mask adayları SAM ile elde edilir
- Kullanıcı, Toon3D Labeler ile görüntüler arası eşleşme noktalarını etiketler ve transient bölgeleri işaretler
- Optimizasyon aşamasında kamera pozları hizalanır ve görüntüler warp edilerek düzeltilmiş perspektif kameralar elde edilir
- Son olarak hizalanmış yoğun nokta bulutundan Gaussians başlatılır ve refinement yürütülür
Kamera ve deformasyonun eşzamanlı optimizasyonu
- Toon3D'nin iki ana hedefi camera alignment ve deformation alignment'tır
- Camera alignment objective, kamera parametrelerini geri çıkarır
- Deformation alignment objective, daha yakın hizalama için mesh'i warp eder
- Gerçek optimizasyonda bu iki hedef aynı anda sağlanır
- Yöntem görselleştirmesi; kameralar, sparse correspondences, warping meshes, point clouds ve gaussians gibi çeşitli katmanları içerir
Yeni bakış açısı sentezi ve fly-through render
- Toon3D önce kamera pozlarını ve hizalanmış nokta bulutunu geri çıkarır
- Ardından yoğun nokta bulutundan Gaussians başlatılır ve geri çıkarılan kameralarla Gaussian Splatting optimize edilir
- Uygulama Nerfstudio tabanlıdır ve derinlik düzenlileştirmesi içerir
- Sonuçlar, çizgi roman sahnelerinin fly-through render'ları olarak görülebilir
- Örnek sahneler arasında Bob's Burgers, Family Guy, SpongeBob SquarePants, Rick and Morty, Simpsons, Spirited Away, Futurama, Avatar, BoJack Horseman, Magic School Bus ve Scooby-Doo bulunur
Toon3D Dataset ve etiketleme aracı
- Toon3D Dataset, çizgi roman ve animasyonlardan oluşan çoklu bakış açılı görsellerden oluşur
- Veri kümesinde güvenilir sparse correspondences açıklamaları bulunur
- Açıklama çalışmasında kullanıcı dostu Toon3D annotation tool kullanılır
- Geri çıkarılan nokta bulutu, novel-view synthesis yöntemlerine bağlanarak çizgi romanların gerçekte çizilmemiş açılardan görülmesini sağlar
- Sayfa, 12 çizgi roman sahnesinin nokta bulutlarını ve geri çıkarılmış kameralarını görselleştirir
Rick and Morty evinin iç mekân rekonstrüksiyonu
- Rick and Morty evinin içi, duvarlarla tavan arasını etiketleyerek odaları birbirine bağlama yöntemiyle yeniden kurulur
- İlk videoda nokta bulutu, kameralar ve özel etiketleme arayüzü gösterilir
- İkinci videoda bir kaydırıcı ile ev içi walkthrough izlenebilir
- En yakın kameranın görüntüsü ekranın sağ alt köşesinde gösterilir
Sparse-view ve diğer girdi örnekleri
- Toon3D, az sayıda görüntü ve büyük bakış açısı değişimi içeren sahneleri de yeniden kurabilir
- COLMAP'in başarısız olabildiği durumlarda Toon3D Labeler ile insan tarafından etiketlenmiş eşleşme noktaları eklenebilir
- Airbnb ilanındaki iki oda, “Living room” ve “Bedroom 2”, için fly-through render'lar sunulur
- COLMAP tüm kameraları geri çıkaramamış olsa da etiketler COLMAP'in başarılı olmasını sağlayabilir
- Toon3D, sahne tamamlama açısından en iyi sonucu üretir
Warp görselleştirmesi ve tablo rekonstrüksiyonu
- Çizgi romanlar elde çizildiği için 3D tutarlılık elde etmek adına görüntülerin warp edilmesi gerekir
- Hizalama optimizasyonu sırasında warp süreci videoyla gösterilir
- Orijinal çizim, warp edilmiş çizim ve iki görüntünün overlap karşılaştırmasını içeren görselleştirmeler de bulunur
- Bulanık bölgeler, yoğun warp uygulanan yerleri gösterir
- Toon3D, elde çizilmiş tablolara da uygulanır; her görüntünün derinliği tahmin edildikten sonra nokta bulutları hizalanıp warp edilir ve Gaussian refinement ile video üretilir
Açık kaynaklar
- arXiv: Toon3D makalesi
- Code: uygulama kodu
- Toon3D Labeler: eşleşme noktaları ve transient bölgeleri etiketleme aracı
- Demo: Hugging Face demosu
- Overview Video: problem tanımı ve yöntem özeti videosu
1 yorum
Hacker News yorumları
Futurama’daki Planet Express binasının 3D tutarsızlık örneği olarak verilmesi ilginç
Dış görünüşün aslında bir 3D modelden bilgisayarla üretilmiş olmasına yakın olduğunu düşünüyorum. Diziyi izleyince binanın etrafında akıcı ve karmaşık biçimde dönen establishing shot’ların sıkça kullanıldığı görülüyor
Fotoğraf gibi görünmeyen 3D sanat (NPR), animasyonda sanılandan çok daha uzun süredir kullanılıyor. Yakınlarda Disney’in 1988 yapımı "Oliver and Company" animasyonunu tekrar izledim; arabaların ve binaların "cel shading" uygulanmış 3D modeller olduğunu görünce şaşırdım. Başta remaster edilmiş sandım ama araştırınca bunun Disney filmleri arasında CGI’ı yoğun kullanan ilk yapım olduğunu[0], izlediğim şeyin de orijinalde bulunduğunu öğrendim
Bulduğum sayfada şöyle yazıyor: "This was the first Disney movie to make heavy use of computer animation. CGI effects were used for making the skyscrapers, the cars, trains, Fagin's scooter-cart and the climactic Subway chase. It was also the first Disney film to have a department created specifically for computer animation."
Kaynaklar
0: https://disney.fandom.com/wiki/Oliver_%26_Company
Bir 3D animatörün doğal görünmesi için neler yaptığını anlatan bir yazı okuduğumu hatırlıyorum. Kamera yanından geçerken gerçek sistem ölçülerine göre çok kısa göründüğü için karakteri 9 fit yapmak, kemerli bir kapıyı devasa yapmak ama belirli bir perspektif çekiminde normal görünmesini sağlamak ya da boy farkı aşırı görünüp tuhaf durmasın diye kısa karakteri ekran dışındaki mavi bir kutunun üstüne çıkarmak gibi. Gerçekte 1.000 fitlik bir koridor olsa da kameranın geçiş biçimi yüzünden dünya içinde 100 fitmiş gibi görünmesi; o koridordaki kapıların her birinin 18 fit yüksekliğinde olması gibi durumlar da var
Futurama gibi yapımlar da bu teknikleri kullandıysa, animatörlerin üzerinde çalıştığı 3D alanı bu şekilde tersine mühendislikle yeniden kurarken dev kapılar, 9 fitlik insanlar ve Öklid dışı koridorlar görülebilir. Kameranın geçişinde akıcı görünmesi, o gerçek 3D modelin başka açılardan da mantıklı olduğu anlamına gelmez
Dijital 3D model olmasa bile, animatörlerin referans alması için stüdyoda ana mekânların fiziksel maketlerinin bulundurulduğu da oluyor
Zaman içinde değişmiş ya da sahneden sahneye farklılaşmış olabilir; bunu Star Trek Enterprise modeli gibi düşünebilirsiniz
Harika ama gerçek kullanım alanının ne olduğunu pek gözümde canlandıramıyorum
2D çizimler genelde tutarlı bir 3D uzama sahip olmaz; makale de bunu kabul ediyor, ama bu sorunu yararlı bir anlamda aşmış gibi görünmüyor. Çizimin yapıldığı özgün kamera konumundan uzaklaştığınız anda sahnenin tutarlılığı epey zayıflıyor
Benzer türde işler bir kullanım alanı olabilir
Bir başka kullanım da 2D çizgi film tabanlı lisanslı oyunları 3D’ye uyarlayan oyun geliştirme stüdyoları olabilir. Planlama ve geliştirme sırasında hızlı yineleme yapmak ve orijinal 2D’nin 3D’ye nasıl çevrileceğini referans almak için bir görselleştirme aracı olarak kullanılabilir
Hem yazarlar hem sanatçılar Looney Tunes’dan büyük ölçüde ilham aldı; orada da bu kurallar komik olduğu için bozulur
Ancak bu eşleme sürecindense yalnızca derinlik tahmini kullanıp boş alanları görüntü üretimiyle doldurmak muhtemelen daha iyi olur
Bu tür ortamlar 3D modelleme açısından büyük emek gerektirmediği için, bu bağlamda gerçek bir kullanım alanı olup olmadığından şüpheliyim
Ham olsa da, çizgi film tabanlı bazı oyun uyarlamalarına kıyasla orijinal görselleri daha iyi aktarmış gibi duruyor
Tutarsız kaynak görsellerden 3D uzay oluşturma fikri gerçekten çok ilginç
Birkaç yıl önce benzer bir şeyi kaba saba ve berbat bir yöntemle denemiştim; yalnızca net bir doğru cevabı olmayan tutarsız mekânlarda değil, en başta 3D bir uzayı temsil etmeye çalışmayan tamamen soyut, mekânsız görsellerde de denemiştim. Kandinsky ya da Pollock gibi soyut tabloları keşfedilebilir bir sanal gerçeklik alanına dönüştürme girişimiydi. Elbette “Pollock tablosunun içinde yürümek” ne demektir sorusunun doğru bir cevabı yok; amaç sadece bunu zorlayınca ne olduğunu görmekti
İş akışı şöyleydi: 1. Tek bir soyut tablo kaynak görseliyle başla 2. SinGan ile “sahnenin” başka “bakış açılarını” üret 3. Kaynak ve SinGan görsellerine 3d-photo-inpainting veya Ken Burns tarzı projeler uygula; monoküler derinlik haritalama ile yakınlaştırma/döndürme/kaydırma videoları çıkar 4. 3d-photo-inpainting karelerini bir fotogrametri uygulamasına koy. NeRF henüz yoktu; hata ve tutarsızlıklara olabildiğince izin vermek için tüm ayarları yükselttim 5. Fotogrametri sürecinin patlamaması için dua et. 10 denemenin 9’unda 24 saat sonra çökmesi acımasızdı
Twitter’a örnek koymuştum diye hatırlıyorum ama arama terimini bulamıyorum. Yine de 2019 seviyesindeki derinlik haritalamayla bile soyut tablolardan epey ilginç videolar çıkmıştı: https://x.com/jonathanfly/status/1174033265524690949 En yakın örnek, kareler arası tutarlılığı olmayan bir NVIDIA GauGAN videosunun fotogrametri sonucu: https://x.com/jonathanfly/status/1258127899401609217
Bu projenin aynı fikri daha iyi yapıp yapamayacağını merak ediyorum. Bu hafta sonu deneyebilirim
Eskiden Quest 2 aldıktan sonra fotogrametri dünyasına dalıp, farklı açılardan çekilmiş nesne fotoğraflarından 3D model oluşturmanın tüm pipeline’ına bakmıştım
MeshRoom’u ve mesh’i temizleyip Unity’ye taşımak için birkaç yazılım kullanmıştım
Yüzeysel anladığım kadarıyla, Unity’de nesnenin etrafında yürüyebilmek gibi bir şeyi VR’a taşırken kilit nokta temiz bir mesh oluşturmak. Bu yazıdaki araçların ürettiği 3D modeller, henüz derinlemesine bakmadım ama, 3D uzaydaki bir nokta bulutuna daha yakın. 3D mesh üretmiyorlar
Araştırırken gördüğüm araçlardan biri https://developer.nvidia.com/blog/getting-started-with-nvidi... gibi bir şeydi; bu da mesh oluşturmuyor. Daha çok video gibi ve VR’da basitçe içinde yürüyebileceğiniz bir şey olmadığını düşünüyorum
Üstü kapalı motivasyonum Matterport benzeri bir şeyi kopyalamak ya da modelleyip emlak şirketlerine satmaktı. Anlayışımda büyük boşluk olan ve ilgimi kaybetmeme neden olan kısım, birden fazla kamera fotoğrafından temiz bir mesh üretme adımının nasıl otomatikleştirileceğinden emin olmamamdı. Bana en emek yoğun kısım burası gibi görünmüştü. Daha sonra bu adımı yapabilen makine öğrenimi modelleri olduğunu duydum, ama o tarafı pek bilmiyorum
Nanite çok karmaşık mesh’leri işleyip gerçek zamanlı olarak algoritmik biçimde basitleştirebilir. Temelde gelişmiş bir LOD sistemi. Sınırlarını bilmiyorum ama denemeye değer. Fotogrametri için Reality Capture’ı şiddetle öneririm. Fiyatı çok ucuz ve tarama başına ödeme yapılıyor
Anladığım kadarıyla bu teknolojiler birkaç görseli girdi olarak alıp bir model eğitiyor; model de bir anlamda görselleri bir sahne modeli olarak render etmenin en iyi yolunu öğreniyor. Gaussian splat, görseli uzaydaki bir tür “topaklar” olarak temsil ediyor ve her görsel aynı topak kümesini belirli bir bakış açısından kullanarak render edilmeli. Dolayısıyla her görsel doğru render edilecek şekilde splat konumlarını yerleştirirseniz sahneyi yeniden oluşturabiliyorsunuz
Şu anda bu eğitim çok maliyetli ve her model için yeniden yapılması gerekiyor, ama çıktı gerçek zamanlı olarak keşfedilebiliyor
Matterport ve benzerlerinin kullandığı fotogrametri yaklaşımı daha eski bir yöntem ve çok daha kaliteli girdi verisi gerektiriyor; ama modern yaklaşımların daha az ve daha düşük kaliteli veriyle de çalışabildiğini düşünüyorum
https://github.com/3DTopia/OpenLRM
NeRF’ten ilham aldığını söylüyor ama temel makale vision transformer kullanmayı seçmiş gibi görünüyor. Açık kaynak sürüm de Meta’nın DINO’sunu temel bileşenlerden biri olarak kullanıyor gibi
Birinin hayal edip çizdiği bir sahneyi alıp kötü de olsa 3D model yapabilmek oldukça şaşırtıcı
Gelecekte bir sanatçının yalnızca birkaç sahne eskizi çizerek doğru bir 3D model elde edebileceğini hayal edebiliriz
Ya da bir 2D sanatçı yalnızca birkaç poz eskizlediğinde, yapısı iyi kurulmuş bir 3D model ve dokular otomatik olarak çıkabilir
Sektörde AI ve benzeri araçların sanatçılar üzerindeki etkisi çokça dert ediliyor; ama dil prompt’una dayalı render’dan ziyade makine öğrenimi sistemlerinin sanatçılarla daha doğrudan işbirliği yaptığı bir gelecek de hayal edilebilir görünüyor
AI eğitiminin ahlaki tartışması konusunda duygularım net değil. Beni daha çok endişelendiren, nasıl eğitildiğinden ziyade insanlar üzerinde nasıl bir etkisi olacağı. Tamamen “etik” biçimde eğitilmiş bir model kusursuz sanat üretse ve sanatçılık niş bir mesleğe dönüşse bile, insanların sanat yapmasında bir değer olduğunu ve bunun bir ölçüde sürdürülebilir olduğu bir toplumun da değer taşıdığını düşündüğüm için, bu medeniyetin bütünü açısından kötü bir sonuç olabilir
Öte yandan insanların görüntü modelleriyle ortaya çıkardıkları sonuçlar da şaşırtıcı, bu yüzden emin değilim. İdeal olarak, piyasa olmasa bile insanların yapmak istedikleri işleri yapabilmelerini destekleyebilsek güzel olurdu; ama dünya henüz buna hazır değil
Grafik sanatçısı değilim ama illüstratörlerin işlerinde karmaşık anlamları aktarmak için çok sayıda yaratıcı ifade tekniği bulunduğunu hissediyorum.
Ancak videoda görülen berbat 3D mekân yeniden inşası, son dönemdeki büyük dil modeli furyasını akla getiriyor.
Yani ortaya çıkan ifade, temel verinin “doğrusu” ya da “gerçeği” ile belirgin bir bağ taşıyor; ama sonraki çalışmalar için kaynak malzeme olarak yararlı sayılacak kadar doğru değil.
Eski çizgi romanların “yeni” bölümlerini görmek gerçekten eğlenceli olurdu. Tabii ardından gelecek telif hakkı karmaşası ayrı mesele.
Belirli bir görüntünün bakış açısından görünüşünü bu kadar kötü yeniden üretmesine şaşırdım.
Örneğin aşağıdaki Magic School Bus’a bakınca, algoritmayı görüntüye daha fazla güvenecek yönde ayarlamak mümkün gibi görünüyor.
Benim çoğunlukla çalıştığım 3D animasyon ve filmde bile arka planlar ya da bulanık ön plandaki nesneler, gerçek dünya düzenine haritalandığında anlamsız olsa da göze doğru görünecek şekilde çarpıtılıp tuhaf biçimde yerleştirilebiliyor. 2D sanat ise gerçek dünya temsiline bundan da daha az bağlı.
Bu tür uygulamalara bakınca, görece soyut temsillerden kavramlar kurabilen beynimizin ne kadar etkileyici olduğunu ve sanatçıların bu daha az tanımlı alanda çalışma becerisinin ne kadar şaşırtıcı olduğunu görüyorsunuz. Bir sahne izleyiciye tutarlı bir perspektife sahipmiş gibi gelebilir; ama arka plandaki kanepe ve sehpa 120 mm lensle çekilmiş gibi çizilmiş, ön plan ise bilerek sıkışık bir 30 mm lens görünümünde çizilmiş olabilir. Karakterlerin var olduğu gerçekçi 3D mekânı çıkarsamamız gerekmez; sadece onların böyle bir mekânda olduğunu anlamamız yeterli olduğundan bu göze doğru görünebilir. Bir mekânda bulunmanın nasıl bir şey olduğunu ve insanların o mekânla nasıl etkileşime girdiğini biliyoruz.
İyi sanat, ana fikri iletmeye yetecek kadarını verir, onu mesajın odağı yapar ve beynin bilinçdışı biçimde bağlantılar kurup bağlam ekleyerek eksiksiz bir “deneyim” oluşturmasını sağlar. Kanepe ve sehpanın türünden, sık sık bükülen ya da abartılan ölçek ve nesneler arası ilişkilere kadar her şey, amaçlanan sanatsal etki için bir iletişim katmanı olabilir ve çoğu zaman gerçek dünyada tutarlı bir karşılığı bulunmaz. Ayrıca herhangi bir çekimde kompozisyona yardımcı olmak ya da etkileşimi vurgulamak için nesnelerin yerinin değiştirildiği de kesinlikle olur. Fark ederseniz bu bir süreklilik sorunudur; fark etmezseniz iyi yapılmış demektir. Ezici çoğunlukla kimse fark etmez; yalnızca her açıdan kompozisyonu ikna edici bir dünya görmüş gibi hisseder.
Çizgilere bakıp gerçek dünyada o temsile karşılık gelen bir senaryo bulması gereken bir algoritma, en başından hiçbir tutarlı biçimde var olamayacak bir şeyi yapmaya çalışıyor olabilir.
Video dolu bir sitede neden hepsinde otomatik oynatma ve sonsuz döngü açık bırakılıyor, anlamıyorum.
İkinci ekranda bir video izliyordum; siteyi her açtığımda takılıyor.
Ancak güç düğmesiyle yeniden başlatınca düzeldi.
Spirited Away örneğini Miyazaki’ye gösterseniz muhtemelen bunu hayatın kendisine hakaret diye adlandırırdı.
Yani abartı değil.
Bunu yazmadan önce bir 3D animatörle konuşmamış olmaları şaşırtıcı. Aşağıdaki cümle düpedüz yanlış
Projenin kendisinde bir sorun yok. Araştırma araştırmadır; ayrıca bunu “çözülmüş bir problem” gibi paketlemiyorlar. Ama belirli bir teknoloji insanı kesimi arasında yapay zeka görüntü araçları, hiçbir dayanağı olmayan sanatı çözdük tarzı bir gösterişe yol açıyor. Bunun sonucu olarak da temel sanat ilkeleri hakkında temelsiz varsayımlar kibirli, bazen de tepeden bakan bir tavırla ortaya atılıyor
Yazılım alanında uzun süredir çalışıyorum; yazılım geliştirmedeki kibrin yeni bir şey olmadığını ve bazen faydalı bile olabildiğini biliyorum. Ama yazılım dünyasında tek bir konu etrafında bu kadar yoğun bir kolektif aşırı özgüveni çok nadir gördüğümü düşünüyorum
Basit bir örnek olarak, sitcom’larda kare bir oda gibi görünen pek çok set aslında yamuktur ve duvarlar geniş açılarla birleşir. Bunu fark eden neredeyse kimse yoktur
HD öncesi yapımlarda bu daha da geçerliydi. Çünkü yüz ifadelerini ve beden dilini okuyacak kadar yakın bir perspektif kurmak için insanların ya da karakterlerin kadraja epey sıkışık girmesi gerekiyordu. O dönemin en “gerçekçi” ve ağırbaşlı dizilerini deşseniz bile, belirli bir planın işlemesi için mobilyaların, hatta duvarların bile sessizce yerinin değiştirildiği anları eninde sonunda bulursunuz