AniSora: Açık kaynak animasyon video üretim modeli

• AniSora, Bilibili tarafından geliştirilen; animasyon, manga, VTuber ve daha birçok stili destekleyen açık kaynaklı bir yapay zeka video üretim modelidir
• Yüksek tamamlanmışlık düzeyine sahip yüksek çözünürlüklü animasyon videoları, görüntü veya metin prompt'larıyla kolayca üretilebilir
• Manga ve animasyona özel algoritmalar ile büyük ölçekli veri kümeleri temelinde, gerçekçi hareketler ve ifade gücü yüksek çıktılar sunar
• Uzman olmayanların da kolayca kullanabileceği sezgisel arayüzü ve topluluk tabanlı iş birliği ortamı öne çıkan güçlü yönleridir
• Kısa bölüm, PV, VTuber, konsept sanatı gibi çeşitli kullanım senaryoları için uygundur

---

AniSora nedir?

• AniSora, Bilibili tarafından geliştirilen en güçlü açık kaynak animasyon video üretim modelidir
• Tek tıklamayla animasyon serileri, Çin animasyonu, manga uyarlamaları, VTuber, animasyon PV gibi farklı tarzlarda videolar üretebilir
• Yalnızca görüntü veya metin prompt'larıyla durağan sahneleri dinamik ve ayrıntılı animasyonlara dönüştürebilir
• AniSora'nın temelindeki araştırma, IJCAI’25'e kabul edilen güncel bir teknik makaleye dayanmaktadır

AniSora örneklerine giriş

• AniSora ile üretilen örnek videolar, sabit görüntüleri doğal biçimde hareket eden animasyonlara dönüştürme yeteneğini gösterir
  • Örn.) arabada saçları rüzgârda savrulan bir sahne, ellerini kaldırıp dans eden birden fazla kız, yüksek hızda koşan bir karakterde hareket bulanıklığı
• Bu model, karakterlerin duygu ifadesi, hareket dinamiği, sahne geçişleri gibi manga ve animasyonda gereken çeşitli anlatım unsurlarını gerçekçi biçimde hayata geçirir

AniSora'nın başlıca avantajları

Animasyon/manga stiline özel algoritmalar

• Büyük ölçekli animasyon ve manga veri kümeleri ile eğitilmiş özel bir model mimarisi kullanır
• Kendine özgü görsel stil ve anlatımı doğru biçimde yeniden üretir
• En yeni manga uyarlamaları ve trendleri de yansıtan yüksek kaliteli çıktı üretebilir

Sezgisel arayüz

• Teknolojiye aşina olmayan kullanıcıların da doğrudan video üretimi yapabilmesi için tasarlanmıştır
• Tek tıklamayla herkes kolayca manga ve VTuber videosu üretimini deneyimleyebilir

Yüksek kaliteli animasyon video desteği

• AniSora, varsayılan olarak 1080p yüksek çözünürlüklü video çıktısı sunar
• Farklı platformlara uygun optimize edilmiş videolarla, projeler, sosyal medya, PV ve diğer kanallarda kullanılabilir

AniSora SSS özeti

AniSora nedir?

• AniSora, Project Index-AniSora'nın bir parçası olarak Bilibili'nin yayımladığı açık kaynak animasyon video üretim modelidir
• Yalnızca görüntü veya metin prompt'larıyla yüksek çözünürlüklü, animasyon tarzı videolar otomatik olarak üretebilir
• Hareket tutarlılığı ve ifade gücü odaklı güncel araştırma sonuçlarını yansıtır

Diğer yapay zeka video üretim araçlarından farkı

• AniSora, animasyon ve manga stili için özelleşmiş performansa odaklanır
• Bilibili'nin uzmanlığı ve topluluk merkezli açık kaynak projesi yapısıyla, anime serileri, manga uyarlamaları, VTuber gibi özel amaçlı video üretimi için optimize edilmiştir

Video ve ses desteği var mı?

• Şu anda AniSora, video üretimine odaklanan bir modeldir
• Ses sentezi gibi ek özelliklerin sunulup sunulmadığı için güncel belgelere bakmak gerekir

Animasyon/manga üreticileri için uygun mu?

• AniSora, karakter tutarlılığı ve ifade gücü yüksek hareketler üretmek üzere optimize edildiğinden, içerik üreticileri için (özellikle animasyon, PV, manga ve VTuber alanlarında) ideal bir araçtır

Başlıca kullanım örnekleri

• Animasyon kısa filmleri, sosyal medya videoları, PV, manga panel animasyonu, VTuber, konsept sanatı, storyboard gibi geniş bir kullanım alanı sunar

Video kalitesi ve uzunluğu

• AniSora, yüksek çözünürlükte (1080p) kısa video üretiminde güçlüdür
• Genel olarak kısa klip formatı uygundur; ayrıntılı kısıtlar için resmî belgelerdeki güncel bilgiler kontrol edilmelidir

Stil ve hareket kontrolü nasıl yapılır?

• Görüntü veya metin prompt'ları girilerek kullanıcının istediği görsel stil ve hareket yönlendirilebilir
• Animasyon alanındaki verilere dayanarak hareket özelleştirme, karakter tutarlılığı, ayrıntılı stil uygulaması gibi gelişmiş denetimler desteklenir
• Çalışabilir kapsam, sürüm veya arayüze göre değişebilir

Sonuç

• AniSora, animasyon ile manga/VTuber video üretimine özel, üst düzey açık kaynaklı bir yapay zeka video üretim modelidir
• Fark yaratan stil yeniden üretimi, sezgisel kullanım ve yüksek çözünürlüklü video üretimi başlıca avantajlarıdır
• Topluluk odaklı açık kaynak kültürü ve üretici desteğine vurgu yaparak hem Japon animasyonu hem de Çin animasyonu alanında yüksek kullanım değeri sunar

[GN⁺]

Hacker News görüşleri

• Bazı sonuçların webtoon, manga, muhtemelen pixiv gibi kaynaklardan açıkça eğitildiği izlenimine kapılıyorum. Bunun izlerini CG binalarda ya da çeşitli diğer yapay artifaktlarda kolayca görmek mümkün. Sonuçta telifli materyalle eğitildiği sonucuna varıyorum. Sanat, metin gibi sentetik bir şekilde üretilebilecek bir alan olmadığı için, insan sanatçılar her zaman önemli bir yerde kalacak ya da sonuçlar sürekli garip artifaktlar üretmeye devam edecek. Bu yüzden ileride sanatçıların "AI" eğitimi için bir iş koluna indirgenmesi gibi bir yola girileceğini düşünüyorum. Ama öte yandan, insanların kendi sevdikleri şeyleri çizip bunun model eğitiminde kullanıldığı bir yapı olursa o kadar da kötü gelmiyor. Telif hakkı ve ticari marka konusunda AI yanlısı bir pozisyondayım, ama bize eğlence sunan pek çok insanın başına ne geleceğini hâlâ merak ediyorum. Kalite yükselmeye devam mı edecek, yoksa "AI için fazla zor" diye meydan okuyucu stiller kaybolup her şey birbirine mi benzeyecek diye düşünüyorum. Bu, PC'lerin ve makinelerin insanları ikame etmesinden farklı bir his; sanki bir son durağa gelmişiz gibi.

  • İllüstratörlere ve sanatçılara karşı bir empati hissediyorum. Ama eğitim verisinin roman, resim, şarkı, kod hatta hukuki belge olması arasında büyük bir fark görmüyorum. Annem de daktilo döneminin çevirmenliğinden makine çevirisi korpus-veritabanı ortamına geçti; iş miktarı giderek azaldı, ücretler de düştü. Sonunda mekanik ve tekrarlı işler daha ucuz robotlara gidecek.
  • 30 yılı aşkın süredir çizen bir sanatçı olarak konuşuyorum. AI eğitim destek işine indirgenmek fikri saçma. Sanatçılar sadece para kazanmak için çizmez; çoğu zaman "eğlence" için de çizer. Son 3 yıldaki AI tartışmalarında bu temel noktanın hep eksik kalması üzücü.
  • Sanatçıları "AI eğitimi" iş koluna indirgemek o kadar da kötü değil mi? Bana göre bu, distopik bir romandan çıkmış bir durum. Çoğu sanatçı, işinin modele yedirilip parçalanmasına hizmet etmekten nefret eder. Bu artık sanat değil, makinenin bir parçası olmak olur. Sanat, rastgele birkaç resim çizmekten ibaret değil. Böyle bir durumda sanatçılar nasıl geçinecek, kim "herkesin çizmek istediği şeyi" çizip modele sunmasının masrafını karşılayacak, bunun için kaç kişi istihdam edecek gibi temel sorular var. İnternet zaten başarısız deneme görselleriyle dolu ve insanları kandırmaya dönük spam ya da dolandırıcılık katmanının gerçek yaratıcı katmandan daha büyük bir pazar hâline geldiğine eminim. İleride daha da kötüleşecek.
  • AI ve telif hakkı tartışmalarında gördüğüm sorun, asıl faydayı sadece büyük şirketlerin sağlaması. ChatGPT gibi yerlerde ünlü eserler otomatik engelleniyor ama küçük sanatçıların işleri için aynı şey geçerli değil. Ya herkese açık olmalı ya da hiç kimseye olmamalı.
  • Sanatçıların telif hakkını savunurken aynı anda telif açısından AI'ı güçlü biçimde destekleyen tavrın ilginç olduğunu düşünüyorum. Bu alan birçok kişi için duyguların yoğun olduğu bir konu ve genelde uç görüşler görüyoruz; iki tarafı birden gören yaklaşım nadir. AI çağında telif hakkının rolü hakkında ne düşündüğünü merak ediyorum.

• Artık sonunda istediğimiz Haruhi sezon 3'ü üretebileceğimiz bir döneme giriyor olabilir miyiz diye heyecanlanıyorum. Gerçekten yaşamak için güzel bir zaman gibi.

  • 5 ya da 10 yıl sonra tekrar konuşalım. Henüz o kadar yaklaşmışız gibi gelmiyor. Gidişatı merak ediyorum.
  • Animasyonda (film ya da DBZ gibi şeyler hariç) düzgün şekilde izlediğim ilk seri buydu. Hâlâ anıları çok canlı. Yönetmen yüzünden yarım kalmış olması gerçekten üzücü. Biri bu seriyi bitirse ya da reboot yapıp tamamına erdirse harika olurdu.
  • Ya da bir <i>Neon Genesis Evangelion</i> yeniden yapımı olsa keşke.
  • Yok artık... gerçekten hâlâ bitmedi mi? Ben şu an 1. sezonu ilk kez izliyorum...
  • Bu animeyi 10 yıldan uzun süre unutmuşken adını tekrar duyunca yoğun bir nostalji yaşadım.

• <i>Neon Genesis Evangelion</i> tanıtım illüstrasyonuyla denedim. Sonuç fena değil ama kafa dönerken saç animasyonunda zamansal artifaktlar oluşuyor. Örnek derlemeleri gibi bakılabilecek bir sayfa da var.

  • Link çalışmıyor.

• Makaleden alıntı özet: "Değişken uzunlukta eğitim yaklaşımı getirildi; 2 saniye ile 8 saniye arası segmentlerle eğitildi. Bu stratejiyle 2 ila 8 saniyelik 720p videolar üretilebiliyor." Bunu FramePack ile benchmark etmek isterdim. Özellikle 2d animasyonda kare süresi kısıtlarının neredeyse olmaması bir avantaj gibi görünüyor.

• AI animasyon içeriğiyle ilgileniyorsanız AniGen yarışmasına katılmanızı öneririm.

  • Son tarih 20 Mayıs, o yüzden acele etmek gerekebilir.

• Aynı karakteri farklı sahnelerde ve açılarda tutarlı biçimde gösterebiliyor mu diye merak ediyorum. Bence bu, şimdiye kadar görüntü üretim dünyasının sınırıydı.

• İlk örnekte bile bir sürü hata görünüyor. Gömleğin kol kısmı bozuluyor, hareket eden saçlar kaybolup tekrar ortaya çıkıyor. Sonuçta gerçekten hareket eden şeyler çoğunlukla kollar ve bulutlar.

• Hesabı ve girdileri değiştirsem de her seferinde tuhaf hatalar çıkıyor, düzgün çalışmıyor.

• Böyle servislerle üretilen videoların telif durumunu merak ediyorum. Telif koruması alıp almadığını bilmek isterim. ABD Telif Hakkı Ofisi'nin mevcut tutumu şu: "Üretken AI çıktıları ancak insan yazarın yeterli düzeyde yaratıcı unsurları belirlediği (yerleştirdiği) durumlarda telif korumasına uygundur." Eğer korunmuyorsa, böyle bir servisle film vb. yapıldığında bunların doğrudan kopyalanma ve intihal edilme riski de doğar. Bu aracın hangi verilerle eğitildiği konusunu ise burada ayrı tutuyorum.

• <i>The Beginning After the End</i>'in dövüş sahneleri bu araçtan geçse ne kadar farklı olurdu görmek isterim. Cidden bundan sonra yönün ne olacağını merak ediyorum. İnsanlar görsel hatalar ve artifaktlar biraz fazla olsa bile sevdikleri bir serinin yeni sezonu çıkarsa bunu tolere eder mi, yoksa 3D modellerin beceriksiz kullanımında olduğu gibi itici mi bulurlar?

  • Toei Animation'ın AI'ı çeşitli alanlara uygulamaya yönelik planları var. Örneğin storyboard üretiminde (basit yerleşim ve kamera açısı oluşturma), renk atama ve otomatik renk düzeltmede, douga'da (çizgi çizimi ve ara sahnelerin otomatik üretilmesi), arka planlarda (fotoğraflardan otomatik üretim) kullanmayı hedefliyor. Son kaliteyi yine yönetmen üstleneceği için artifaktsız iyi sonuçlar çıkacağını düşünüyorum; ayrıca bağımsız üreticiler de mükemmel olmasa bile kendi işlerini üretebilir, bu yüzden olumlu bakıyorum.
  • Bu kadar yeni deneme ya da ilerleme yokken buna anlam yükleyip tartışmaya değer mi emin değilim. Bizzat denedim ama video üretimi AI'ının mevcut zayıflıkları aynen duruyor. Zincirleme ya da dinamik aksiyon sahnelerini işlemede en zayıf nokta burası; özellikle animede bol olan aksiyon sahnelerini düzgün kapsayamıyor. Bu araç da tatmin edici değil, çoğu kapalı kaynaklı (ticari) model de değil.
  • Gelecekte AI'ın douga için kullanılabildiği bir dünya hayal ediyorum.