Netflix’in Media Production Suite (MPS) çözümü

• Netflix, geleneksel fiziksel temelli verimsiz ve karmaşık medya yönetim sistemini dönüştürmek için Media Production Suite (MPS) geliştirdi
• Bulut tabanlı iş akışı sayesinde yaratıcıların yaratıcı işlere daha fazla odaklanmasını destekleyen ve prodüksiyondan post prodüksiyona kadar küresel iş birliğini mümkün kılan bir teknoloji çözümü

Çözmeyi hedeflediği sorunlar

• Ortalama bir Netflix yapımı, yaklaşık 200 TB ham kamera dosyası (OCF) üretiyor; bazı projelerde bu miktar 700 TB’ı aşıyor (çalışma dosyaları, VFX, 3D varlıklar vb. hariç)
• Geleneksel olarak bu medya, LTO bantları gibi fiziksel depolama ortamlarına kopyalanıp taşınıyor; bu da arama/oynatma/paylaşımı zorlaştırıyor ve küresel iş birliğinde erişim hızını düşürüyor
• Dijital iş akışı tamamen kurulmuş olsa bile, farklı departmanlar ve tedarikçiler arasında medya dağıtımı hâlâ zor; otomasyon ve standardizasyon eksikliği nedeniyle manuel işe bağımlılık artıyor
  • Bu durum post prodüksiyon sürecinde hata ve güvenlik riski artışı, iş birliği zorluğu ve iş süresinde gecikme gibi sorunlara yol açıyor
• Buluta geçiş zorunlu olsa da yeni zorlukları da beraberinde getiriyor:
  • Bazı post prodüksiyon tesisleri hâlâ çok sayıda harici diske dayanıyor ve bunları tedarikçiler arasında doğrudan fiziksel olarak taşımak gerekiyor
  • Merkezi bir bulut çözümüne duyulan ihtiyaç her zamankinden daha acil
• Netflix, "iyi hikâyelerin her yerden çıkabileceğine" inanıyor; ancak geleneksel teknik altyapı medya erişimini ve yetenek kullanımını sınırlıyor
  • Yapımcıların yalnızca güçlü bulut depolamaya değil, yüksek performanslı çalışma ortamlarına ve gerçek zamanlı oynatma işlevlerine de erişebilmesi gerekiyor
  • Bazı bölgelerde veya düşük bütçeli prodüksiyon ortamlarında en güncel teknolojilerden yararlanmak zor olabiliyor
• Bu sınırlamaları aşmak için, medyayı sanatçılara ve uygulamalara götüren geleneksel yaklaşımdan uzaklaşıp, insanları ve uygulamaları medyanın yanına taşıyan bulut merkezli iş akışına geçiş küresel bir trend olarak öne çıkıyor
  • IBC ve NAB gibi uluslararası yayın teknolojisi fuarlarında da bu eğilim belirgin biçimde görülüyor
  • Bu vizyonu Netflix ölçeğinde yüzlerce yapım için gerçek hayatta uygulamak, şimdiye kadar görülmemiş bir meydan okuma

Küresel bir teknoloji çözümü kurmanın zorlukları

• Küresel ölçekte bir çözüm kurmak şu gibi karmaşık sorunları beraberinde getiriyor:
  • Film ve dizi prodüksiyon ortamlarında teknolojiye erişim, en iyi uygulamalar ve standardizasyon düzeyi bölgeden bölgeye büyük farklılık gösteriyor
  • Bazı bölgeler 100 yılı aşkın bir film endüstrisi geçmişine sahipken, bazı ülkeler daha yeni başlıyor
  • Farklı diller ve iş akışlarına sahip pazarların tamamını tatmin edecek bir teknoloji geliştirmek temel mesele
• Dünya genelindeki yeteneklerin ve tedarikçilerin çeşitli gereksinimleri, standardizasyonun önündeki büyük engellerden biri
  • Bazı gelişmiş VFX ve post prodüksiyon tesisleri, belirli dosya biçimlerini ve metadata’yı işlemek için kurum içinde otomasyon betikleri kurmuş durumda; ancak bu özelleştirmeler çok zaman alıyor
  • Yeni iş akışlarının benimsenmesi, mevcut süreçleri bozabileceği endişesi nedeniyle bir giriş bariyeri oluşturuyor
  • Küçük değişiklikler bile tedarikçinin kârlılığı üzerinde büyük etki yaratabildiği için, benimsenmesi istenen teknoloji somut ve açık fayda sunmalı
• Netflix, çok sayıda yapımı yönetirken bunu operasyon ekiplerini büyütmeden yapabilmek zorundaydı; bu nedenle otomasyon vazgeçilmez bir unsur hâline geldi
  • Renk ve kare yönetimi, teslim dosyalarının yapılandırılması gibi süreçlerin kullanıcı müdahalesi olmadan otomatik olarak kontrol edilmesi gerekiyor; insanların JSON dosyalarını elle düzenleyip eşleştirme yaptığı yapıdan kaçınılıyor
• Bunun için Netflix, aşağıdaki gibi açık standartlara dayanan teknolojileri aktif biçimde benimsiyor:
  • ACES, AMF: renk hattı otomasyonu ve tutarlılığın sağlanması
  • ASC MHL: dosya bütünlüğünün doğrulanması ve izlenmesi
  • ASC FDL: kadraj bilgisinin entegre edilmesiyle iş akışları arasında uyumluluk
  • OTIO: zaman çizelgesi ve kurgu bilgisinin değişimi
• Bu standartların benimsenmesiyle farklı çözünürlük, format, lens ve güvenli kadraj alanlarına sahip görüntüleri tek bir ortak biçimde otomatik olarak normalize etmek mümkün hâle geliyor
  • Eskiden bu işlem yalnızca yüksek bütçeli yapımlarla sınırlıydı ve elle yapılıyordu; şimdi ise standart tabanlı otomasyon sayesinde aynı gelişmiş işlevler tüm kullanıcılara sunulabiliyor
  • Kullanıcılar karmaşık ayarları doğrudan yapmak zorunda kalmadan gelişmiş iş akışlarını yönetebiliyor

Netflix’in yanıtı — Content Hub tabanlı Media Production Suite (MPS)

• Netflix, farklı pazarlarda kullanılabilecek küresel olarak ölçeklenebilir bir çözüm geliştirme hedefiyle MPS’yi (Media Production Suite) tasarladı
• Deneyimli profesyonelleri tatmin edecek kadar güçlü işlevsellik ve özelleştirme seçenekleri sunarken, yeni başlayanların da kolayca kullanabilmesi için sezgisel ve sadeleştirilmiş bir arayüz koruyor
• Netflix’in iç ekipleri, dünya genelindeki tedarikçiler ve prodüksiyon yetenekleriyle iş birliği içinde, teknolojinin demokratikleşmesini sağlayan araç seti Content Hub içinde hayata geçirildi
• Ölçek ekonomisi ve zengin kaynaklardan yararlanarak küresel yetenekleri ortaya çıkarmayı, yaratıcı olmayan tekrarlı işleri azaltmayı, pazarlar arasındaki uçurumu kapatmayı ve yaratıcı işe odaklanılabilecek zamanı en üst düzeye çıkarmayı hedefliyor

Media Production Suite bileşenleri

1. Netflix hibrit altyapı yapısı

• Bulut tabanlı yeteneklerle fiziksel altyapıyı birleştiren hibrit bir altyapıdan oluşuyor
• Kullanıcı performansını optimize etmek için fiziksel altyapı, dünya genelindeki başlıca prodüksiyon merkezlerinin yakınına yerleştiriliyor
• Netflix Open Connect (içerik dağıtım ağı) üzerinden AWS bulut altyapısına bağlanıyor
• Yüksek hacimli kamera ve ses medyasını işlemeye optimize edilmiş bir yapı sunuyor
• Hızlı yüklemeyi desteklemek için dünya genelinde Content Hub Ingest Center kuruluyor
• Medyayı bulutta merkezileştirerek fiziksel medya taşıma ihtiyacını ortadan kaldırıyor, güvenliği ve erişilebilirliği artırıyor

2. Otomasyon ve araç yapısı

• Hibrit altyapı üzerine kurulu çeşitli medya kullanım araç setleri sunuluyor

• Başlıca araçlar:

  • Footage Ingest: kullanıcıların medya dosyalarını Content Hub’a yükleyebildiği uygulama
  • Media Library: medyanın aranabildiği, önizlenebildiği, paylaşılabildiği ve indirilebildiği merkezi kütüphane
  • Dailies: otomatik kalite kontrol, ses senkronizasyonu, renk uygulama, render alma ve kurgu ekibine iletimi otomatikleştiren günlük iş akışı
  • Remote Workstations: uzaktan kurgu için iş istasyonlarına ve depolamaya erişim
  • VFX Pulls: VFX tedarikçilerine iletilecek görüntü, renk ve kadraj verilerini otomatik dönüştürüp aktarma
  • Conform Pulls: kurgu bitirme işleri için OCF birleştirme, kırpma ve teslimi otomatikleştirme
  • Media Downloader: medya buluta yüklendiğinde otomatik indirme başlatan araç
• Şu anda araçların olgunluk seviyesi farklılık gösterse de, dünya genelinde 350’den fazla yapım en az bir özelliği hâlihazırda kullanıyor
• Kullanıcılar UCAN (ABD/Kanada), EMEA (Avrupa/Orta Doğu/Afrika), SEA (Güneydoğu Asya), LATAM (Latin Amerika), APAC (Asya Pasifik) genelinde yer alıyor

Vaka çalışması: Brezilya yapımı ‘Senna’ dizisi — MPS’nin erken benimsenmesi ve geri bildirimle şekillenen evrimi

• Brezilya’da üretilen ‘Senna’ dizisi, efsanevi F1 pilotu Ayrton Senna’nın yaşamını konu alıyor ve küresel ortak yapım ortamında MPS’nin (Media Production Suite) erken benimsendiği bir örnek oluşturuyor
• Dizi Arjantin, Uruguay, Brezilya ve Birleşik Krallık’ta çekildi; kurgu ekibi Brezilya’nın Porto Alegre kentinde ve İspanya’da, VFX stüdyoları ise Brezilya, Kanada, ABD ve Hindistan’da dağınık şekilde çalıştı
• Scanline VFX tüm VFX prodüksiyonunu yönetirken, MPS küresel prodüksiyon ortamını birleştiren temel platform olarak işledi

• Bulut tabanlı prodüksiyonun başlangıcı

  • MPS’nin benimsenmesindeki temel adım, ham kamera dosyalarının (OCF) ve ses dosyalarının (OSF) buluta yüklenmesiydi; bu sayede fiziksel depolama ortamlarının taşınması (LTO bantları, harici diskler vb.) tamamen ortadan kaldırıldı
  • Post prodüksiyon süpervizörü Gabriel Queiroz, "Tüm bu medyayı fiziksel olarak taşımak çok fazla zaman alıyor ve verimsiz" dedi
  • Gerçekten de Senna, LTO bantları olmadan üretilen ilk örneklerden biri oldu; bu da prodüksiyon verimliliği, hız ve güvenlik açısından büyük bir ilerleme anlamına geliyor

• Footage Ingest ile başlayan otomatik bulut iş akışı

  • Sürücü bağlandıktan sonra Netflix’in Footage Ingest uygulaması üzerinden otomatik doğrulama ve metadata çıkarımı, checksum kontrolü, proxy oluşturma ve ikincil yedekleme gerçekleştiriliyor
  • Eskiden her aşamada ilerlemeyi öğrenmek için tedarikçileri tek tek aramak gerekiyordu; artık Content Hub panosundan gerçek zamanlı izleme mümkün

• VFX Pulls: görsel efekt verilerinin otomatik dağıtımı

  • Senna, büyük miktarda görüntü ve çok sayıda VFX shot içerdiği için VFX Pulls işlevi kritik önemdeydi
  • Geleneksel iş akışında her tedarikçiyle farklı formatlar ve farklı aktarım yöntemleri üzerinden veri alışverişi yapmak gerekiyordu
  • MPS kullanıldığında yardımcı kurgucu EDL yüklediğinde, sistem otomatik olarak transcoding yapıyor, renk dosyalarını düzenliyor ve Google Drive benzeri Workspaces alanlarına kaydediyor
  • Tüm tedarikçiler I/O işlerini aynı yöntemle yürüttüğü için, prodüksiyon, kurgu ve renk düzenleme arasındaki uyumluluk ve verimlilik artıyor

• Conform Pulls ve kurgu bitirme desteği

  • Son kurgu aşamasında DI tesisi Quanta, MPS’nin Conform Pull hizmetiyle EDL yükleme, kalite kontrol, medya kırpma ve paketlemeyi otomatik olarak gerçekleştirdi
  • Başlangıçta beta aşamasında olsa da, Senna dâhil çeşitli projelerden gelen geri bildirimler sayesinde bugün EDL ile OCF arasında esnek eşleştirme (fuzzy matching) yapılabiliyor
  • Gelecekte bilgisayarlı görü tabanlı algısal eşleme (perceptual conform) da uygulanacak; böylece sistem metadata’nın ötesine geçip görüntünün kendisini de tanıyabilecek

Senna, MPS’nin evrim sürecinde önemli bir dönüm noktası oldu ve Netflix’in küresel prodüksiyon ortamında bulut tabanlı iş birliğinin somut sonuçlar üretebileceğini kanıtlayan temsilî bir örnek hâline geldi

Sonuç

• Media Production Suite (MPS), Netflix’in medya prodüksiyon yaklaşımını kökten değiştiren çığır açıcı bir sıçrama
• Açık standartların aktif biçimde benimsenmesiyle, küresel ölçekte hem ekonomikliği hem de teknolojiye erişilebilirliği karşılayan bir çözüm hayata geçirildi
• Tekrarlayan ve yaratıcı olmayan işleri ortadan kaldırarak, prodüksiyon ekiplerinin yaratıcı hikâye anlatımına daha fazla odaklanabileceği bir ortam oluşturuyor
• Bulut tabanlı iş akışları ve küresel iş birliği altyapısı sayesinde yalnızca verimliliği artırmakla kalmıyor, içerik kalitesini de yükseltiyor
• Netflix, bundan sonra da sürekli inovasyon ve süreçlerin daha rafine hâle getirilmesiyle, dünya genelindeki yaratıcı yeteneklerin potansiyelini açığa çıkarmaya odaklanacak
• MPS, geleceğin içerik üretiminin temel altyapısı konumunda ve Netflix daha bağlantılı, daha yaratıcı bir endüstriye doğru değişime öncülük ediyor

[GN⁺]

Hacker News görüşleri

• Bu makaleyi okurken arayüzün şu anda kullandığım araçlarla nasıl kıyaslanacağını merak ettim

  • Video ihtiyacım çok büyük olmadığı için ücretsiz bir sürüm olup olmadığını merak ettim

• Makalenin sonuna kadar okumadan bunun "yaptığımız aracı keyifle kullanın" değil, "ne kadar harika olduğumuza bakın" türünde bir yazı olduğunu anlamadım

• Collateral çekimleri hakkında okuyordum. Bu film, dijital olarak çekilen ilk büyük bütçeli filmlerden biriydi

  • 2004'te dijital videoda depolama alanı sorunu ve veri deposundan görüntülerin kurtarılamaması riski vardı
  • Cameron, "Sabit disklerle kapsamlı testler yaptık ve her şey iyi görünüyordu, ama çekimlerden sonra görüntüleri gönderdiğimizde sabit disklerden bilgiyi alamadık" dedi
  • Uzlaşma olarak hem sabit diske hem de SRW teybe kayıt yapmaya karar verdiler. Bugünün aksine, dijital görüntüyü doğrulamak zahmetliydi ve gerginlik yaratıyordu
  • Beebe, "Her şeyi iki ya da üç kez kaydettik" dedi

• Otomasyon zorunlu hale geldi. Renk ve kadraj yönetiminin karmaşıklığı ile teslimat çıktıları, kullanıcıların manuel müdahalesi olmadan sorunsuz şekilde kontrol edilip yönetilmek zorunda

  • Netflix'in görsel çeşitlilik eksikliği konusunda eleştirel düşünüyordum. Bu, tipik sinema meraklılarının sık sık şikayet ettiği bir konu
  • Bunun Netflix'in ölçeğinden kaynaklanabileceğini düşünmemiştim. Bu operasyonel bir tercih olabilir
  • Bu sistem kulağa çok karmaşık ve zekice geliyor. Film ve TV prodüksiyonunun yaratıcı tarafına böylesine güçlü, dikey bir yaklaşım uygulamak sonunda dar görüşlü olabilir

• 15 yıl önce çalıştığım ilk startup, Hindistan'da müzik streaming'i için API sağlıyordu

  • Altyapıyı yöneten kurucu ABD'deydi, sunucular ise LA'deydi
  • Hindistan'a uçup taşınabilir sabit disk satın almak, medyayı yüklemek, sonra ABD'ye dönüp verileri dosya sunucusuna yüklemenin daha ucuz ve daha hızlı olması komikti
  • Bu sadece TB düzeyindeki veriler için geçerliydi. Daha sonra AWS Snowball ve Snowmobile'da da aynı şeyi gördüm

• Bahsettikleri varlık boyutlarında (yüzlerce terabayt) bunu ağ üzerinden nasıl halledebildiklerini merak ediyorum

  • 1Gbps bağlantıyla bile 100TB ham kamera dosyasını yüklemek yaklaşık 10 gün sürer. Üstelik bunun birden fazla kopyası olabilir

• Netflix'in sanatçılar için uzaktan workstation kurulumuna dair ek bilgi

• Bunun AWS gibi bir platforma dönüşebileceğini düşünüyorum. Bu, son teknolojiye erişimi demokratikleştirir ve araç sorununu etkili biçimde çözer

  • Ama yine de asıl darboğaz olan ilgi çekici hikaye anlatımı sorununu çözmeyecek

• İyi bir hikayeyi hangi unsurun oluşturduğunu merak ediyorum

• Beni en çok etkileyen kısım, hâlâ çok fazla el işi gerektiren ve hataya açık işin sektörde yaygın olmasıydı

  • Bu çözümün Netflix dışında ne kadar taşınabilir olduğunu merak ediyorum. Oldukça dikey entegre bir çözüm gibi geliyor

• Hangi dilin kullanıldığını merak ediyorum. Masaüstü uygulaması ekran görüntüleri native gibi görünüyor