AV1@Scale: Film Grain Sentezinin Uyanışı

• Netflix, AV1 Film Grain Synthesis (film grain sentezi) teknolojisini dünya genelindeki üyelerine büyük ölçekte uygulamaya başladı
• Bu özellik, gürültüyü ve sinematik dokuyu daha gerçekçi biçimde korurken video sıkıştırma verimliliğini artırıyor
• AV1 FGS, orijinal grain özelliklerini doğru biçimde yeniden üretmek için 2 temel teknik (desen geri yükleme, yoğunluk ayarı) kullanıyor
• Böylece bit hızı tasarrufu ile birlikte görüntü kalitesinde iyileşme ve izleyici deneyiminde artış sağlanabiliyor
• Netflix, bu teknoloji sayesinde sanatsal bütünlüğü korurken daha fazla içerikte veri verimliliğini yükseltiyor

---

AV1@Scale: Film Grain Sentezinin Uyanışı

Netflix'te film grain sentezinin kullanıma alınması ve milyonlarca kişi için görüntü kalitesinin güçlendirilmesi

• Netflix, AV1 Film Grain Synthesis (FGS) akışlarını büyük ölçekte devreye alarak film grain'in sanatsal hissini ve gerçekçiliğini korurken veri verimliliğini en üst düzeye çıkaran bir yeniliği hayata geçiriyor
• Film grain, hikâye anlatımına derinlik katan ve klasik filmlerin atmosferini ile gerçekçilik hissini yaşatan önemli bir görsel unsur
• Ancak geleneksel sıkıştırma algoritmaları, yüksek rastgeleliğe sahip grain'i etkili biçimde işleyip sıkıştırmakta zorlanıyordu

# AV1'de film grain sentezini anlamak

• AV1 film grain sentezi (FGS) aracı iki ana model kullanıyor

  • Film grain deseni: grain desenini modellemek için bir otoregresif (AR) model kullanılıyor ve AR katsayıları, kaynak video ile gürültüsü giderilmiş video arasındaki farktan (gürültüden) tahmin ediliyor
    • Bu katsayılarla 64x64 gürültü şablonu oluşturuluyor ve oynatma sırasında rastgele 32x32 yamalar alınarak geri oluşturulmuş görüntüyle birleştiriliyor
    • Bu yöntem, orijinal videodaki gürültü özelliklerini ve uzamsal korelasyonu sadık biçimde yeniden üretiyor
  • Film grain yoğunluğu: ölçekleme fonksiyonu ile parlaklık durumuna göre grain yoğunluğu ayrıntılı biçimde ayarlanıyor
    • Kodlama sırasında piksel değeri ile gürültü yoğunluğu arasındaki ilişki parçalı doğrusal fonksiyonla modelleniyor ve videonun parlaklığı ile rengine göre grain yoğunluğu ayarlanıyor
    • Bu sayede orijinal videonun dokusu daha doğru biçimde geri yükleniyor

• AV1 standardı, gürültü giderme teknikleri için belirli bir yöntemi zorunlu kılmadığından kullanıcılar istedikleri denoiser'ı seçebiliyor

• Gürültü giderme sonrasında video (grain'siz video) sıkıştırılıyor ve grain deseni ile yoğunluk parametreleri veriyle birlikte iletiliyor

• Kullanıcı oynatıcısında grain, blok tabanlı yöntemle yeniden oluşturuluyor; bu da tüketici cihazları için optimize edilmiş bir uygulama

# Sıkıştırma verimliliği, görüntü kalitesi ve izleyiciye faydaları

• Netflix'te AV1 FGS'nin etkinleştirilmesiyle, bit hızı tasarrufu sağlanırken filmin sanatsal atmosferini koruyan yüksek kaliteli video akışı sunmak mümkün hale geliyor
• Gerçek örnekler üzerinden, mevcut yönteme kıyasla kalite artışı ve veri kullanımında azalma aynı anda elde ediliyor
• FGS, özellikle filtre uygulanmış veya eklenmiş grain'in yoğun olduğu içeriklerde veri verimliliği ile orijinal dokunun korunmasını birlikte karşılıyor

# Özet

• AV1 Film Grain Synthesis (film grain sentezi), sanatsal bütünlük, izleme deneyiminin güçlendirilmesi ve akış verimliliğinin iyileştirilmesini sağlayan bir teknoloji
• Netflix, bu teknolojiyi büyük ölçekte devreye alarak daha fazla yapımda kalite ile veri tasarrufu arasındaki dengeyi koruyarak sunum yapıyor
• Böylece klasik filmlerden modern videolara kadar duygusal doku ile teknik verimlilik birlikte hayata geçiriliyor

[GN⁺]

Hacker News görüşü

• Bunun, sentezlenen gürültünün orijinal gürültünün sahip olduğu bilgi ve ayrıntıları tam olarak yeniden üretemediğini gözden kaçıran bir tartışma olduğunu düşünüyorum. Yüksek kaliteli kodlamada gerçek gürültü mevcut olduğunda, durağan bir kareden hareketli videoya geçerken çözünürlüğün bir anda sıçradığı hissini yaşarsınız. 24fps'de gürültü sinyalin üzerinde hareket ediyormuş gibi görünür, ama sinyalin kendisi hâlâ keskin kalır. Buna karşılık kayıplı sıkıştırma ya da sentezlenmiş gürültü kare bazında uygulanırsa, başlangıçta var olan ayrıntılar geri getirilemez. Gerçek 24fps videoda daha bulanık bir his oluşur; özellikle eski film görüntülerinde ayrıntı farkı 2 kattan fazla büyür. Eğer h.265 ya da AV1 her zaman birden fazla kareyi dikkate alıp hareketle uyumlu biçimde sadece gürültüyü çıkaracak şekilde kodluyorsa ayrıntı kaybı olmazdı, ama bunun gerçekte böyle çalışıp çalışmadığını bilmiyorum. Gürültü giderme ile sentez karşılaştırması durağan görüntülerle yapılmamalı; doğru değerlendirme için gerçek videolar yan yana karşılaştırılmalı. Gürültünün kendisi de bir ayrıntıdır.

  • Grain (gürültü deseni) kareler arasında bağımsız olarak bulunur ve sahnedeki nesne hareketiyle birlikte hareket etmez; bu yüzden sentezlenmiş gürültüde belirgin bir zamansal desen olmadığı sürece durağan kare karşılaştırmasının da yeterli olduğunu düşünüyorum. Estetik açıdan, AV1 sentez grain'i kaynağın grain boyutunu doğru yansıtmıyor; bu yüzden eski filmlerdeki büyük tanecikler iyi canlanmıyor. Ayrıca renk kanalları da ayrı ayrı modellenmiyor, ama Netflix kaynak videoları zaten chroma subsampling içerdiğinden bu çok önemli olmayabilir. İlgili makale bağlantısı burada. Bu konuyu sadece yüzeysel okudum, yanlış biliyor olabilirim

  • Zamansal boyutu açıklamak için eski film projektörlerini düşünmek iyi olur. Her kare arasında karanlık bir an vardır ve göz bunu neredeyse fark etmeden ortalama alır (flicker fusion threshold). Gürültü ve grain de benzer şekilde algılanır; kararlı sinyale göre daha az öne çıkar. Astrofotoğrafçılıkta da daha iyi SNR için birden fazla görüntü birleştirilir; insan beyni de biraz böyle çalışır. Gürültü zaman içinde ortalamaya yaklaşırken sinyal daha net ortaya çıkar. Tek kare işleyen denoise algoritmalarında bu bağlam yoktur; bu yüzden ayrıntı kaybolur ya da tahminle telafi edilir. AV1 belirli bir denoise algoritması tanımlamadığı için, yeterince akıllı bir algoritmanın zamansal bağlamı iyi koruyabileceğini düşünüyorum

  • Gürültünün kendisinde sinyal yoktur; sinyalin üzerine rastgele eklenen bir parazit olarak bilgi taşımaz. Durağan bir görüntünün birden fazla kopyasını ortalama aldığınızda sinyal korunur, gürültü ise iptal olur ve SNR yükselir; bu açıdan gürültüyü bilerek bırakmanın çok anlamlı olmadığını düşünüyorum. Eğer fark edilir bir etki varsa, bu ya orijinal film grain'ine yönelik estetik tatmindir ya da düşük bitrate'li (ağır sıkıştırılmış) video ile yüksek bitrate'li (orijinale yakın) video arasındaki karşılaştırmadan doğan bir fark olabilir

  • Bunun gerçekten ilginç bir nokta olduğunu düşünüyorum. Makine öğrenimi de bazen gece çekilmiş görüntüleri insanlardan daha iyi analiz ediyor ve sensör gürültüsü bile bir feature olarak kullanılabiliyor. Gürültünün sadece gürültü olmadığını vurgulamak lazım

  • Son dönemde 4K Blu-ray'lerde DRR teknolojisi kullanılıyor ve denoise sürecinde yüzdeki gözeneklerin bile kaybolduğu, oyuncuların ifadelerinin balmumu gibi göründüğü durumlar oldu

• Gürültü eklemenin felsefi anlamını bir kenara bırakırsak, bu örnekte denoise süreci fazla blur uygulamış; sonuç orijinalden daha az keskin ve sentez grain de gerçek film grain'inden çok sıradan gürültü gibi hissettiriyor

  • Katılıyorum. Yüksek bitrate'e ulaşana kadar, sıkıştırma süreci çoğu zaman orijinal grain'e fazla bit harcamak zorunda kaldığından video daha bulanık ya da çamurlu görünüyor. Film grain synthesis (FGS), bant genişliği kısıtlı streaming için oldukça makul, ama örnek videolardaki sentez grain'in gerçek grain gibi görünmediğine ben de katılıyorum. Denoise miktarı ve yöntemi, sahne detayını belirgin biçimde bulanıklaştırabilir

  • Film post prodüksiyonunda her zaman çeşitli hileler kullanıldı. İzleyicinin istediği efekti (ör. film simülasyonu) açıp kapatabildiği bir seçenek olmasını isterdim. The Holdovers gibi belirli bir dönemi yeniden yaratmaya çalışan filmlerde film simülasyonu gerçekten harikaydı. Netflix de ileride post efektleri istemci tarafında uygulamaya başlayabilir; örneğin renk körlüğü modu sunabilir ya da yapay grain'i kapatma imkânı verebilir

  • AV1'in FGS'sinde seviye ayarı yapılabiliyor ama bana biraz yüksek ayarlanmış gibi geliyor (bitrate ortamına bağlı olarak bu düzey diğer artefaktlardan daha izlenebilir de olabilir). Not olarak, durağan sahnelerin video kalite değerlendirmesinde sınırlı olduğunu ve teorik olarak kusursuz bir gürültü giderme filtresinin bile (gürültüsüz detayın %100'ünü korusa bile) orijinalden daha az detaylı hissedileceğini ekleyeyim. Beyin ve göz, gürültülü görüntülere bakarken bazen daha fazla ayrıntı "yaratıyor"

  • Bu temayı işleyen filmlerin en bilinen örneklerinden biri Antonioni'nin Blowup'ı. Blowup Wikipedia

  • Hareketli görüntü filmini yakından incelemiş biri olarak, bu örnek videodaki film grain'inin gerçeğe pek benzemediğini düşünüyorum. Sonuçta bu sadece dithering'e benzer bir etki

• Bu tartışmadaki en önemli nokta bence "at scale" kısmı. Şimdiye kadar AV1 encoder'larda film grain synthesis vardı, ama sorun çıkmaması için her seferinde ayarları elle kurcalamak gerektiğinden pratikte sadece sınırlı içerikte kullanılıyordu. Buradaki yöntemin bu zorluğu nasıl aştığı ayrıntılı anlatılmıyor, ama büyük ölçekte işletilebilir hâle gelmiş olması sevindirici

  • Artık adaptive variant da var, bu yüzden otomasyon çok daha kolaylaştı

• Film grain'ine yönelik olumsuz bakışa karşı şunu söylemek isterim: her görüntüde bir miktar gürültü ya da grain vardır. En iyi dijital sensörlerde, hatta gözümüzde bile. Bu sadece estetik amaçlı değil; keskinlik algısını artırmak ve banding ya da sıkıştırma artefaktlarını gizlemek gibi pratik işlevleri de var. Elbette her grain iyi değildir; bazıları teknik sınırlamalardan ya da kötü yaratıcı tercihlerden kaynaklanır. Yine de tüm videoları denoise edip pürüzsüzleştirmenin sonucu bana çok daha yapay ve rahatsız edici geliyor

  • İleri düzey dijital sensörlerin grain'i, günümüz filmlerinde sonradan eklenen miktarla karşılaştırıldığında ihmal edilecek düzeyde

  • Benim asıl itirazım, grain uygulanıp uygulanmamasının yaratıcının sanatsal kararı olması gerektiği; veri sıkıştırma tarafının keyfi seçimi olmaması gerektiği

  • HBO açılış animasyonu eski analog yayın sinyali gürültüsünü kullanıyor ama 4K'da kalite berbat. Rastgele gürültü neredeyse sıkıştırılamadığından, burada olduğu gibi bir yöntem (gürültüyü kaldırıp geri ekleme) gerçekten gerekli oluyor

• “Grain gerçeklik hissi verir ve hikâyeye derinlik katar” iddiasına katılmıyorum. Benim gözümde gerçeklikte grain diye bir şey yok, dolayısıyla “gerçeklik = grain” mantığını anlamıyorum. Yine de estetik bir araç olarak grain'i havalı buluyorum ve bu teknolojiyi de ilginç buldum

  • Makalede sözü edilen masking effect (artefaktları gizleme) ve alışkanlık/nostalji etkisine ek olarak bir açıklama daha var. Gerçek dünyadaki tüm yüzeylerde ince bir doku bulunur, ancak bunlar videoya kaydedilirken kamera, çözünürlük ve sıkıştırma sınırları nedeniyle kaybolur. Film grain'i bu yüksek frekanslı görsel uyarımı yeniden sağlar. Göz ve beyin bu uyarının kendisini sever; gürültünün tam konumu ya da desenine çok takılmaz. Örneğin x265 encoder'daki psy-rd ve psy-rdoq parametreleri, “görüntü enerjisini koruyup biraz daha canlı/kaba görünmesini sağlamak” için ayarlanabilir ve ek veri harcamadan algılanan kaliteyi artırabilir

  • Karanlık gecelerde gözümüzde de bir tür “sparkling” ya da “static” görülür; teknik olarak insan gözü de bir miktar gürültü içerir. Gerçeklik hissi, yaşanılan dönemin teknolojik izleriyle tanımlanır. Vincent van Gogh'un fırça darbelerinin resmin parçası olması gibi, film grain'i de medyanın gerçekliğinin bir parçasıdır; bu yüzden mümkünse bu izi korumaya çalışırız

  • İnsanlar estetik tercihlerini mantıksal olarak gerekçelendirmek ister. Medyayla ilgili deneyim ve anlayış düzeyi yükseldikçe küçük farklara daha duyarlı hâle gelirler ve bu zevke yansır. Bir çocuk eski sessiz komedilerde içeriğe tepki verir; filmin fiziksel özelliklerine pek aldırmaz. Buna karşılık uzmanlar bu tür farklara çok daha duyarlıdır. Film grain'inin “gerçek” hissedilmesi de her dönemin toplumsal deneyimi ve öz farkındalığının ürünüdür. Belki 40 yıl sonra film grain'i daha çok sürreal ya da sadece “gürültü” olarak algılanacak

  • Bana göre grain, videonun gerçekte olduğundan daha detaylı görünmesini sağlıyor ve sıkıştırma artefaktlarını ya da bulanıklığı gizliyor. Psikolojik tarafını bilmiyorum ama kesinlikle ek yüksek frekans ya da dithering etkisi var gibi. İnsan gözünde de kuantum olayları nedeniyle gerçekten grain benzeri bir şey var, ama beyin bunu güçlü biçimde filtrelediği için fark etmiyoruz

  • Dijital kameraların yükseldiği ilk dönemde dijital görüntüler yapay görünüyordu ve film görüntüsünün daha güzel olduğu fikri çok güçlüydü. Muhtemelen klasik filmleri seven sinefiller için film = iyi algısı da buradan geliyor. Sonuçta bunu keskinliği azaltmak istediğinizde kullanışlı bir estetik araç olarak görüyorum

• Cep telefonu görüşmelerinde kullanılan AMR-WB ses codec'i de resmî olarak 50 Hz-7,000 Hz aralığını destekliyor, ancak en yaygın kullanılan 12.65 Kbps modunda gerçekte yalnızca 6,400 Hz'e kadar depoluyor; üst kısmı ise düşük frekans + gürültü senteziyle dolduruyor. Bu, o bölgeyi gürültü olmadan doğrudan kesmekten çok daha doğal duyuluyor

• Bir mirrorless kamera fotoğrafçısı olarak, post-processing ile her zaman özel bir hava yaratmaya çalışıyorum. Örneğin diyaframı mümkün olduğunca kısıyor, denoise-sharpening-color grading işlemlerini agresif kullanıyorum. Eğer fotoğrafım eski bir kitaptan çıkmış gibi görünüyorsa bunu olumlu karşılarım. Film look filtrelerini de çok denedim, ama benim aklımdaki düzensiz kristal tarzı film grain'ini (çekimden önce film üzerinde var olan düzensiz pikselleri) gerçekten yeniden üreten bir filtre hâlâ görmedim. Çoğu, piksel biçimli kare grain kullanıyor ve bu ikna edici gelmiyor

• “Film grain'i gerçeklik ve nostalji katar” iddiasına katılmıyorum. Benim açımdan o sadece ayrıntıları örten görsel bir gürültü. Nostalji, oyunculardan ya da o dönemde izlediğim şeylere dair anılarımdan gelir; grain'den değil. “Gerçekçilik katıyor” savı da bana gerçek dışı geliyor. AV1'in bu görsel çöp için bit harcamak zorunda kalmadan bunu kolay ve esnek biçimde sentezleyip kaldırabilmesi olumlu

  • Belgesellerin amacı “gerçeği yeniden üretmek” olabilir, ama sinemada öncelik yönetmenin bakışıdır. Grain de müzik gibi duygu ve atmosfer yaratmak için kullanılan sanatsal bir unsur olarak görülebilir

  • Fiziksel olarak aydınlatma ve çekimin kendisinde shot noise vardır; dolayısıyla gerçekte tamamen gürültüsüz bir dünya yoktur. Bkz. shot noise wiki

  • Bunun film grain'inin faydasını çok iyi açıkladığını düşünmüyorum, ama pratikte grain görüntünün keskinlik ve detay hissini (yanılsama olsa bile) artırıyor ve görüntü yönetmeni Steve Yedlin bunu “seyircinin gözünün tutunacağı bir şey vermek” diye tarif ediyor

  • Filmlerde neyin “gürültü”, neyin “detay” olduğu bence büyük ölçüde öznel yoruma bağlı. Günümüz video sıkıştırma teknolojilerinin ürettiği başka görsel gürültüler de sonuçta mevcut

• Birçok kişinin gözden kaçırdığı asıl nokta şu: gürültü giderildikten sonra sıkıştırırsanız sıkıştırma verimliliği ciddi ölçüde artar. Aynı bitrate'te, gürültüyü bırakıp doğrudan sıkıştırırsanız detaylar ve kenarlar ciddi biçimde zarar görür. Bu, masaüstü medya oynatıcılarda da uzun zamandır kullanılan bir yaklaşım

  • Kesinlikle. Herkes grain kalitesine odaklanıyor ama Netflix açısından asıl önemli olan bant genişliği/kalite oranı. Benzer bitrate'te, gürültüyü kaldırıp yazılımla geri eklemek çok daha iyi sonuç veriyor. Gürültüyü sıkıştırmak gerçekten kötü bir fikir

• Bence film grain'i artık emekliye ayrılmalı. Sepya fotoğraf ve 16fps sessiz film dönemi bitti; film grain'inin de bırakılma zamanı geldi. Eastman Business Park da yıkıldı. YouTube videolarında toz ve çizik efekti görmekten de sıkıldım

  • Sahte film grain'ine bir şey demem ama film grain'ini tamamen ortadan kaldıralım demek, yağlı boya tablodaki fırça izlerini de silelim demek gibi

  • Film grain'inin mutlaka yok edilmesi gerektiğini düşündüren şeyin ne olduğunu merak ediyorum