Apple’ın hesaplamalı fotoğrafçılığında bulunan gerçekliği çarpıtan hata

 (appleinsider.com)
1 puan yazan GN⁺ 2023-12-02 | 1 yorum | WhatsApp'ta paylaş
  • Birleşik Krallık’lı komedyen ve oyuncu Tessa Coates’ın gelinlik fotoğrafında gerçek kişi ile iki aynadaki yansımanın farklı pozlarda görünmesi, iPhone fotoğraf işleme sürecindeki açığı ortaya çıkardı
  • Bunun nedeni doğaüstü bir olay değil, iPhone’un aynadaki yansımaları aynı kişi olarak gruplayamamasından kaynaklanan bir hesaplamalı fotoğrafçılık hatası
  • Fotoğraf panorama modu ile çekildi ve Coates hareket ederken farklı anlara ait görüntüler tek karede birleştirildi
  • Apple algoritması; doygunluk, kontrast, detay ve bulanıklık olmaması gibi ölçütlere göre her bölge için “en iyi” görüntüyü seçerken her aynada farklı bir anı tercih etti
  • Ayna ve hareketin bir arada olduğu sahnelerde en yeni akıllı telefonlar bile gerçeklikten farklı birleşik sonuçlar üretebilir; bu da bazı durumlarda çekim sonucuna olduğu gibi güvenmeyi zorlaştırır

Ayna karşısındaki fotoğrafta ortaya çıkan üç farklı poz

  • Birleşik Krallık’lı komedyen ve oyuncu Tessa Coates, gelinlik denerken ayna karşısında fotoğraflandı
  • Fotoğrafta Coates’ın kendisi ve iki yandaki aynalardaki yansımaları birlikte görünüyordu, ancak üç figürün pozları birbirinden farklıydı
    • Aynalardan birinde kollarını aşağı indirmiş haldeydi
    • Diğer aynada ellerini belinin önünde birleştirmiş haldeydi
    • Gerçek figürde ise sol kolu vücudunun yanındaydı
  • İlk bakışta oldukça tuhaf görünse de, neden iPhone’un çekim işleme sürecinde oluşan bir hataydı

iPhone çekim hattında neler oldu

  • iPhone, deklanşör düğmesine basıldığı anda tek bir fotoğraf oluşturmak için milyarlarca işlem gerçekleştirir
  • Bu vakada kamera, aynaları çektiğini algılayamadı ve Coates’ın üç görüntüsünü birbirinden farklı kişiler gibi işledi
  • Coates hareket ederken fotoğraf çekildiği için aynı sahnenin farklı anlarına ait birden çok kare yakalandı

Panorama modu ve görüntü birleştirme

  • Güncellemeye göre söz konusu fotoğraf panorama modu ile çekildi
  • Panorama çekiminde kamera sahneyi tararken birden fazla görüntü yakalanır, ardından algoritma bunları birleştirir
  • Apple algoritması her bölümde doygunluk, kontrast, detay ve bulanıklık olmaması gibi ölçütlere göre daha iyi görüntüyü seçer
  • Nihai birleşik görüntünün o anı en iyi ve en gerçekçi biçimde yorumlaması gerekiyordu, ancak aynalar devreye girince her yansımada farklı anlar kaldı

Neden “üç Tessa” oluştu?

  • Algoritma, gerçek kişi ile iki aynadaki yansımayı aynı kişi olarak gruplayamadı
  • Her ayna bölgesinde farklı bir karenin daha uygun olduğuna karar verilince, nihai fotoğrafta farklı pozlar aynı anda yer aldı
  • Sonuçta gerçek figür ile iki yansımanın farklı hareketler yaptığı bir birleşik görüntü ortaya çıktı

Yeniden üretilebilirlik ve sınırlar

  • Bu tür bir sonuç yalnızca yeni iPhone’larda değil, farklı akıllı telefonlarda da yeniden üretilebiliyor
  • Bunun nedeni, aynaları ele alma konusundaki hesaplamalı fotoğrafçılık sınırlamaları
  • Bazı genç kuşak kullanıcılar bu olguyu fark edip sosyal medya için komik görseller üretmekte kullanıyor

İlgili okumalar

1 yorum

 
GN⁺ 2023-12-02
Hacker News yorumları

  • Bu kısa özet yazının referans verdiği asıl makale[0] belki daha iyi bir kaynak olabilir diye düşünüyorum
    [0]: https://petapixel.com/2023/11/16/one-in-a-million-iphone-pho...

  • Püristler hesaplamalı fotoğrafçılık fikrinden her zaman hoşlanmayacak ama iPhone’un elde gece, düşük ışık ve hareket fotoğraflarını iyi çekebilmesini gerçekten seviyorum
    Fiziksel olarak küçük bir sensörle imkânsız sandığım gece fotoğrafları bile çektim
    O anki gerçek sahneyi piksel düzeyinde %100 kusursuz yansıtıyor mu? Hayır, ama pek umursamıyorum
    Eskiden HDR pozlama birleştirme, sığ alan derinliği için odak istifleme, kalabalık bir alanı birkaç kez çekip insan ve araba olmayan bir fotoğraf hâline getirme gibi işler de yaptım; bunların hiçbiri gözle görülen sahnenin kusursuz bir yeniden üretimi değil, ama istenen konuyu yakalamak için birden fazla pozlamayı birleştirmek işini yapıyor

    • Hiçbir fotoğrafçı film fotoğrafçılığını da gerçekliğin kusursuz bir yansıması olarak görmez
      Lensin kendisi de kusurlar ve değişiklikler üretir; film ve banyo süreci de öyle
      Buna rağmen neyin çekileceğine ve nasıl görüneceğine karar verme hakkı istemek insanı pürist yapmaz
      Bu seçimler fotoğrafı sanat yapan unsurlardır
      Sonuçta bu teknoloji o kontrolü kullanıcının elinden alıyor
      Fotoğrafın konusu ve görünümünü Apple’ın belirlemesi sizin için sorun değilse mesele yok, ama birçok insan için öyle olmayacağını düşünüyorum
    • Mevcut özelliğin kendisine karşı değilim, ama özellikle yapay zeka çağında kaygan bir zemin gibi geliyor
      Yakında kameralar her kişi için yalnızca en iyi kareyi seçmekle kalmayıp en iyi gözleri, simetri düzeltmesini, estetik açıdan en hoş cilt tonunu vb. de seçecek gibi görünüyor
      Bir ölçüde bu hep böyleydi, ama fotoğrafın “gerçek” olduğu varsayımından vazgeçildikten sonra işlerin böyle ilerlemesi kaçınılmaz görünüyor
      WALL-E’de kaptan portrelerinin giderek şişmanladığı sahne aklıma geliyor; aslında zaman geçtikçe fotoğraflardaki kaptanın daha çekici ve heykelsi görünmesi gerekirdi
      Gerçekte ise hâlâ obez olurdu
    • Benim meselem pürizmle ilgili değil; çıktının sensör yüzünden değil, modelin seçimi yüzünden sık sık kötü olması
      Gece fotoğraf çekebiliyorsunuz, ama kendi sensörüm olan gözlerimin gördüğüyle karşılaştırınca çoğu zaman tanımak zor oluyor
      Biraz daha iyi bir gerçeklik değil; kamera sanki önündeki kompozisyonla ilgisiz bir şekilde ışığı nasıl yerleştireceğine karar veriyor
      iPhone’un iyi aydınlatmanın ne olduğu hakkındaki varsayımlarının çöktüğü durumlarda portre fotoğraflarını düpedüz mahvettiğini yazanlar da vardı
      5 yıllık telefon fotoğraflarını en yeni telefonunkilerden daha çok beğendiğim oluyor; donanım daha iyi olduğu için değil, ayar/tuning kötü olduğu için
      Modelde sık bulunmayan şeyleri, örneğin sürünerek girilen boşlukları, tesisat borularını, diş hekimliği yakın çekimlerini fotoğraflayınca ilginç şeyler oluyor
      RAW modu değilse tamamen işe yaramaz sonuçlar aldığım oldu; hesaplamalı fotoğraf işleme aşamasının ne yaptığını hiç bilmiyor gibiydi
      Bu sensör sınırlarından çok, iPhone’un daha fazla takdir kullanıp fotoğrafları eskisinden çok daha kötü hâle getirdiği durumlar olmasıyla ilgili
    • Teknoloji elin konumunu yeniden hayal edip birinin boğazını sıkıyormuş gibi yaptığı anda, pürist olmasanız da bundan hoşlanmamaya başlıyorsunuz
    • Gerçekte böyle “püristlerin” ne kadar çok olduğunu bilmiyorum
      Sensörün gördüğü gerçekliğin piksel düzeyinde kusursuz betimlenmesini isteyenler herhâlde polis ya da sigorta eksperleri kadardır
      Bir sanat olarak fotoğrafçılık saflıkla ilgili değildi; çoğu kişi gördüğümüz şeyi ve onu görme biçimimizi yansıtan fotoğraflar ister ve bunu işlemek için gereken teknik adımları kabul eder
      Ay güzel görünüyorsa ve manzarayı yumuşakça aydınlatıyorsa, hem parlak ayı hem de karanlık arka planı içeren bir fotoğraf isteriz; bunun için çok fazla hesaplama gerekebilir
      Ama doppelgänger gelin, aşırı HDR fotoğraflar, kuşların ve direklerin kaldırıldığı manzaralar kimsenin gördüğü sahne değildir
      Güzel bir resim olabilirler, ama kişisel olarak fotoğraftan farklı bir sanata geçiyor gibi geliyor

  • Birkaç ay önce Pixel 7 ile benzer bir şey yaşadım
    Şu geyik fotoğrafında: https://photos.app.goo.gl/qChwaw9C29WVdAmr6
    Yakınlaştırınca ayrıntı düzeyinde her şey yağlı boya tablo gibi görünüyor; özellikle geyiğin yüzü ve arkadaki duvar
    Gerçekte duvar ya da geyik hiç öyle görünmüyordu, filtre de kullanmadım
    Hesaplamalı fotoğrafçılık gerçekten harika, ama biraz endişe verici de

    • Bu daha gelişmiş bir özellikten değil, temel gürültü azaltma işleminden kaynaklanıyor
      2016 civarında iPhone 6s ile çekilen fotoğraflar da yakınlaştırınca benzer görünür
    • Bu gürültü azaltma
      Bu tür mozaik benzeri desenler, gürültülü fotoğraflardan göze daha hoş görünüyor
      Fizik kuralları gereği küçük telefon lenslerinin ve sensörlerinin ışığı yakalamasında sınırlar var
      Donanım epey iyileşti ama henüz sınıra ulaşmış değil; yine de telefon, işleme yapmadan RAW’daki gürültülü görüntüyü olduğu gibi verse bundan hoşlanmazsınız
      Doğru piksel ızgarasına ve renk uzayına aktarmak için gereken işlemeyi de dışarıda bırakamazsınız
    • O fotoğrafı zoom yaparak çekip çekmediğinizi merak ediyorum
      Pixel 7’de özel bir zoom kamerası yok; zoom yaptıysanız bu dijital zoom’dur ve kalite epey düşer
      İşleme aşaması düşük kaliteli kareleri kullanmak zorunda kalır ve böyle sonuçlar sık çıkar
      Telefon kullanıcılarının bunları dert etmesi gerekmemeli, ama deneyimlerime göre zoom kamerası olmayan telefonlarda çoğu zaman zoom yapmadan çekmek ya da 2x’i geçmemek ve sonradan kırpmak daha iyi oluyor
    • Geyiği ve duvarı aynı konu olarak görüp dokuyu ortalamasını alarak ikisine de uygulamış gibi görünüyor
    • Bu etkinin agresif gürültü filtreleme yüzünden ortaya çıkmış olması kuvvetle muhtemel
      Ayarlardan filtreleme şiddetini azaltmak mümkün olabilir

  • Bu tür şeyler giderek daha sık oluyor; “görüntüye gerçekten yakından bakmazsan daha iyi sıkıştırma” ile “yapay zeka iyileştirmesi”nin uğursuz bir karışımı gibi.
    Birkaç hafta önce oğlumun gerçekten güzel bir fotoğrafını çekmiştim; kadraj, ifade, odak ve ışık mükemmeldi, tek bir sorun vardı:
    Telefonun algoritması oğlumun derisini soyup arka taraftaki duvarın dokusuyla değiştirmenin daha iyi olduğuna karar vermişti.
    Elbette Galaxy S22 Ultra gibi ucuz bir telefon almam benim hatam olmalı; S23 Ultra daha iyi olacaktır ama o zaman henüz çıkmamıştı.
    Bu yüzden en azından fotoğrafları kurtarmak için RAW’u açtım; ama RAW yalnızca kullanışsız “Pro” kamera modunda çalışıyor ve bazen sessizce Pro olmayan moda geri dönüyor.
    Sonunda vazgeçip üçüncü taraf bir kamera uygulaması kurdum.
    En azından Mark fotoğraflarımı aktif olarak mahvetmiyor, ona güvenmem gerekecek gibi: https://play.google.com/store/apps/details?id=net.sourceforg...

    • Samsung S23U kullanıyorum; ondan önce S22U, ondan önce de OnePlus kullanmıştım. Çok fotoğraf çekmeme rağmen böyle bir şey hiç yaşamadım.
      Düşük ışıkta varsayılan gürültü giderme ve parlaklık düzeltme sihri ile aptalca Ay değiştirme özelliği dışında hesaplamalı fotoğrafçılık kullanıyor gibi bile görünmüyor.
      Sadece 10x lensle bile Apple’ı geçti; Ay ile ilgili saçmalıklara hiç gerek yoktu.
      Varsayılan kamera uygulaması bence fena değil.

  • Bu örnekler henüz kullanılmıyor olsa bile, ileride hukuki savunmanın bir parçası olarak biriktirilip sunulacaklarını düşünüyorum.
    Haklı olsun ya da olmasın, bu tür uç örnekler bazı hâkim ve jüri üyeleri için makul şüphe eşiğini aşmaya yetebilir.
    Yapay zeka manipülasyonu gerçekten oluyor ve sınırlarını öngörmek zor olabilir.

    • Halkın nefret eder gibi tepki verdiği bir siyasetçi fotoğrafı olduğunu düşünün; oysa aslında o yüz, birkaç an sonraki bir ifadeden eklenmiş olabilir.
      Daha kötüsü, bomba mahallindeki biri patlamadan önce tepki vermiş gibi yakalanabilir.
      Nedensellik hakkında içimize yerleşmiş varsayımlarımız var ve bu yapay zeka bunları kırıyor.
      Bazı belirli durumlarda potansiyel olarak çok büyük bir mesele olabilir.

  • Ailem pano-Frankenstein fotoğraflar çekmeyi seviyor.
    Bir kişi yüz ifadesini dramatik biçimde hızla değiştirirken yüzünün üzerinden panorama çekerseniz, telefon yüzü tutarlı tek bir görüntü olarak birleştirmeye çalışıyor ve oldukça komik sonuçlar çıkıyor.

  • En yeni Google Pixel, kamera uygulamasını açtığınız andan itibaren kareleri kaydetmeye başlıyor.
    Gerçekten fotoğraf çektiğinizde, önceki karelerin bir kısmını kullanarak gecikmesiz, fiilen HDR birleştirmesi yapıyor.
    Burada da benzer bir şey olmuş olabilir.
    İşleme süreci, farklı karelerden fotoğrafın her kısmı için en iyi pozlamayı seçerken böyle bir etki ortaya çıkmış olabilir.

    • Kamerayı açıp önizleme durumunda bıraktığınızda pilin erimesinin nedeni de bu.
      Yeni bir yerde dolaşırken harika bir şeyi hemen çekmek isteyen ve kamerayı saatlerce açık bırakan insanlar var; sonra da öğle vakti pilin bittiğinden şikâyet ediyorlar.

  • Bunun doğru olduğundan pek emin değilim.
    Apple bu düzeyde bir manipülasyon yaptığını kamuya açık biçimde hiç söylemedi; elbette bu yapmadığı anlamına gelmez ama tek bir yakalama içinde o kadının geçmesi gereken hareket aralığı mümkün görünmüyor.
    Live Photos olsa bile böyle bir şey yaşanacağını sanmıyorum.

    • Makaleye göre bu bir panorama fotoğrafıymış; bu da Live Photo veya HDR’ın aynı etkiyi yaratmış olmasından çok daha az ilginç.
    • Ben de şüpheciyim.
      Doğruysa oldukça tuhaf olduğu için inanmak istiyorum ama biraz fazla kusursuz görünüyor.
      Muhtemelen biri şimdiden kanıtlamaya ya da çürütmeye çalışıyordur.
    • HN’de bu kadar teknik olmayan yazıların eleştirilmeden kabul görmesi biraz hayal kırıklığı yaratıyor.

  • Kelebek evindeydim; yakın çekim bir fotoğraf kelebeğin bacaklarını silip sadece kanatlarını bırakmıştı.
    Görsel bağlantısı: https://ibb.co/nwbw5xY

    • Arka planı bulanıklaştıran portre efekti kullanılıyormuş gibi görünüyor.
      Telefon bacakları arka planın bir parçası varsaymış.
      Saçlarda da aynı şey oluyor.
    • Bu muhtemelen gürültü giderme.
      Bacaklar ince olduğu için gürültü olarak yorumlanmaları kolay.
      Özellikle dijital zoom ve loş ışık kullanıldığında piksel sayısı çok az, her pikselin gürültüsü de büyük oluyor; bu yüzden daha da olası.

  • Yakın zamanda bir podcast’te[0] duyduğuma göre iPhone kamera uygulamasında düğmeye uzun basınca bir fotoğraf demeti yakalıyor, sonra da örneğin herkesin gözünün açık olduğu fotoğraf gibi “en iyi” olduğunu düşündüğü kareyi gösteriyormuş.
    Elbette burada olanla aynı şey değil.
    İnsanları fotoğraftan çıkarmaya çalıştığım için bunu her seferinde denemeyi unutuyorum.
    [0] Muhtemelen şu bölümdü: https://podcasts.apple.com/nz/podcast/the-talk-show-with-joh...

    • Birkaç büyük sürüm önce davranışın değişmiş olması üzücü.
      Artık düğmeye uzun basınca video kaydına geçiyor.
      Video çekmeyen biri olarak bu can sıkıcı.
      Ekrandaki düğmeyi kullanırsanız sola kaydırarak seri çekim yapabiliyorsunuz ama bildiğim kadarıyla ses düğmesiyle seri fotoğraf tetiklemenin bir yolu yok.
      iPhone 15 serisindeki yeni programlanabilir düğmeyle mümkün olabilir belki.
    • Live Photo özelliğinde de buna benzer bir yöntem var gibi.
      Fotoğraf çekmek aslında kısa bir video çekmek ve içinden en iyi kareyi seçmek anlamına geliyor.