They See Your Photos - Fotoğrafların Gösterdiği Bilgiler

 (theyseeyourphotos.com)
1 puan yazan GN⁺ 2024-12-15 | 1 yorum | WhatsApp'ta paylaş
  • Kişisel fotoğrafların yalnızca görünen nesneleri değil, özel bilgileri de açığa çıkarabileceğini gösteren bir deney
  • Kullanıcı tek bir fotoğraf yüklediğinde, yapay zekanın Google Vision API ile hangi bilgileri okuyabildiğini görebiliyor
  • Esas nokta, çeşitli verilerin bir araya getirildiği profil analizi değil; yalnızca tek bir fotoğrafla bile beklenenden çok daha fazla çıkarım yapılabilmesi
  • Birden fazla fotoğrafı veya uzun vadeli davranış analizini ele alan bir içerik yok; girdi kapsamı tek bir fotoğrafla sınırlı
  • Fotoğraf paylaşmanın ya da yüklemenin yapay zeka analizinden geçtiğinde, istenmeyen bilgi sızıntılarına yol açabileceğini doğrudan hissettiriyor

Tek bir fotoğrafın açığa çıkardığı bilgiler

  • They See Your Photos, kullanıcıların yüklediği fotoğraflarda yapay zekanın ne gördüğünü doğrudan kontrol etmeleri için oluşturulmuş bir deney
  • Fotoğraflar çok sayıda kişisel bilgiyi açığa çıkarabilir; bu deney, tek bir fotoğraftan yapılabilecek çıkarımlara odaklanıyor

Kullanım şekli

  • Kullanıcı bir fotoğraf yükler
  • Sistem, fotoğraftan okunabilecek bilgileri kontrol etmek için Google Vision API kullanır
  • “Onların gördüğünü gör” mesajıyla, yapay zekanın fotoğrafı nasıl yorumladığını deneyimletir

İlgili okumalar

1 yorum

 
GN⁺ 2024-12-15
Hacker News görüşleri

  • magick convert IMG_1111.HEIC -strip -quality 87 -shave 10x10 -resize 91% -attenuate 1.1 +noise Uniform out.jpg
    Bu komut tüm EXIF meta verilerini kaldırır, JPEG kalitesini değiştirir, her kenardan 10 piksel kırpar, belirli bir oranda yeniden boyutlandırır, attenuate uygular ve ardından Uniform türünde gürültü ekler
    Ayrıca attenuate, komut satırında +noise anahtarından önce gelmelidir ve JPEG kalite değeri düştükçe görüntü üzerinde değişiklik tespiti zorlaşır[1]
    Yeniden boyutlandırma oranı 91.5% veya 92.1% gibi ondalıklı da olabilir. Yapay zeka görsel tespitinden bağımsız olarak, bu sadece meta veriyi kaldırmakla kalmaz, herkese açık paylaşılan her görseli birbirinden farklı hale getirebilir ve özgün fotoğraftan da belirgin biçimde ayırabilir
    [1] https://fotoforensics.com/tutorial.php?tt=estq

    • AI image detection notwithstanding dense bile bunu denemenin pek anlamı yok. Sadece insanların görmesi daha kötü bir görüntü üretir
    • Bu yaklaşımın algısal hash'e (perceptual hashing) dayanacağına dair bir garanti yok
      https://en.wikipedia.org/wiki/Perceptual_hashing
    • Hiç yapmamaktan kesinlikle daha iyi ama algısal hash karşısında nasıl çalıştığını merak ediyorum. pHash'i yerelde çalıştırmayı denemek için yaklaşık 5 dakika uğraştım ama işe yarar bir sonuç alamadım; muhtemelen ben yanlış kullandım
    • Görseli kırpmak veya yeniden sıkıştırmak da pek yardımcı olmuyor
      TinEye tersine görsel aramada bu tür dönüşümler de kolayca eşleşiyor
      https://tineye.com/
    • Görselde filigran varsa bu şekilde kaldırılamaz. Filigranlar, insanların katlanamayacağı kadar yoğun eş dağılımlı gürültüye bile kolayca dayanır ve genellikle birden fazla konum ve kanalda fazlalıklı olarak saklandıkları için eş dağılımlı gürültü çoğunlukla ortalamayla silinir, kırpmanın da pek etkisi olmaz
      Filigranlar çoğu zaman RGB dışındaki renk modellerine veya ciddi biçimde dönüştürülmüş görüntü bölgelerine sinyal yerleştirir; dolayısıyla filigran sinyalinin “ekseni” boyunca gürültü eklenmiş de olmaz. Benzer görsel aramada da pek etkili değildir; bu algoritmalar onlarca landmark bulur ve bunların büyük bir bölümünü paylaşan görselleri arar. Eskiden landmark'lar köşeler gibi yüksek kontrastlı geometrik özelliklerdi ve gürültüden neredeyse hiç etkilenmezdi; bugünse sıkıştırma, gürültü gibi yaygın dönüşümlere karşı eğitilmiş sinir ağlarının seçtiği herhangi bir şey landmark olabilir

  • Bunu kullanırken yazarı mahkemede dava etme hakkınızdan vazgeçtiğinizi unutmamak gerek: https://theyseeyourphotos.com/legal/terms
    PLEASE NOTE THAT THESE TERMS CONTAIN A BINDING ARBITRATION PROVISION AND CLASS ACTION/JURY TRIAL WAIVER.
    Bu tür maddeler ABD'de yaygın ve ABD mahkemeleri tarafından sürekli geçerli sayılıyor. İlginç olan, Ente'nin normal kullanım şartlarında bulunan opt-out maddesini buraya koymamış olması (https://ente.io/terms). Neden sadece bu özel hizmet için daha kısıtlayıcı şartlar hazırladıklarını merak ediyorum

  • Bu, sadece kendi fotoğraf hizmetlerinin reklamı. Yapay zeka ile analiz etmiyorsa arama özelliği de muhtemelen vasattır; oysa bu, Google Photos'un en iyi özelliklerinden biri

    • O fotoğraf hizmetinde çalışan biriyim
      Ente, cihaz üstü makine öğrenimi ile çalışan oldukça iyi bir arama sunuyor[1][2]
      [1]: https://ente.io/blog/machine-learning
      [2]: https://ente.io/ml
    • Yapay zeka olmadan aramanın vasat olacağı biraz abartı. Fotoğraflardaki nesne ve yüz tanıma konusunda tekel Google'da değil
      Fotoğrafları yüzü olmayan bir yapay zekaya yedirip tonla elektrik harcamadan da, self-hosted çözümlerle bu özellikler gayet sağlanabilir
    • Ente adlı hizmet de sonuçta kullanıcının fotoğraflarına bakıyor, bu yüzden biraz tuhaf bir reklam gibi geliyor
    • Google'ın fotoğraflardan elde ettiği bilgilerle kullanıcı ve reklam profilini güncellemesini engellemek için nasıl vazgeçebilirim?
    • Kullanıcılarına hayvan sürüsü gibi değil de insan gibi davranan şirketlerin çoğalması iyi olur

  • Bu, görme engelliler için görsel açıklaması üretme konusunda oldukça iyi olabilir ama ilk bakışta görünenin ötesinde derin içgörüler vermiyor
    “Akıllı görünmeye çalışan” çok fazla laf kalabalığı var. Örneğin ağaç dallarının fotoğrafı için “Dikkatli bir gözlemci, dalların kalınlığı ve dokusundaki ince değişimleri de fark edebilir; bu da doğal ve organik büyüme örüntülerine işaret eder” demiş
    Teşekkürler. Yoksa o ağacın doğal olmayan, inorganik bir ağaç olduğunu sanabilirdim

    • Prompt'ta “fotoğrafın ince ayrıntılarını detaylı biçimde açıkla” veya “bu durumdan hangi sonuçlar çıkarılabilir?” gibi talimatlar varmış gibi duruyor
      Fotoğrafta gerçekten kayda değer ayrıntılar veya çıkarımlar olsun olmasın, her görselde bunu deniyor gibi. Fotoğraftan gizli gerçekleri çıkarsayan Sherlock Holmes tarzı akıl yürütme göstermeye çalıştığını anlıyorum ama modelin bulacak bir şeyi olmadığında komik duruma düşüyor
    • Facebook, yıllardır temel düzeyde alternatif metin üretimi yapıyor. Mükemmel değil ama hiç olmamasından iyidir; örneğin “4 kişi, gülümseyen insanlar, üzerinde metin olabilecek bir görsel” gibi

  • Kadrajın dışında kalan kulağa küpe halüsinasyonu görmesi ya da çıplak ayaklı çocuğun sol ayakkabısının odakta olmadığını söylemesi gibi şeyler olmasaydı daha korkutucu olurdu

    • Şu anda yemek masasının üstüne Harry Potter tarzı havada duran mum süsleri astım. Onların net göründüğü bir fotoğraf yükledim; odadaki diğer her şeyi gayet güzel açıklarken mumları tamamen görmezden geldi
      Modelin çaresizce “havada duran mum halüsinasyonu görme, havada duran mum halüsinasyonu görme” diye düşündüğünü hayal ettim
    • Kar leoparının ekonomik statüsünü tahmin etmeye çalıştı
      “Görüntü bir kar leoparına odaklanıyor ve insan yok. Leoparın ifadesi tetikte ve biraz temkinli, ancak saldırgan değil. Görüntüden leoparın yaşını ya da tam sağlık durumunu kesin olarak söylemek zor, ancak nispeten iyi fiziksel durumda yetişkin bir birey gibi görünüyor. Ekonomik statü veya yaşam tarzını açıkça gösteren ipuçları yok.”
    • Korkutucu olan şey tam da hemen halüsinasyon üretmesi
    • Birkaç fotoğraf denedim; ceket üzerinde bir şey gördüğünü ya da başka bir giysi parçası olduğunu halüsinasyonla söyledi
      Bocaladığı anı izlemek oldukça ilginçti. LLM’lerin kelime hesaplamasında olduğu gibi “evet, sanırım böyle bir cevap üretebilir” diye tahmin edebildiğiniz bir his değildi. Görsel halüsinasyonlar daha çok “ama bu görüntüde hiç yok ki...” türündendi

  • Google gibi büyük teknoloji şirketlerinden kaçınacak teknik çözümler üretme çabası takdire değer, ama bence hâlâ en iyi yöntem fotoğraf bastırmak
    Aile içinde genelde “fotoğraf işi” bende olduğu için, etkinliklerden sonra ilgili aile üyelerinin evine basılı fotoğraflar sipariş ediyorum ya da kendim götürüyorum. Elde gerçek bir nesne tutmanın yerini pek bir şey tutmuyor
    Üstelik baskının az da olsa bir maliyeti olduğu için, sonsuz kaydırma akışına dönüşmesin diye gerçekten iyi birkaç fotoğrafı göstermeye teşvik ediyor

    • Kullandığın fotoğraf laboratuvarının ya da yazıcının gizlilik politikasını kontrol ettin mi? Fotoğrafların dijital kopyalarını toplayabilir, bunları üçüncü taraflara satabilir, fotoğraflardan elde ettikleri bilgileri satabilir ya da polise ve devlet kurumlarına verebilirler
    • Fotoğraf depolama uygulamalarında baskı siparişi vermeyi kolay sunmak iyi bir iş fikri olabilir
    • Nerede bastırıyorsun?

  • Baca kaplaması sorunundan kaynaklanan hasarın fotoğrafını yükledim ve beklenmedik şekilde içgörülüydü. Ama evimin eski ve ihmal edilmiş olduğunu da söyledi. Yahu, o kadar da değil
    Her neyse, çoğu yapay zekaya karşı epey şüpheciyim ama ev tamiratında doğru yönü bulmak için kullanmak kulağa oldukça cazip geliyor. Çünkü saçmalamayan, ucuz olan ve gerçekten ortaya çıkan bir ustayı bulmak neredeyse imkânsız

  • Günümüz LLM’leri gibi, çok konuşup aslında pek bir şey söylemeyen bir tarzı var gibi görünüyor. Birkaç kişisel fotoğraf yükledim; sahnenin sıradan açıklaması dışında pek tanımlanabilir bilgi vermedi
    Örnek: “Arka planda Avrupa şehirlerine özgü modern ve eski binaların karışımı ile çeşitli mimari stiller görülüyor.”

    • Benim deneyimim oldukça farklıydı. Şu fotoğrafı verdim:
      https://postimg.cc/yD4YZKFk
      Fotoğrafta konum verisi olmadığından eminim ama ilk cümlesi “Bu görüntü Illinois, Chicago’daki Union Station iç mekânını gösteriyor” oldu. Sonunda biraz az pişmiş bir sanat eleştirisi de ekledi ama doğru yeri, Noel ağacını ve bankta oturan insanları bildi. Yandaki caz topluluğunu ise kaçırdı

  • Ente, ailemle birlikte self-host ettiğim Immich[0]’in üzerine uçtan uca şifreleme eklenmiş hali gibi görünüyor. Ben şifrelenmemiş tarafı tercih ediyorum; bir şey bozulduğunda dosyalar diskte oldukları gibi duruyor ve kolayca kurtarılabiliyor
    [0]: https://immich.app/

    • Ente CLI[0] içinde buluta salt okunur erişen bir dışa aktarma servisi var ve silinen öğelerin adı değiştiriliyor
      Go ikilisi çoğu NAS dahil neredeyse her yerde çalışıyor, ama Argon2 nedeniyle ana anahtarı çözmek için en az 1GB RAM gerekiyor
      [0] https://github.com/ente-io/ente/tree/main/cli
    • Google Photos’a gerçekten çok benzemesine şaşırdım. Google yine fiyat artırırsa Immich kusursuz bir alternatif olabilir

  • “Kuğu için yaş ve diğer ayrıntılar (ırksal özellikler, etnik köken, ekonomik statü, yaşam tarzı) doğrulanamıyor.”
    Vurguyu ben ekledim

    • Birkaç çizim yükledim; neredeyse tüm portreler için “ırksal özellikler, etnik köken, ekonomik statü, yaşam tarzı” doğrulanamıyor diye özellikle belirtti
      Harika bir ressam değilim ama diğer kısımlardaki ayrıntıları oldukça iyi yakaladı. Muhtemelen prompt bunları soruyor ve yapay zeka cevap vermek istemiyor. Ama çizim tarzı nedeniyle sanatçının muhtemelen erkek olduğunu da söyledi. Gerçekte erkeğim ve çizim tarzım daha maskülen olabilir, ama bunun nasıl nicelleştirileceğini bilmiyorum