- Akıllı telefonların konuşmaları sürekli dinleyip buna göre reklam gösterdiği yönündeki yaygın inanışa dair net bir kanıt yok; gerçek reklam hedefleme, konum·ilişkiler·davranış verilerinin bir araya getirilmesine daha çok benziyor
- 2024’te Cox Media Group’un Active Listening tartışması, “real-time intent data” ve ses verisi kullanımına ilişkin materyaller nedeniyle büyüdü; ancak büyük teknoloji şirketleri CMG ile aralarına mesafe koydu ve CMG ürünü durdurdu
- Wandera’nın 2019 deneyinde iPhone ve Samsung Galaxy cihazlarına 30’ar dakika evcil hayvan maması reklam sesi dinletildikten sonra reklam gösterimi, veri kullanımı, pil ve arka plan etkinliği karşılaştırıldı, ancak mikrofonun sürekli veri yüklediğine dair bir iz bulunamadı
- Northeastern University araştırmacıları 17.000’den fazla Android uygulamasını inceleyip gizlice mikrofon açan bir örnek bulamadı; buna karşılık bazı uygulamaların ekran görüntüleri·ekran videolarını üçüncü taraflara göndermesi gibi daha doğrudan bir gizlilik sorunu tespit etti
- Facebook gibi platformlar, cihazlar arası izleme, arkadaş ilişkileri, konum, satın alma bilgileri ve Android arama·mesaj meta verileri gibi büyük ölçekli kişisel verilerle ilgi alanlarını tahmin edebiliyor; bu da basit bir dinleme iddiasından daha anlaşılmaz ve daha opak bir reklam sistemi yaratıyor
Akıllı telefon dinleme iddiası neden sürekli geri dönüyor?
- Sosyal medyada az önce yaptığınız konuşmayla tam örtüşen bir reklam gördüğünüzde, en basit açıklama mikrofonla dinleme gibi görünebilir
- Facebook, Google ve Apple’ın özel konuşmalardaki anahtar kelimeleri duyup kişiselleştirilmiş reklam gösterdiği anlatısı uzun süredir bir teknoloji komplo teorisi haline gelmiş durumda
- Ancak anekdotlar dışında, akıllı telefonların özel konuşmaları sürekli dinleyip bunları reklamlarda kullandığına dair açık bir kanıt bulunmuş değil
2024 Active Listening tartışması
- 2024’te 404 Media’nın yayımladığı belgelerde Cox Media Group (CMG), Active Listening adlı bir sistemi tanıttı
- Akıllı cihaz mikrofonlarıyla “real-time intent data” elde edilebileceği belirtiliyordu
- “voice data”nın yapay zeka işleme ve diğer “behavioral data” ile birleştirilerek yüksek derecede hedefli reklamlar sunulabileceği öne sürülüyordu
- Active Listening’in gerçekte nasıl çalıştığı ise net değil
- Tartışmanın hemen ardından büyük teknoloji şirketleri CMG ile aralarına mesafe koydu
- Amazon, CMG ile hiçbir zaman reklam partneri olarak çalışmadığını açıkladı
- Google ve Meta, CMG ile ilişkilerini kesti
- CMG ise Active Listening ürününü “yanlış anlaşılmaları önlemek için” durdurduğunu söyledi
- Anlaşılabildiği kadarıyla CMG sistemi, telefon mikrofonunu 24 saat dinleten bir yapıdan çok, “Hey Google” veya “Hey Siri” gibi uyandırma sözcüklerinden sonra buluta gönderilen kısa ses parçalarını kullanmaya daha yakındı
Facebook Messenger deşifre tartışması ve yanlış anlamalar
- 2019’daki Bloomberg haberinde, Facebook’un Facebook Messenger’daki sesli konuşmaları dış yüklenicilere yazıya döktürdüğü ortaya çıktı
- Facebook, bunun otomatik deşifre algoritmasının doğruluğunu test etmeye yönelik bir süreç olduğunu ve deşifre özelliğine opt-in yapan kullanıcıların olası insan incelemesinden haberdar olduğunu söyledi
- Bazı haberler ise Facebook’un bu konuda ne kadar şeffaf bildirim yaptığına dair soru işaretleri doğurdu
- Olay, “Facebook özel konuşmaları dinliyordu” tarzı başlıklarla yayılarak reklam amaçlı mikrofon dinleme iddiasını yeniden büyüttü
- Mark Zuckerberg, 2018 Nisan’ında ABD Kongresi’nde mikrofon üzerinden kullanıcıların dinlenip reklam için kullanılıp kullanılmadığı sorusuna “Böyle bir şey yapmıyoruz” yanıtını verdi
- Facebook, 2016’da da telefon mikrofonunu reklamlar veya News Feed için kullanmadığını, reklamların kullanıcı ilgileri ve profil bilgilerine dayandığını söylemişti
Wandera deneyi: veri kullanımı uyuşmuyor
- Mobil güvenlik şirketi Wandera, 2019’da akıllı telefonların sürekli konuşma dinleyip dinlemediğini test etmek için basit bir deney yaptı
- iPhone ve Samsung Galaxy cihazları bir odaya kondu, günde 30 dakika boyunca 3 gün boyunca evcil hayvan maması reklam sesi çalındı
- Birçok uygulama izni etkinleştirildi
- Aynı telefonlar sessiz bir odada da kontrol grubu olarak tutuldu
- Deney iki şeyi kontrol etti
- Deneyden sonra uygulama akışlarında evcil hayvan maması reklamlarının görünüp görünmediği
- Veri kullanımı, pil tüketimi ve arka plan etkinliğinin takibi
- Hiçbir uygulamada evcil hayvan maması reklamı görünmedi
- Sesli oda ile sessiz oda arasında veri kullanımı, pil tüketimi ve arka plan etkinliğinde de neredeyse fark yoktu
- Wandera’dan James Mack, 30 dakikalık testteki veri miktarının sanal asistan veri kullanımından çok daha düşük olduğunu, bunun da test edilen uygulamalarda sürekli kayıt ve buluta yükleme yapılmadığına işaret ettiğini söyledi
- Eski Facebook ürün yöneticisi Antonio Garcia-Martinez de Wired yazısında, mikrofon gözetiminin gizlenmesi zor bir veri kullanımı gerektireceğini hesapladı
- Tek yönlü bir VoIP görüşmesi yaklaşık 24 kbps, yani saniyede yaklaşık 3 kB veri gerektirir
- Telefonun günün yarısında açık olduğu varsayılırsa bu, kullanıcı başına günde yaklaşık 130 MB eder
- ABD’de günlük 150 milyon aktif kullanıcı baz alındığında günde yaklaşık 20 PB gerekir
- Facebook’un toplam veri depolama kapasitesi yaklaşık 300 PB, günlük toplama miktarı ise yaklaşık 600 TB olarak veriliyor
- “Anahtar kelimeler cihaz üzerinde yerelde tespit edilebilir” itirazı yapılsa da, Facebook’un izlemesi gereken reklam anahtar kelimelerinin milyonları bulacağı ve CPU yükünün fark edilir olacağı, dolayısıyla bunun gizlenmesinin zor olduğu karşı argümanı öne çıkıyor
Mikrofondan daha doğrudan izleme: ekran yakalama
- Northeastern University’den Jingjing Ren ve Elleen Pan, 2017 başında akıllı telefonların kullanıcıdan habersiz konuşmaları dinleyip dinlemediğini araştıran bir çalışma tasarladı
- Araştırmacılar gizlice etkinleşen bir mikrofon örneği bulamadı
- Bunun yerine bazı uygulamaların kendi ekranlarını otomatik olarak yakalayıp üçüncü taraflara gönderdiğini keşfetti
- Christo Wilson, hiçbir ses sızıntısı tespit edilmediğini ve bir vakada uygulamanın ekran etkinliğinin videosunu üçüncü tarafa gönderdiğini söyledi
- 17.000’den fazla Android uygulaması içinde 9.000’den fazlası ekran görüntüsü alabilecek potansiyel izinlere sahipti
- David Choffnes, ekran yakalamanın tavana bakan bir kameradan ya da anlamsız konuşmaları kaydeden bir mikrofondan bile daha kötü olabileceğini ve bu gizlilik açığını kapatmanın kolay bir yolu olmadığını söyledi
Reklam hedefleme için zaten yeterince veri var
- Facebook, mikrofon kaynaklı teknik bir mucizeye ihtiyaç duymadan da zayıf sinyallerden kullanıcı hedefleyebilecek daha iyi araçlara sahip
- Garcia-Martinez, Facebook’un kullanıcının Facebook’a giriş yaptığı tüm cihazlarda onu bulabildiğini ve perakendecilerin bildiği bilgilerle çevrimdışı nakit alışverişleri bile kullanabildiğini düşünüyor
- Platformların kullanabildiği veriler çok çeşitli
- Kullanıcının mevcut konumu
- Arkadaş ilişkileri ve arkadaşların ilgi alanları
- Kullanıcının kimlerle vakit geçirdiğine dair bilgiler
- Birden çok cihaz arasında izleme
- Android telefonlardaki arama·mesaj meta verileri
- Gerçekte gönderilmeden silinen girişlerin bile izlenebilir olma ihtimali
- Bu veriler algoritmalarla işlendiğinde, kullanıcıların ve arkadaşlarının ne hakkında konuşuyor olabileceği tahmin edilebilir ve o anki ihtiyaca uyan reklamlar gösterilebilir
- Reklam algoritmaları kusursuz değil; ilgi alanlarınızla hiç uyuşmayan reklamlar da sık sık çıkıyor
- Yine de bazı reklamlar ürkütücü derecede isabetli olduğu için, kullanıcıların mikrofonla dinleme gibi basit bir açıklamayı kabul etmesi kolaylaşıyor
Sesli asistanlar ile sürekli kayıt arasındaki fark
- Sesle kontrol edilen akıllı cihazlar bir anlamda kullanıcıyı neredeyse her zaman “dinliyor”
- Ama çalışma biçimi sürekli kayıtla aynı değil
- Cihaz, “Hey Google” gibi uyandırma sözcüklerini yerelde algılar
- Uyandırma sözcüğü tespit edilince kısa süreliğine etkinleşir ve sonraki birkaç saniyelik ses verisini kaydeder
- Bu veri yanıtın işlenmesi için buluta gönderilir, ardından sonuç cihaza geri gelir
- Bu tür veri aktarımı tespit edilebilir ve izlenebilir
- Asıl sorun, mikrofonla dinleme iddiasından çok, çok sayıdaki kişisel veri noktasını izleyen karmaşık algoritmaların reklam zamanlamasını nasıl belirlediğini insanların anlamasının zor olması
- Akıllı telefon reklamlarının yarattığı rahatsızlık, basit bir dinlemeden çok karmaşık ve opak veri takibinden kaynaklanıyor
1 yorum
Hacker News görüşleri
Bu yazı, Jonathan Zeller'ın McSweeney's için yazdığı şu harika hiciv yazısını hatırlatıyor: Calm Down—Your Phone Isn’t Listening to Your Conversations. It’s Just Tracking Everything You Type, Every App You Use, Every Website You Visit, and Everywhere You Go in the Physical World
https://www.mcsweeneys.net/articles/calm-down-your-phone-isn...
Bu, Facebook'un “biz verileri asla satmayız (sadece seni takip eder ve o verilerle reklam satarız)” söylemine benziyor. “Biz sesi asla dinlemiyoruz (yalnızca kalite güvencesini iyileştirmek için analiz ediyoruz)” gibi bir kaçış payı mutlaka vardır
Toshiba Fire TV'min, sesli kumandayı kullanmadığım zamanlarda bile işitme mesafesindeki tüm konuşmaları dinleyip reklam ağlarına sattığına eminim. Elbette asıl yazıda bahsedilen ekran tanımayı da yapıyordur ama benim bahsettiğim şey odadaki insanların gerçek zamanlı konuşmalarını mikrofonla toplaması
Eskiden Google'ın Twitter'dan büyük ölçekte veri topladığını ve Google Maps arama kutusuna sadece bir Twitter kullanıcı adı yazarak Twitter kullandığın konumların gösterilebildiğini ifşa etmiştim
Twitter'da konum paylaşımını kapatsan bile bu konumları biliyorlardı; bu da ancak Twitter bilgileri Google'a özel olarak vermişse mümkün olurdu. O “deney” daha sonra durduruldu ama bu ifşa ve başka faaliyetler yüzünden Twitter hesabımı kalıcı olarak kaybettim; haksız yere kalıcı askı aldığımı söyleyerek defalarca geri yükleme talebinde bulununca X Support tüm itirazıları doğrudan dijital çöp kutusuna gönderecek şekilde ayarlanmıştı. Artık hiçbir şeye şaşırmıyorum
Ben bunu yazarken sayfanın başlığı “Your phone isn’t secretly listening to you, but the truth is more disturbing” ve mevcut gönderi başlığı da aynı
Ama okuyunca bunun aslında esas olarak Facebook'a odaklanan bir yazı olduğu görülüyor. “Telefonun seni gizlice dinlemiyor” ifadesi kafa karıştırıcı olabilir. Yazı, telefonların dinlemediğini kanıtlamıyor; yalnızca bazı şirketlerin bunu yapmıyor olabileceğini ele alıyor. Gerçekte telefonlar pekala dinliyor olabilir. Bunu zafiyetlerden yararlanarak yapan çok sayıda kötü amaçlı yazılım/casus yazılım var ve NSO Group gibi örnekler de mevcut. Açık piyasadan satın alınabilen araçların ötesinde, Mossad, NSA ve büyük istihbarat teşkilatlarının bundan daha güçlü araçlara sahip olduğunu varsaymak gerekir. Telefonun gerçekten seni dinliyor olabilir ama muhtemelen dinlemiyordur
https://www.bloomberg.com/news/features/2023-01-24/nso-group...
https://www.britannica.com/topic/Pegasus-spyware
https://citizenlab.ca/2016/08/million-dollar-dissident-iphon...
https://newatlas.com/computers/smartphone-listening-conversa...
https://www.bloomberg.com/news/features/2023-01-24/nso-group...
Yine de o seviyedeyse, bu muhtemelen endişe listesindeki daha küçük maddelerden biri olur
Bu arada “akıllı” TV'ler de ekran görüntüleri gönderiyor
[0] https://dl.acm.org/doi/10.1145/3646547.3689013
“Uygulama otomatik olarak kendi ekranının ekran görüntüsünü alıp üçüncü taraflara gönderdi; bir vakada da ekran etkinliğinin videosunu çekip üçüncü tarafa gönderdi” deniyor; ayrıca 17.000’den fazla Android uygulamasının 9.000’den fazlasının ekran görüntüsü alma potansiyel yetkisine sahip olduğu söyleniyor. Bu tam olarak hangi izin ve hangi uygulamaların böyle bir şey yaptığını nasıl tespit edip engelleyebiliriz?
Yazının anlattığı şey daha çok uygulamanın kendi penceresinin ekran görüntüsünü alması gibi görünüyor. Bu ise doğal olarak mümkün ve hiç izin de gerektirmiyor. Ekran boyutunda bir bitmap oluşturup
getWindow().getDecorView().draw(new Canvas(bitmap));demek yeterli. Birçok uygulamada bolca bulunan üçüncü taraf reklam/pazarlama/izleme SDK’larının böyle bir şey yapabilmesi gayet olasıAncak 17.260 uygulamadan 9.100’ü üzerinde statik analiz yapıp “medya API’sinin gerçekten uygulama kodunda referans alınıp alınmadığını” değerlendirmişler; ardından dinamik analizle uygulamanın API’yi gerçekten çağırıp çağırmadığını doğrulamışlar. Yani yalnızca kütüphaneye linklenmiş ama uygulama tarafından çağrılmayan durumları ayırmışlar. Haber özeti kötü. “Ekran görüntüsü alma potansiyel yetkisi vardı” değil, “ekran görüntüsü alma potansiyeli vardı” denmesi gerekir
Büyük olasılıkla ağ bağlantısı izniyle, ekranı kullanıcıya açıkça görünmeden yakalamayı sağlayan başka yeteneklerin birleşimi söz konusu
Hata çözmede çok yararlıdır ama suistimal edilmesi ya da kullanıcıya karşı düşmanca kullanılması ihtimali de çok yüksektir
İnsanlar telefonların 24 saat dinlediği iddialarında maliyet ve doğruluğu görmezden geliyor gibi. En azından bugünkü kısıtlar altında bunun olması çok düşük ihtimal
Ses yazıya dökme ücretsiz değil ve hesaplama maliyeti yüksek. Reklam ağları ya da büyük hizmetler, özellikle birim ekonomisine bakan yapılarda, bunu taşımakta zorlanır. Doğruluk da berbat olurdu. Çoğu telefon cepte duruyor ve neredeyse hiçbir şey yakalayamaz. Üstelik sıradan konuşmalar reklamveren için nadiren değerli içerik taşırken, Google satın alma niyeti içeren aramalardan para basıyor. Genel konuşmanın sinyal/gürültü oranı çok daha düşük, dolayısıyla birim ekonomisi daha da kötü. Ayrıca böyle bir şey olsaydı fark edilmemesi de zor olurdu. Telefon ısınır, pili hızlı biter ve çok veri kullanırdı. iOS’ta mikrofon kullanım göstergesi var; arka planda fazla kaynak kullanılırsa işletim sistemi uygulamayı büyük ihtimalle kapatır. Gerçek bir vaka görülene kadar endişelenmeye değmez
Yazıya dökme modelini yerelde çalıştırıp sadece sonuç metnini gönderebilirsiniz; yüksek güç tüketimi ve ara sıra internet kullanımı da o cihazlarda doğaldır, örneğin akıllı TV gibi
Bir kelime bulutu oluşturmak basit olur ve pil etkisi de asgari düzeyde kalır
Ya sadece “yüksek değerli” hedeflerin, yani çok alışveriş yapan kişilerin sesini kaydediyorlarsa? Belki sadece onlar için kayıt almaya değer ve bu yüzden genelde yeni ve temiz telefonlarla yapılan rastgele testlerde kayıt olayları tespit edilemiyordur
Telefon değil TV ama dün YouTube en azından epey şüpheliydi
İlk olarak, izleme geçmişini kapatsanız bile aynı IP’den erişen diğer hesapların geçmişini önerilerde kullandığı oldukça açıktı. Geçmiş olmayınca ana sayfa önerileri kapanıyor ama bir arama yapınca eşimin başka bir hesapla izlediği kaya tırmanışı kanalının tamamen alakasız videoları çıktı. Ben bu hesapta hiç kaya tırmanışı içeriği izlemedim. İkincisi de “dinliyor” tarafıydı. Üç aylık ilaçlama için gelen görevliye, geçen yılın sonunda kaykayla baş edemeyeceğim bir yokuştan inerken düşüp oluşan izimi gösterip anlatıyordum; 5 dakika bile geçmeden TV’yi açıp YouTube’u açtım ve eşimin hesabındaki ilk öneri saatte 50 mil hızla longboard sürerken düşülen bir videoydu. İkimizin de kaykay yaptığı ve bu hesapta bol bol downhill videosu izlendiği sır değil ama kaza videolarını ne aramıştık ne izlemiştik ne de daha önce öneri olarak görmüştük; buna rağmen o TV’nin önünde bundan söz ettikten 5 dakika sonra önerildi
Saçmalık. Denedim ve hâlâ işe yarayan basit bir deney var
Eskiden Birleşik Krallık YouTube’unda kulak kiri temizleme reklamları korkunç derecede çoktu. Hem deney olsun hem de şaka diye iki yakın arkadaşıma bu reklamların ne kadar iğrenç ve iştah kaçırıcı olduğunu söyledikten sonra bilerek yüksek sesle birkaç kez “ear wax removal” dedim. Nitekim bir gün sonra arkadaşım bana “senden gerçekten nefret ediyorum” minvalinde mesaj attı. Arkadaşlarımın telefonları hem Android hem iOS’tu; galiba etkilenen Android kullanıcısıydı
Telefonda çalışan reklam yazılımının profilleri eşleyip arkadaşına “bulaştırmasının” milyonlarca yolu var. Varsayılan konum erişimi en önemlisi; aynı IP adresi (arkadaşın Wi‑Fi’ı?), aynı Bluetooth beacon’larının yakınında olmak, aynı kayıtlı SSID ya da arkadaşının geniş demografik hedefli bir reklamı tesadüfen görmesi gibi ihtimaller, “telefon 24 saat dinliyor” iddiasından çok daha olası
Kendi yorumundaki önyargıları ve hataları görmüyor musun?
4 haftalık kampanyanın 1. haftasında herkes görmezden gelmiş olabilir ama 4. haftaya gelindiğinde o kadar çok görmüşsünüzdür ki aklınıza kazınmıştır
Korelasyonları kuran şey insanlar da değil. Transformer’ların yalnızca token tahminiyle insan bilgisinin büyük kısmını öğrenebilmesi gibi, reklam sunumu için kullanılan makine öğrenimi sistemlerinin de insanlar hakkında buna benzer ölçüde ayrıntılı şeyler öğrenmiş olması şaşırtıcı olmaz
Yaklaşık 10 yıl önce en ileri seviye, kullanıcı profili, mevcut web sitesi, anahtar kelimeler gibi erişilebilir bağlamla tıklama oranını binde bir hata payı düzeyinde tahmin etmekti; bu da insan davranışına dair oldukça doğru bir öğrenme modeli gerektiği şeklinde yorumlanıyordu. Sektörden ayrıldığım için bugün reklam teknolojisinde en ileri seviyenin ne olduğunu bilmiyorum ama daha da gelişmiş olması muhtemel. Modeller, yakın zamandaki gerçek tıklama oranlarına dayanan otomatik etiketli verilerle (saniyede GB ölçeğinde) eğitiliyordu ve eğitim verisi miktarı da küçük bir büyük dil modeliyle kabaca benzerdi. Yakın tarihli bir anekdot olarak, üç kişi telefonlarını çıkarıp masaya koyarak oturmuş ve nadir bir kuş konusu hakkında konuşmuş; kısa süre sonra bu, içlerinden birinin Facebook reklam akışında görünmüş. Olası açıklamalardan biri, birçok uygulamanın çok sayıda üçüncü taraf veri toplama ve reklam kütüphanesine link vermesi ve bunlardan herhangi birinin yeterli bağlamsal veriyi toplayıp yeniden satarak korelasyon kurabilmesi; bir diğeri de diğer arkadaşların yakın zamanda bu konu hakkında konuşmuş olması ve sosyal ağ bağlantılarının bizim bunu bileceğimizi çıkarsamış olması. Uzak ama üçüncü bir olasılık ise, modellerin insanlar konuşurken el kol hareketleri gibi ivmeölçer benzeri tuhaf yan kanallardan konuşmayı çıkarabilecek kadar iyi hâle gelmiş olması. İvmeölçer örnekleme hızı 1KHz’in altında ama 100Hz’in üstünde; yani üstüne dev bir model atarsanız yeterli olabilir
1.000.000 reklam gösteriminde tıklama oranı %24,5898 ise ve makine öğrenimi %25,1926 tahmin ettiyse, bu kaç dokuzluk doğruluk eder?
Eski şirketimde, uygulama geliştiricilerin kendi uygulamalarına koyduğu oldukça popüler bir mobil uygulama SDK’sı yapıyordum
Bir şirket bize ulaşıp MIT’de ya da sanırım Bell Labs’te geliştirilmiş, Shazam’a benzer ama birkaç basamak daha verimli bir ses tanıma teknolojisine sahip olduğunu iddia etti. Bunun, kullanıcının TV ya da radyo reklamına maruz kalıp kalmadığını algılayıp kaydeden bir takip amacı taşıdığını söylediler ve onların SDK’sını bizim SDK’mızın içine sessizce gömmemiz karşılığında gelir paylaşımı teklif ettiler. Bu en az 10 yıl önceydi; Apple mikrofon erişim izni ve turuncu nokta göstergesini zorunlu kılmadan önceydi, o yüzden adını hatırlamıyorum. Elbette reddettik; dolayısıyla daha fazlasını öğrenmedim ya da doğruluğunu test etmedim, ama gerçekten çok kirli şirketler var. Modern akıllı telefonlar cihaz üzerinde ses işleme için yeterli güce sahip, bu yüzden bunun ağ trafiğinde görünürdü iddiası geçerli değil
https://www.pcworld.com/article/424417/ad-tracking-tech-uses...