- Google AI Overview'da, 'Dave Barry'nin öldüğünü söyleyen hatalı bir bilgi gösterildi
- Gerçekte Dave Barry hayatta olmasına rağmen, yapay zeka bu yanlış bilgiyi defalarca tekrarlayarak yansıttı
- Kullanıcı birkaç kez geri bildirim gönderdi, ancak yapay zekayla yapılan sohbet ve sorunun düzeltilmesi sürecinde tatmin edici bir çözüm sağlanmadı
- Yapay zeka, gerçek kişi bilgilerini karıştırarak başka biriyle birleştirdi veya tekrar tekrar hata üretti
- Bu vaka, yapay zekanın hâlâ olgulara dayalı işler konusunda sınırlamaları olduğunu gösteriyor
Giriş
- Dave Barry kendi ölümünü 'Google'dan öğrendi
- Google'da kendi adını ("Dave Barry") aradığında, Google AI Overview adlı bir özetleme özelliği ortaya çıktı
- Bu özellik, arama sonuçlarını yapay zekayla özetleyerek gösteriyor ve son dönemde birçok kullanıcının ilgisini çeken bir hizmet
Yanlış ölüm bilgisinin tespiti
- Google AI Overview'da Dave Barry'nin temel kişisel bilgilerinin yanında "People also ask" adlı bir soru listesi vardı
- Bu sorular arasında Dave Barry'nin öldüğünü söyleyen bir ifade yer alıyordu, ancak bu gerçekte doğru değildi
- Dave Barry, çeşitli sağlık çalışanlarının değerlendirmeleri de dahil olmak üzere, kendisinin hayatta olduğundan emindi
Google AI'nin geri bildirim işleme süreci
- Dave Barry, Google AI Overview'daki yanlış bilgi hakkında geri bildirim gönderdi
- Google'ın otomatik bir sistem olduğunu düşündüğünden, işlemin hızla sonuçlanmasını beklemiyordu
- Ancak geri bildirimden sonra soru kısmı düzeltildi, fakat bu kez doğru açıklama ortadan kalktı ve daha da yanlış bir bilgiyle (başka bir Dave Barry hakkındaki içerikle) değiştirildi
Yapay zekayla iletişim sorunu
- Dave Barry, yapay zekanın kendi durumunu yanlış anladığını yeniden belirtmek için ek geri bildirim vermeye başladı
- Bu süreçte AI chatbot ile sağlıklı bir iletişim kurulamadı ve yapay zeka ne kastedildiğini doğru biçimde anlayamadı
- Tekrarlanan açıklamalara rağmen yapay zeka sorunu kavrayamadı ve konuşma adeta bir makineyle iletişim kuruyormuş gibi ilerledi
Tekrarlanan hatalar ve geçici çözüm
- Ek geri bildirimlerin ardından Overview içeriği yeniden değiştirildi ve ölüm bilgisi kaldırıldı
- Ancak başka bölümlerde (kitap yayımlanma bilgisi, köşe yazarlığı geçmişi gibi) hâlâ hatalar vardı
- Sonrasında da Overview'ın yeniden ölüm bilgisine dönmesi gibi, bilgi doğruluğunun kararsız biçimde tekrar tekrar değiştiği görüldü
- Son kontrol edildiğinde, "karışıklık var" açıklamasıyla birlikte Dave Barry'nin yeniden hayatta olduğu gösteriliyordu
Sonuç ve çıkarılan ders
- Bu deneyim, yapay zekanın çok güçlü bir araç olmasına rağmen kesin doğrulama gerektiren işler için güvenilir olmadığını gösterdi
- Şimdilik yapay zeka, güvenilirliğin daha az kritik olduğu işlere (ör. tavsiye mektubu yazımı, politika taslağı hazırlama) daha uygun; yüksek hassasiyet gerektiren alanlar içinse (ör. uçak operasyonları) uygun değil
- Sonuç olarak bu olay, yapay zekanın sınırlarını ve gelecekte kullanırken dikkatli olunması gerektiğini düşündürüyor
Anket
- Okurlara, "Yapay zekanın gelecekte insanlık için yararlı bir varlık olacağını düşünüyor musunuz?" sorusunun yöneltildiği bir anket sunuluyor
- Ayrıca hafif bir şakayla yazı sona eriyor
1 yorum
Hacker News görüşleri
Mahallemizde popüler olan bir mekan Google Maps'te şöyle özetlenmiş
Canlı bir bar ortamında içecekler ve po' boy sandviçleri sunulduğu, ayrıca bir jukebox, bilardo masası ve elektronik dart bulunduğu yazıyor; ama gerçekte ne po' boy var, ne jukebox var (çalma listesi harika), ne de bilardo masası ya da elektronik dart var. İçecekler de sadece bira ve birkaç kutu ürünle sınırlı; kokteyl ya da miks içki yok
Bir ay önce biri bilardo ya da dart oynamaya gidip bunların olmadığını görünce hayal kırıklığına uğramış ve 1 yıldızlık eleştirel bir yorum bırakmış
Belli ki işletme sahibi de bildirmiş, ben de bildirdim, muhtemelen diğer ziyaretçiler de bildirmiştir
Ama bir ay geçmesine rağmen o yanlış bilgi hâlâ duruyor
En basit çözüm gerçekten po' boy satmaya başlamak ve jukebox/bilardo masası/elektronik dart getirmek
Google'ın dünya genelinde “AI tarafından üretildiği belli olan içerikleri asla görmek istemiyorum” seçeneğini işaretleyip kapatabileceğiniz bir ayarı olmasını gerçekten isterdim
Bunun fazla büyük bir beklenti olabileceğini düşünüyorum
Bu tür hatalı bilgiler yüzünden insanlar gerçekten karar veriyor (mekana gidiyor) ve hatta yanlış yorumlar bile yazıyor
Böyle durumlarda tazminat davası açılabilir mi diye merak ediyorum
Yoksa bilgiyi sadece Google'dan kaldırmak mı daha iyi, onu da düşünüyorum
Son zamanlarda araba forumlarında ya da Facebook gruplarında insanlara yardım etmeye çalışırken sık sık “Google'da gördüğüm ekran görüntüsü” diye bir şey gösteriyorlar; bu da bariz biçimde bir AI özeti oluyor
Mesela X özelliğinin var olduğu ayrıntılı biçimde anlatılıyor ama gerçekte böyle bir özellik hiç olmamış
Bu sürekli yaşanıyor
Özellikle otomobil odaklı çevrimiçi topluluklarda çok büyük bir sorun
Bunun yalnızca AI özetleriyle ilgili değil, Google'ın yapısal bir sorunu olduğunu düşünüyorum
Google sık sık yanlış bilgi gösteriyor ve bunu düzeltmenin çoğu zaman neredeyse hiç yolu yok
Geri bildirim formları vb. büyük ölçüde yok sayılıyor
Google Maps'te aynı nedenle yıllarca yanlış bilgileri düzeltmek için uğraşmak zorunda kaldım ve çoğu insan Google Maps'in mutlak gerçek olduğuna inanıyor
Bilginin gerçekten benim geri bildirimim sayesinde mi değiştiğinden bile emin olamıyorum
Google bilgiyi adeta yangın hortumuyla etrafa fışkırtır gibi sunuyor
Google o kadar büyük ki bu tür tutarsızlıkları pek umursamıyor; hatta bunların iş modelini etkilemediği için umursamıyormuş gibi görünüyor
Bunun gerçekten AI özetlerinin sorunu olduğunu düşünüyorum
Başlangıçta sadece kullanıcının aradığı sorguyla en ilgili arama sonucunu en üste çıkarıyordu ve kullanıcı tıklayıp içeriğin doğru olup olmadığını kendisi kontrol ediyordu
Şimdi ise AI özeti her zaman en üstte çıkıyor; o LLM çok hızlı ama aptal bir model ve her web sayfasında ucuza çalıştırılabilecek seviyede
Bu açıkça bir ürün kararı ve ciddi biçimde yanlış bir seçim
Örneğin "Suicide Squad" diye aratınca şöyle bir sonuç çıkıyor
Bu durumda yanlış bilginin gösterilme nedeni, AI özetinin iki farklı kişinin bilgisini birbirine karıştırmış olması
Klasik aramada web sayfaları muhtemelen yalnızca tek bir kişinin bilgisini ele alırdı
Yani bu daha çok AI özetlerine özgü bir sorun
Google'ın özellikle tekil kullanıcı düzeyinde doğruluğu önceliklendirmek için çok az teşviki var
İçerik miktarının büyüklüğü yüzünden “ölçek” bahanesiyle bunu görmezden gelmek de kolay
Yanlış bilgi varsa bir çözüm var
O da bunu Hacker News'in ana sayfasına taşımak
Eskiden Google'la ilgili en büyük şikayetim, Java belgelerinde (class adı ararken) 1.4 sürümü dokümanlarının 6. sürümden önce çıkması gibi şeylerdi
“AI, Dave Barry'nin 2016'da öldüğünü yazdı” olayı için, ileride onun yazıları indekslendikçe bunun özetlere de yansıyıp yansımayacağını merak ediyorum
“Dave Barry 2016'da öldü ama hâlâ bunu reddediyor” gibi bir AI özeti bile görebiliriz
Şu an benim aldığım AI özeti şöyle
Hatta AI'ın “Dave Barry'nin 2016'da öldüğü sanılıyordu, ancak yaşadığı ortaya çıkınca tartışma çıktı” gibi bir şey yazabileceğini bile düşünüyorum
İnsan isimlerinin benzersiz olmaması yüzünden bu tür hataların bir ölçüde kaçınılmaz olduğunu düşünüyorum
İsim girildiğinde her zaman “Aynı adı taşıyan başka hangi kişiler var?” gibi temel bir sorunun gösterilmesi de bir yöntem olabilir
Bu, birden çok kişinin bilgisinin karışması sorununu tamamen çözmez ama sorunların çoğunun ünlülerle aynı adı taşımaktan kaynaklandığını düşünüyorum
Google sanki bir ölçüde knowledge graph kullanıyor gibi, ama LLM'in bu graph'a ne kadar başvurduğunu merak ediyorum
Muhtemelen hem graph'ı hem de normal Google arama sonuçlarını kullanıyor ve LLM (muhtemelen Gemini Flash Lite gibi basit bir model) ünlü kişiyi knowledge graph'tan gelen bilgilerle arama sonuçlarındaki bilgiden yeterince ayıramayıp birleştiriyor
Özellikle farklı alanlarda farklı derecelerde tanınan adaşlar olduğunda bu sorun ortaya çıkıyor
Ben de kişisel bir knowledge graph uygulaması geliştirirken, yalnızca ad ve soyadıyla entity ID kullanmanın bir gün sorun çıkarabileceğini fark ettim
Benim kullanımım kişisel bilgi düzenlemeye yönelik olduğu için muhtemelen idare eder ama e-posta analizinde bile farklı takma adlarımın aynı kişi olarak doğru biçimde tanınmadığı sorununu şimdiden yaşıyorum
Bu tür “karışıklıklar” sonuçta makinenin insan adlarının benzersiz birer singleton olmadığını bilmemesinden kaynaklanıyor
Toplumsal bir hareket kapsamında bütün çocuklarıma Google adını vermeyi planlıyorum (zaten adı olanlar dahil)
Dave Barry gerçekten harika
Bu, AI'dan önce de Google'da sık görülen klasik bir problemdi
Bunun değişeceği konusunda karamsarım ama yine de umudumu kaybetmek istemiyorum
Ayrıca trilobit fosilleri çok tatlı
Masamın üstünde gerçek bir fosil de var; bir arkadaşım ona gözlük bile taktı
Çünkü ona göre ben zaten “dinozor yaşında bir amca”yım, ama trilobit ondan da eski
https://www.trilobites.info/
Yakın zamanda Dutch Interior adlı bir grubun Meta AI tarafından tamamen uydurma, iftira niteliğinde iddialarla hedef alındığını gördüm
AI, bu grubun beyaz üstünlükçüler ve aşırı sağcı aşırılıkçılarla bağlantılı olduğunu uydurdu
https://youtube.com/shorts/eT96FbU_a9E?si=johS04spdVBYqyg3
https://www.politico.eu/article/dutch-scandal-serves-as-a-warning-for-europe-over-risks-of-using-algorithms/
2019'da Hollanda vergi idaresi, çocuk bakım yardımı dolandırıcılığını tespit etmek için kendi kendine öğrenen bir AI ile risk profilleri oluşturdu; bu da çok sayıda ailenin dağılmasına, koruyucu aile süreçlerine, iflaslara ve hatta intiharlara yol açtı
2021'de Hollanda veri koruma kurumu vergi idaresine 2,75 milyon euro para cezası bile verdi
Devletin kendine para cezası kesmesi, gerçekten “harika” bir hamle
Bu absürt durum çok yaratıcı
Bir bakıma “Ben SF yazarı Greg Egan'ım, internette benim fotoğrafım yok” metninin anlamsız biçimde internete yayılmış olmasına benziyor
https://www.gregegan.net/images/GregEgan.htm
Dave Barry'yle ilgili bazı özetlerin, gerçekten o dönemde ölen başka bir Dave Barry bulunduğu için aslında tamamen yanlış olmadığını düşünüyorum
Bu Dave Barry'nin neden “ona ne oldu?” sorusuna daha fazla temsil hakkı olması gerektiğini merak ediyorum
Aslında kendisine hiçbir şey olmadı ama adaşına gerçekten bir şey oldu (öldü)
Eğer bu bilgi Bostonian Dave Batty ile ilgili bilgi ya da bağlantıların arasında yer alıyorsa bağlam net biçimde kurulmuş olur
Dolayısıyla bu bağlamda bilgi yanlıştı
“Mizah yazarı ve Pulitzer ödüllü Dave Barry geçen yıl 20 Kasım'da öldü...” ya da “Dave Barry (Bostonian)... 20 Kasım'da öldü...” gibi cümleler tek başına bile hangi kişiden söz edildiğini açıkça gösterir
Bağlam cümlenin dışına taşsa bile (embedding context), bu tür ifadelerde öznenin kimliği belirleyici rol oynar
Gerçekten de Google'da adı aratınca özet en üstte Dave Barry'yi (yazar) işaret edecek şekilde çıkıyor
Bu arada ben aradığımda Dave Barry'nin hayatta olduğunu yazıyordu ama dayanak olarak Dave Berry'nin (müzisyen) Wikipedia maddesini gösteriyordu
Bu versiyon da (adaş bir kişinin ölüm bilgisini içeren) diğer AI özetleriyle dönüşümlü olarak gösteriliyor olabilir
En iyi çözüm Wikipedia'daki gibi kişileri açıkça ayıran bir disambiguation yapmak olurdu
Belki de diğer Dave Barry aslında hâlâ hayattadır diye düşünmeden edemiyorum
“Dave Barry'ye ne oldu?” bölümünde aktivist Dave Barry'ye ait bilgi, komedyen Dave Barry alt bölümünün içine yerleştirilmişti
Sıradan biri bunu doğal olarak komedyen bağlamında okur
Bu yüzden bu Dave Barry'nin (mizah yazarı) “bu soru bana soruluyordu” deme hakkı var
Bu, Wikipedia'da Dave Barry (komedyen) sayfasının ortasında hiçbir bağlam olmadan başka bir Dave Barry'nin ölüm haberinin çıkmasına benziyor