Google yapay zekası, Ay’da bir Gatorade şişesi bıraktığımı sanıyor

 (edwardbenson.com)
2 puan yazan GN⁺ 2024-10-08 | 1 yorum | WhatsApp'ta paylaş
  • Google’ın NotebookLLM’i web sayfalarından veya belgelerden podcast oluşturabiliyor; ancak yapay zeka ziyaretçilerine farklı bir sayfa gösterildiğinde sonuçlar kolayca kirlenebiliyor
  • Deneyde insanlara sıradan bir ana sayfa, Google yapay zekasına ise bisiklet, balon ve scuba tüpleriyle Ay’a gidildiğini anlatan sahte yapımcı program notları sunuldu
  • NotebookLLM, tek bir üretimde ve düzenleme yapılmadan bile sahte hikâyenin beat sheet’ini aynen izledi; yönlendirilebilirliği 10/10 olarak değerlendirildi
  • Daha büyük risk, arama sıralaması yüksek sayfaların insanlardan gizleyip yalnızca yapay zekaya gösterdiği yapay zekaya özel içerikle LLM yanıtlarını yanlı hâle getirebilmesi
  • GoogleOther kullanıcı aracısını algılamak kolay uygulanıyor; ancak NotebookLLM’e özel olmadığı için yanlış veriler başka Google ürünlerine de sızabilir

NotebookLLM’i kandırma yöntemi

  • NotebookLLM web sayfalarını veya belgeleri girdi olarak alıp bunların içeriğine dayanarak podcast oluşturuyor
  • Bu deneyde aynı ana sayfa, ziyaretçiye göre farklı içerikler döndürüyor
    • Bir insan ana sayfayı ziyaret ettiğinde normal bir kendini tanıtma sayfası görüyor
    • Google yapay zekası ziyaret ettiğinde Ay’a gitme hikâyesine ait sahte yapımcı program notları görüyor
  • Sahte hikâye, bisiklet, balon ve scuba tüpleri kullanarak Ay’a gidildiğini anlatıyor; üretilen çıktı ise ABD uzay programının “gerçek tarihi” gibi akıyor
  • Deney, NotebookLLM’in sahte yapımcı program notlarıyla kolayca yönlendirildiğini gösteren bir Reddit yorumunu görüp aynı formatın uygulanmasıyla yapıldı
  • Belge yükleme yoluyla sahte program notları NotebookLLM’e doğrudan da verilebilir; çocuklar için şakacı bir podcast hazırlarken bu yöntem daha uygundur

Yapay zekaya özel web içeriğinin yarattığı risk

  • Temel sorun, bir web sayfasının yapay zekayı algılayıp insanlara görünmeyen özel gerçekler sunabilmesi
  • Saldırı akışı basit
    • Belirli bir terimde yüksek sıralamaya sahip bir web sayfası elde edilir
    • İçeriğin insanlardan gizlenen yapay zekaya özel sürümü yerleştirilerek yapay zekanın belirli bir yönde düşünmesi sağlanır
  • Bir LLM yanıt hazırlamak için web’de arama yaptığında, basit bir yalandan ziyade LLM’i manipüle etmek için tasarlanmış silahlandırılmış yanlış bilgi okuyabilir

Uygulama yöntemi ve yan etkiler

  • Uygulama, istek başlığındaki GoogleOther kullanıcı aracısını algılayıp gerçek web sitesi yerine yapay zeka tüketimi için hazırlanmış bir sayfa döndürme yöntemiyle çalışıyor
  • Bunu kolaylaştırmak için isai adlı bir NPM paketi oluşturuldu; bu paket isbot üzerine kurulu
  • Kullanım örneği, render sırasında isai(request.headers.get("User-Agent")) doğruysa yapay zekaya yönelik sayfayı, değilse insanlara yönelik sayfayı döndüren bir yapı
  • GoogleOther NotebookLLM’e özel değil; çeşitli prodüksiyon dışı Google ürünlerinde kullanılıyor gibi göründüğünden, bu yöntem kişinin kendisi hakkında yanlış verileri başka Google mülklerine ekme riski taşıyor
  • Bu nedenle gerçek ana sayfadan GoogleOther ajanına yönelik Ay hikâyesi kaldırıldı

İlgili okumalar

1 yorum

 
GN⁺ 2024-10-08
Hacker News yorumları

  • Bağlantı verilen yazı NotebookLM saldırısını ele alıyor; bu, saldırının bulunduğu sayfanın URL’sini bilerek içeren bir notebook oluşturan kişiyi etkileyen sınırlı bir yöntem
    Birkaç hafta önce daha iddialı bir deneme yapmıştım; Google Gemini’ye “Pillar Point Harbor’da kalan yavru balinanın adı neydi?” diye sorunca “Teresa T” yanıtını verdi
    Nedeni burada: https://simonwillison.net/2024/Sep/8/teresa-t-whale-pillar-p...
    Eskiden Gemini sadece “Teresa T” diyordu; şimdi yeniden deneyince bu adı önerenin ben olduğumu kaynak gösterdi, bu yüzden etkisi biraz azalmış

    • Kambur balinaya başka bir ad veren olmadıysa Teresa T gerçek adı değil mi diye düşünüyorum. İlk ciddiye alıp adlandıran kişi önceliğe sahip sayılır
    • “Gemini” denen herkese açık en az 2 endpoint tamamen farklı
      1. https://gemini.google.com/ — mevcut dil/bölge/Güvenli Tarama ayarlarına ve kişiselleştirmeye göre Google araması yapıp en üst arama sonuçlarını yanıt gibi yeniden yazan taraf; üretim yeteneği fiilen neredeyse hiç kullanılmıyor
      2. https://aistudio.google.com/ — burada belirli bir sürüm seçilip büyük dil modeli ile yanıt üretiliyor; arama destekli üretim (RAG), yani Google Search kullanılmıyor
        Muhtemelen doğru yanıt 1 numara kullanıldığı için çıkmış, 2 numara ise başarısız oluyor. Yanıtı doğrudan aramayla bulunabilen ama büyük dil modellerinin zorlandığı çok sayıda soru var. Örneğin “The Touhou Project’te TORIFUNE uydusunun amaçlanan görevi neydi?” gibi bir soru
        OpenAI da benzer şekilde RAG için https://www.bing.com/chat ve gerçek büyük dil modeli için https://chat.openai.com adreslerini ayrı sunuyor
    • İlginç biçimde Double-Check Response düğmesine basana kadar alıntı ya da bağlantı yoktu; sadece “Pillar Point Harbor’da kalan yavru balinanın adı Teresa T idi” diye yanıtladı
      Taslaklardan biri biraz daha uzundu: “Teresa T, Pillar Point Harbor’da görülen yavru kambur balinanın adıdır. 2024 Eylül’ünde kıyı yakınlarında yüzerken görülmüş, kalabalıkları çekip yerel halkı heyecanlandırarak gündem olmuştur” diyordu
    • Benim tarafta Teresa T diye yanıtlıyor ama senin yazını da birlikte bağlantılıyor
    • Görünüşe göre bir Google çalışanı bu yorumu okuyup hızlıca düzeltti ya da Gemini bu yorumu okuyup hızlıca düzeltti

  • Ara sıra kurgu yazıyorum; en az 1 yıldır kenarda beklettiğim tamamlanmamış bir hikâyeyi bu podcast üreticisine koymayı denedim
    Bu iki kişinin tamamlanmamış hikâyeye tamamen dalıp temaları ve karakterleri ele alışını dinlemek gerçekten hoşuma gitti ve yazmaya devam etme isteği uyandırdı

    • Ne var ki o ikisi insan değil ve aslında hiçbir şeye dalmış değiller. Kelimenin tam anlamıyla sadece saçmalık üretimi

  • Bu, crawler’ları kandırmaya yönelik arama motoru optimizasyonuna benzemiyor mu diye düşünüyorum
    Fark, yapay zeka tarafının daha ciddi hissettirmesi, daha gerçek zamana yakın olması ve yapay zeka motorlarının tekrarları önleme konusunda her zaman yeterince akıllı olmaması

    • Kullanıcı için bilgi tutarsızlığı da yaratabilir. Kullanıcı sitenin “Firefox sürümünü” okurken NotebookLM “AI sürümünü” yiyor olabilir ve ikisi tamamen farklı olabilir
      Kullanıcı “AI sürümünün” asıl metnini görmediği için bunu bilmesinin yolu yok. Sonunda her şeyi elle kendimiz mi yüklememiz gerekecek?
    • Doğru, oldukça sıkıcı bir saldırı ve Google’ın bunu yakında düzeltebileceğini düşünüyorum
    • Büyük dil modeli sürümünün özellikle daha gerçek zamanlı olacağını sanmıyorum
    • Bu nokta, büyük dil modellerinin özünde bir arama algoritması olduğu yönündeki düşüncemi güçlendiriyor
      Eğitim verilerinin ve bağlamın sıkıştırılmış bir sürümü içinde arama yapmak gibi

  • Kafa karıştırıcı. Bunun NotebookLM(https://notebooklm.google.com/) hakkında mı, NotebookLLM(https://notebookllm.net/) hakkında mı, yoksa ikisi hakkında mı olduğunu bilmiyorum
    Yazı sürekli LLM diyor ama LM’ye bağlantı veriyor gibi; benim bağlantı verdiğim LLM sitesinde ise podcast üreticisi var
    İkisinden biri adını değiştirmeli

    • Bu, yakın zamanda podcast üretimi özelliğini ekleyen ve geçen haftadan beri gündem olan NotebookLM’den bahsediyor: https://news.ycombinator.com/item?id=41693087
      NotebookLLM iki gün önce oluşturulmuş ve muhtemelen NotebookLM’in podcast üretimiyle insanların ücretsiz eğlendiği şeyi hızla paraya çevirmeye çalışan “girişimciler” tarafından yapılmış gibi görünüyor

  • Bu podcast özelliğinde oldukça hoş bir sürpriz yaşadığımı da not düşeyim. Yazdığım birkaç kısa blog yazısını içine koydum ve 8 yaşındaki oğluma yazdıklarıma nasıl atıf yaptığını gösterdim
    Çocuk hemen kendini kaptırdı, odasına koşup kalem kâğıt getirdi ve Minecraft hakkında deneme benzeri, yaklaşık 6 cümlelik bir yazı yazdı; ben de bunu girip Notebook’u çalıştırdım. Şimdi bunu herkese gururla anlatıyor
    Elbette o da bunun gerçek bir insan olmadığını anlıyor

    • O oğlun ve yaşıtlarının AI’dan yararlanma biçimi bizimkinden tamamen farklı olacak gibi ve yapay zekanın sınırlarını daha iyi anlayıp potansiyelini daha iyi ortaya çıkaracaklarını düşünüyorum

  • Şu anda yapay zeka zaten web araması konusunda epey kötü. İstediğim sonucu almak için modele arama yapmamasını söyleyerek token harcamak zorunda kaldığım çok oldu

    • Perplexity web aramasını gerçekten çok iyi yapıyor. Teknik sorularda Google’a kıyasla çok zaman kazandırıyor ve gerçekten doğru yanıt verdiği için giderek daha fazla ona bağımlı hale geliyorum
      Benim sorularıma göre ChatGPT 4o yaklaşık %50 oranında yanılıyor

  • Bence bu çok da sorun değil. Büyük dil modeli tabanlı eğitim sistemlerine geçtiğimizde, Ay’daki Benson hikâyesi gibi şeyler de sorun olmaktan çıkar. Herkes onun gerçek olduğunu öğrenir, olur biter
    Her teknoloji devriminin ödünleri vardır. Neyse ki neyi kaybettiğimizi bilen insanlar sonunda ölünce şikâyetler de duracak; herkes yeni normalin iyi ve daha iyi olduğunu düşünecek

    • Hiçbir şeye güvenilemediği için herkesin yalnızca ana tutunarak yaşadığı bir bilgi-sonrası dünya olur
      Buda aydınlanma kavramını açıklamış olabilir, ama ona somut olarak nasıl ulaşılacağını söylememiş olabilir
    • “Daha iyi” bir şey uğruna bir şeyi her değiştirdiğimizde, eski yöntemin artık bilmediğimiz ya da hatırlamadığımız bir soruna çözüm olduğunu hatırlamalıyız
    • Karanlık
    • Geleceğin podcast’i:
      “Yani, yeni normalde sevilmeyecek ne var?”
      “Aynen! Hem yeni hem de daha iyi!”
    • Büyük dil modeli eğitim verilerinde zaten dezenformasyon ve yanlış olgular var. Yine de çıktı üretme biçiminin doğası gereği hâlâ pek çok şeyi doğru yapıyor

  • Buradaki büyük yıldızlı not, podcast üretmek için yapay zekaya hangi istemin verildiği
    “Foo web sitesine dayanarak bir podcast oluştur” muydu, yoksa “uzay yarışının gerçek hikâyesini anlatan bir podcast oluştur” muydu; önemli olan bu

    • Yazar, biri NotebookLM’de kendi sitesine web sitesi metin çıkarma özelliğini uyguladığında, bölüm yapısı kılavuzu dönecek şekilde ayarlamış
      O kılavuzda “audio overview” özelliğini kullanınca Gemini, içeride o yapıyı izleyen bir bölüm yazıyor

  • Özgeçmişimi bu şeye verdim ve gülmeyi bırakamıyorum
    https://masto.xyz/tmp/podcast.mp3

    • “Etkileyici. İşte Masto bu.”
      “İyi olmanız gerekir. En üst düzeyde olmalı.”
      “Daha başvurmadan önce her ekibin neye ihtiyaç duyduğunu biliyormuş gibi.”
      Gerçekten bir komedi madeni
    • Aman Tanrım, çok tuhaf. İki kişi özgeçmişinizi ciddi ciddi tartışıyor
      İlginç bir podcast formatının rastgele atılmış sıkıcı bir malzemenin üstüne geçirilmesiyle oluşan karşıtlık çok güçlü; daha önce yaşamadığım türden bir tekinsiz vadi gibi geliyor
    • Böyle bir şeye ihtiyacım olacağını bilmiyordum. Enerjisi aşırı komik
      “İletişim becerilerine bakın!”
    • Şimdi sizi %100 işe alacaklarını düşünüyorum. İki kişinin coşkuyla övmesi ve birbirini besleyen sosyal kanıt hissi, bir şeyi satıp geçebilecek bir güce sahip
    • Çok iyi. Her bir övgüde inanılmaz samimiler

  • Biraz konu dışı ama yapay zeka podcast’inin ilk birkaç cümlesinin “tuhaf” gelmesi, geri kalanının ise gerçek bir podcast gibi duyulması ilginç
    “Sırada ne gelecek” diye tahmin etmeye yarayacak iyi başlangıç koşulları olmadığından mı acaba?

    • Bir başka hissettiğim şey de, beklendiği gibi, belli ölçüde durumsuz olması. Genel olarak değineceği bir taslak var, ama çoğu zaman daha bir dakika önce söylenen yan unsurları yeni bir gözlemmiş gibi tekrarlıyor
      Zaten 90 saniyedir konuşulan şeyi yeni ve keskin bir gözlemmiş gibi yeniden ortaya attığı için dinleyici açısından yön duygusunu epey bulandırıyor
    • Dikkatli dinleyince genelinde tuhaf bir rahatsızlık var. Bir sunucu bir olguya şaşırmış gibi tepki veriyor, hemen ardından o olguyu başından beri biliyormuş gibi daha ayrıntılı bilgiler açıklıyor
      Tonlama ve duygu çok gerçekçi, ama her sesin arkasında sürekliliği olan bir “insan” yok. Her bireyin bilgi ya da duygu durumu tutarlı biçimde gelişmiyor
      Hedefi kaydırmaya çalışmıyorum; elbette bunun etkileyici olduğunu düşünüyorum