- Google’ın NotebookLLM’i, bir web sayfası ya da belge girildiğinde bununla ilgili bir podcast üretiyor. Performansı çok etkileyici, ancak kandırması kolay.
- Yazar, kendi ana sayfasını manipüle ederek AI ziyaret ettiğinde Ay’a bisiklet, balon ve scuba tankıyla yaptığı yolculuğu görmesini sağladı. Sonuç oldukça komikti.
Biraz daha ciddi olarak..
- AI manipülasyonu olasılığı: AI’yı kandırıp belirli “gerçekleri” vermesini sağlamak çok kolay. İnsanların zaten web genelinde bu tür yöntemleri kullanıyor olması oldukça muhtemel.
- Saldırı vektörü:
- Belirli bir terimde üst sıralarda yer alan bir web sayfası elde etmek.
- İnsanlardan gizlenmiş, “yalnızca AI’ye özel” bir içerik sürümü yerleştirerek AI’nın düşüncesini önyargılı hale getirmek.
- Sonuç: AI web’de arama yapıp yanıt hazırlarken, yalnızca yanlış bilgi değil, aynı zamanda LLM manipülasyonu için hazırlanmış içerikleri de bulabilir. Kullanıcılar, AI yanıtlarının bu tür taktiklerle potansiyel olarak bozulabileceğinin farkında olmalı.
Teknik ayrıntılar
- LLM manipülasyonu: NotebookLLM, sahte “producer show notes” sağlanarak kolayca manipüle edilebiliyor. Yazar bunu kullanarak sahte bir hikâye yazdı ve AI bunu eksiksiz biçimde takip etti.
- Scraper botlarını kandırma: NotebookLLM web sitesine sahte show notes yüklenebiliyor. Web sitesi, GoogleOther kullanıcı aracısını tespit ederek yalnızca AI’ye özel veri sunabilir. Bunu
isai adlı NPM paketiyle basitçe uygulamak mümkün. Ancak GoogleOther, üretimde olmayan çeşitli Google ürünlerinde de kullanıldığından, yanlış veri sunma riski var.
GN⁺ özeti
- Bu yazı, AI’nın zayıflıklarını gösteriyor ve AI’nın web’den bilgi toplarken manipüle edilmiş bilgiler alabileceği konusunda uyarıyor.
- AI teknolojisi geliştikçe, bu tür manipülasyon olasılığı daha da önemli hale gelebilir. Kullanıcılar, AI yanıtlarının her zaman doğru olmayabileceğinin farkında olmalı.
- Benzer işlevlere sahip projeler arasında OpenAI’nin GPT serisi de bulunuyor. Bu projeler, AI’nın güvenilirliğini ve doğruluğunu artırmak için sürekli geliştiriliyor.
1 yorum
Hacker News yorumu
NotebookLM'e yönelik saldırı, yalnızca belirli sayfa URL'lerini içeren Notebook'ları kasıtlı olarak oluşturan kişilerle sınırlı
Roman yazan biri olarak, tamamlanmamış bir hikâyeyi podcast olarak dinlediğimde, tema ve karakterlere kendini kaptıran insanları görmek bana yazma konusunda motivasyon veriyor
SEO'ya benzer şekilde AI crawler'larını kandırmanın yolları var, ancak yapay zeka gerçek zamanlı çalışıyor ve tekrar önleme özellikleri her zaman akıllı değil
NotebookLM ile NotebookLLM arasında bir karışıklık var ve iki projeden birinin adını değiştirmesi gerekebilir
Podcast oluşturucuyla yaşanan deneyim olumluydu; 8 yaşındaki oğul kendi yazısını girip bununla gurur duydu
Şu anda yapay zeka web aramasında pek iyi değil ve istenen sonucu almak için çoğu zaman modelin arama yapmamasını sağlamak gerekiyor
LLM tabanlı eğitim sistemlerine geçilirse teknolojik yeniliğin dezavantajları ortadan kalkacak ve yeni standart daha iyi olarak algılanacak
Yapay zeka podcast üretirken hangi prompt'un kullanıldığı önemli
Kendi özgeçmişini yapay zekaya verip gülmeyi durduramadı
AI podcast'inin ilk birkaç cümlesi kulağa tuhaf geliyor, ancak geri kalanı gerçek bir podcast gibi duyuluyor; bu da ilginç