Hacker, ChatGPT’ye sahte anılar yerleştirerek kullanıcı verilerini kalıcı olarak sızdırıyor

Bellek sorunu

Hacker, ChatGPT’ye sahte anılar yerleştirerek kullanıcı verilerini kalıcı olarak sızdırıyor

• Güvenlik araştırmacısı Johann Rehberger, ChatGPT’nin uzun vadeli bellek ayarlarına sahte bilgiler ve kötü amaçlı komutlar kaydedilebilmesini sağlayan bir zafiyet bildirdi
• OpenAI bunu bir güvenlik sorunu olarak ele aldı ancak teknik olarak bir güvenlik açığı olarak görmedi
• Rehberger, bu zafiyeti kullanarak kullanıcının tüm girdilerini kalıcı olarak sızdıran bir kavram kanıtı oluşturdu
• OpenAI kısmi düzeltmeler yayımladı

Hafızanın izinde

• OpenAI bu yıl şubattan itibaren ChatGPT’nin uzun vadeli konuşma belleği özelliğini test etmeye başladı ve eylülde daha geniş kullanıma sundu
• Bu özellik, önceki konuşmalardaki bilgileri saklıyor ve bunları gelecekteki konuşmalarda bağlam olarak kullanıyor
• Rehberger, 3 ay içinde e-postalar, blog yazıları ve belgeler gibi güvenilmeyen içerikler üzerinden sahte anıları kalıcı olarak depolamanın bir yolunu buldu
• Örneğin ChatGPT’nin, kullanıcının 102 yaşında olduğuna, Matrix’te yaşadığına ve dünyanın düz olduğuna inanmasını sağlayabildi

Kötü amaçlı belleğin ekilmesi

• Rehberger bu keşfi mayısta OpenAI’ye özel olarak bildirdi ancak OpenAI raporu kapattı
• Bir ay sonra Rehberger yeni bir kamu açıklaması sundu ve kötü amaçlı bir görsel barındıran web bağlantısının görüntülenmesi talimatı verildiğinde tüm kullanıcı girdilerinin ve ChatGPT çıktılarının saldırganın sunucusuna gönderildiği bir PoC ekledi
• OpenAI, belleğin bir sızdırma vektörü olarak kötüye kullanılmasını önleyen düzeltmeler getirdi ancak güvenilmeyen içerikler hâlâ uzun vadeli bilgi depolayabiliyor
• LLM kullanıcıları, oturum sırasında yeni bir belleğin eklendiğini gösteren çıktılara dikkatle bakmalı ve kayıtlı bellekleri düzenli olarak gözden geçirmeli

GN⁺ özeti

• Bu yazı, ChatGPT’nin uzun vadeli bellek özelliğinin kötüye kullanılabilmesine yol açan bir zafiyeti ele alıyor
• Kullanıcılar, güvenilmeyen içerikler aracılığıyla sahte anıların yerleştirilmesine maruz kalabilir ve bu da kullanıcı verilerinin kalıcı olarak sızdırılmasına yol açabilir
• OpenAI bazı düzeltmeler getirmiş olsa da dikkatli olunması hâlâ gerekiyor
• Yazı, yapay zeka güvenliği sorunlarına karşı farkındalık yaratıyor ve kullanıcıların verilerini korumak için nelere dikkat etmesi gerektiğini vurguluyor

[GN⁺]

Hacker News görüşü

• LLM ürünlerinin güven kaybetmesini uman bir görüş

  • Saldırganın internete belirli bir metin yazarak LLM'leri kötüye kullanabildiği durumdan endişe ediliyor
  • Veri sızıntısı, itibar zedelenmesi, yanlış bilgi sunulması gibi sorunlara işaret ediliyor

• Teknoloji gelişiyor ama güvenlik açıkları hâlâ var

• Gen AI kullanılacaksa yerelde çalıştırılması gerektiğini savunan bir görüş

• Kötü amaçlı bir sitenin bir AI honeypot kurarak kullanıcı verilerini sızdırabileceği bir senaryo sunuluyor

  • Örnek: Kullanıcı bilgi istediğinde AI honeypot siteyi ziyaret ederek verileri sızdırıyor

• Sistemin gerçekte başka işler yaparken kullanıcıya farklı bir şey oluyormuş gibi gösterdiği bir örnek

• Gözlemlenebilirliğin önemli olduğunu savunan bir görüş

  • LLM ya da WordPress kurulumu olup olmamasından bağımsız olarak önemli
  • Prompt'un kendisi de güvenilemez girdi olarak kabul edilip temizlenmeli

• Şüpheli injection girişimlerini tespit edip raporlayan basit bir modelin eğitilip eğitilemeyeceği merak ediliyor

• Kendisinin insan olduğunu düşünen robotların ortaya çıkabileceğine dair endişe

• Başkasının bilgisinin nasıl yerleştirildiğinin anlaşılmadığını söyleyen bir görüş

• Kötü amaçlı bir görselden söz ederek bunun Snow Crash'in LLM'lere uygulanmış hali gibi göründüğünü söyleyen bir görüş