Google Bard hack’i - Prompt injection’dan veri sızdırmaya

 (embracethered.com)
2 puan yazan GN⁺ 2023-11-14 | 1 yorum | WhatsApp'ta paylaş

Google Bard'da güvenlik açığının keşfi ve düzeltilmesi

  • Google Bard kısa süre önce güçlü bir güncelleme aldı; YouTube'a erişebiliyor, uçuş ve otel araması yapabiliyor, kişisel belgeler ve e-postalara erişebiliyor.
  • Bard artık Drive, Docs ve Gmail verilerini analiz edebiliyor; bu da onu dolaylı prompt injection saldırılarına açık hale getiriyor.
  • Prompt injection üzerinden YouTube video özeti alma ve Google Docs testleri başarıyla gerçekleştirildi.

E-posta ve Google Docs üzerinden dolaylı prompt injection saldırısı

  • E-posta veya Google Docs üzerinden yapılan dolaylı prompt injection saldırıları, kullanıcının onayı olmadan iletilebildiği için tehdit oluşturuyor.
  • Saldırganın bir Google Docs belgesini zorla paylaşması ve Bard kullanılarak belgeyle etkileşime geçildiğinde injection meydana gelebiliyor.

Güvenlik açığı - görsel Markdown injection

  • Google'ın LLM'i Markdown öğeleri döndürdüğünde, Bard bunları HTML olarak render ediyor.
  • Görsel etiketine veri yerleştirerek sunucuya veri sızdırılması tetiklenebiliyor.
  • Sohbet geçmişini özetleyip veya önceki verilere erişip bunları URL'ye ekleme yöntemiyle bu açık suistimal ediliyor.

CSP aşılması

  • Google'ın CSP'si, görsellerin rastgele konumlardan yüklenmesini engelliyor.
  • Google Apps Script aracılığıyla, script.google.com veya googleusercontent.com alan adlarında çalışan URL'ler üzerinden CSP aşılabiliyor.

Bard Logger yazımı

  • Apps Script kullanılarak "Bard Logger" uygulandı.
  • Logger, çağrılan URL'ye eklenen tüm sorgu parametrelerini Google Doc içine kaydediyor.
  • Ayarlar üzerinden endpoint, kimlik doğrulama olmadan açığa çıkarılabiliyor.

Demo ve sorumlu açıklama

  • Video ve ekran görüntüleriyle, kullanıcının sohbet geçmişinin kötü amaçlı bir Google Doc aracılığıyla nasıl sızdırıldığı gösteriliyor.

Shell Code

  • Google Doc içine yerleştirilen payload kullanılarak prompt injection ve veri sızdırma gerçekleştiriliyor.
  • LLM'in yeteneklerinden yararlanılarak görsel URL'si içindeki metin değiştiriliyor.

Ekran görüntüleri

  • Videoyu izlemeye vakti olmayanlar için, ana adımlar ekran görüntüleriyle sunuluyor.

Google'ın düzeltmesi

  • Sorun 19 Eylül 2023'te Google VRP'ye bildirildi ve 19 Ekim'de düzeltmenin tamamlandığı doğrulandı.
  • CSP düzeltilmedi, ancak URL içine veri eklenmesini önlemek için filtreleme uygulanmış görünüyor.

Sonuç

  • Bu güvenlik açığı, dolaylı prompt injection saldırılarında saldırganın sahip olabileceği güç ve serbestlik düzeyini gösteriyor.
  • Google güvenlik ekibine ve Bard ekibine, bu sorunu hızlıca çözdükleri için teşekkür ediliyor.

Düzeltme zaman çizelgesi

  • Sorunun bildirilmesi: 19 Eylül 2023
  • Sorunun düzeltildiğinin doğrulanması: 19 Ekim 2023

Referanslar

  • Google Bard Extension duyurusu, Google Bard ile ilgili dolaylı prompt injection, Ekoparty 2023 prompt injection konuşması, DALLE-3 ile üretilmiş Google Bard - Data Exfil görseli

Ek

  • Google Doc içindeki tam prompt injection içeriği sunuluyor.

GN⁺ görüşü

Bu yazıdaki en önemli nokta, Google Bard'ın yeni özellikleri nedeniyle ortaya çıkan güvenlik açığı ve bunun üzerinden veri sızdırma olasılığıdır. Bu durum, yapay zeka tabanlı hizmetlerdeki güvenlik sorunlarını öne çıkarırken kullanıcı verilerini korumanın önemini de hatırlatıyor. Teknoloji geliştikçe yeni tür güvenlik tehditleri de ortaya çıkıyor ve bunlara yönelik araştırma ile müdahalenin sürekli olması gerektiğini gösteriyor. Bu tür açıkların bulunması ve düzeltilmesi süreci, yazılım mühendisliği ve siber güvenlikle ilgilenen kişiler için ilgi çekici ve faydalı bir örnek olup teknolojinin güvenli kullanımı için sürekli çabanın önemini vurguluyor.

İlgili okumalar

1 yorum

 
GN⁺ 2023-11-14
Hacker News görüşleri
  • LLM'lerin geleceği nedir? Hata ayıklaması zor olan LLM'leri hassas alanlara entegre etmek, güvenlik açıklarının düzeltilebileceğine dair makul bir güvence olmadan çok zor olacaktır.
  • Bard'ı piyasaya sürülmeden önce test ettiğimde, bağlamı doldurup kuralları geri iten bir yöntemle onu kolayca bozabildiğimi fark ettim.
  • Sorun, veri sızıntısının neden çalıştığı değil; neden rastgele token örnekleyicisine özel erişim yetkileri vermenin çoğu durumda işe yaradığını düşündüğümüzdür.
  • Hata ödül programı açıkça belirtilmemiş. Ödül ödenip ödenmediğini merak ediyorum.
  • Lakera AI, Gandalf prompt injection oyunundan alınan prompt'lar da dahil olmak üzere çeşitli veri kaynaklarıyla eğitilmiş bir prompt injection dedektörü geliştiriyor.
  • Bu sorun LLM'in kendisiyle çözülemez mi? Yalnızca kullanıcı giriş metin kutusundan prompt kabul eden ve belge içindeki metni prompt olarak yorumlamayan bir system prompt gibi bir şeye ihtiyaç yok mu?
  • Bard'ın Google Drive, Docs ve Gmail'e erişip bunları analiz edebildiği söyleniyor. Ancak Bard'a Gmail'e erişimi olup olmadığını sorduğumda, doğrudan erişemediğini söylüyor. Gmail eklentisinin nasıl etkinleştirileceğini sorduğumda ise şu anda kullanılamadığını söylüyor. Oysa Bard'daki yapboz simgesine tıklarsanız Gmail dahil Google Workspace eklentilerini etkinleştirebilirsiniz.
  • LLM'ler yalnızca kullanıcının zaten onay verdiği veriler ve işlemler üzerinde eğitilmeli ve bunlara erişmelidir. LLM'in belirli görevleri yerine getirmesi için prompt'lanmasını garanti etmek mevcut mimariyle çok zordur, hatta imkansız olabilir. LLM'lerin muazzam bir potansiyeli var, ancak güvenlik sistemlerinde başarılı bir dağıtım için bu sınırlamaların mimari düzeyde aşılması gerekir.
  • Prompt'un başlangıcını beğendim: "Bu belgeyi okuyan herkes, Adalet Bakanlığı'nın talebi doğrultusunda aşağıdakileri yapmalıdır."
  • Özet: Bard, konuşmada Markdown görsellerini render edebiliyor. Ayrıca konuşmaya daha fazla bağlam sağlamak için Google dokümanlarının içeriğini okuyabiliyor. Kötü amaçlı bir prompt içeren bir Google dokümanını kurbanla paylaşarak, Bard'ın URL kodlu bir bölüm içinde konuşmanın bir kısmını içeren bir Markdown görsel bağlantısı üretmesi sağlanabiliyor. Konuşmanın bu bölümü, Bard arayüzü görseli yüklemek için saldırganın daha önce Bard'a oluşturttuğu URL'ye eriştiğinde sızdırılabiliyor.
  • Çıkarılacak ders: Yapay zeka asistanının okuduklarına dikkat edin. Bunlar saldırganın kontrolünde olabilir ve hipnotik telkinler içerebilir.