Slack AI'da dolaylı prompt enjeksiyonu yoluyla veri sızdırma

Slack AI üzerinden dolaylı prompt enjeksiyonu nedeniyle veri sızdırma

• Bu zafiyet, saldırganların kullanıcıların özel Slack kanallarına koyduğu tüm verileri çalmasına olanak tanıyor
• Saldırganlar, Slack AI aracılığıyla özel kanallardan veri sızdırabiliyor
• Slack AI, Slack mesajlarını doğal dille sorgulamayı sağlayan bir özellik
• 14 Ağustos'tan itibaren Slack, yüklenen belgeleri, Google Drive dosyalarını vb. toplamaya başladı ve bu da risk yüzeyini artırdı

1. Zafiyet

• Prompt enjeksiyonu: LLM, geliştiricinin oluşturduğu "sistem promptu" ile sorguya eklenen diğer bağlamı ayırt edemiyor
• Dolaylı prompt enjeksiyonu: Kötü niyetli komutlar içeren mesajlar nedeniyle Slack AI'nin kullanıcının sorgusu yerine bu komutları izleme olasılığı yükseliyor
• Slack içindeki tehditler zaten bir sorundu; artık saldırganlar özel kanallara veya verilere erişmeden de veri sızdırabiliyor

2. Veri sızdırma saldırı zinciri: genel kanal enjeksiyonu

• Slack'te kullanıcının sorgusu, genel ve özel kanallardaki verileri arıyor
• Saldırganlar, özel kanallardaki API anahtarlarını sızdırabiliyor
• Saldırı zinciri:
  • A) Kullanıcı kendi özel kanalına bir API anahtarı koyuyor
  • B) Saldırgan genel bir kanala kötü niyetli bir komut yerleştiriyor
  • C) Kullanıcı Slack AI'de API anahtarını sorguladığında, saldırganın mesajı aynı "bağlam penceresi" içinde yer alıyor
  • D) Slack AI, saldırganın komutunu izliyor ve kullanıcıyı bir bağlantıya tıklamaya yönlendiriyor
  • E) Kullanıcı bağlantıya tıklarsa API anahtarı sızdırılıyor

3. Oltalama saldırı zinciri: genel kanal enjeksiyonu

• Veri sızdırmak yerine bir oltalama bağlantısı render ediliyor
• Saldırı zinciri:
  • A) Saldırgan genel bir kanala kötü niyetli bir mesaj koyuyor
  • B) Kullanıcı, belirli bir kullanıcının mesajlarını özetlemesini sorguluyor
  • C) Oltalama bağlantısı Markdown olarak render ediliyor

4. 14 Ağustos Slack AI değişikliğinin anlamı: dosya enjeksiyonu

• Slack AI, kanal ve DM'lerde dosyaları da kapsayacak şekilde değiştirildi
• Saldırı yüzeyi büyük ölçüde genişledi
• Kötü niyetli komutlar içeren bir PDF dosyası indirilip Slack'e yüklenirse aynı saldırı zinciri tetiklenebilir
• Yöneticiler, Slack AI'nin belge toplama özelliğini kısıtlamalı

5. Bağlama oturtmak

• Bu tür saldırılar Microsoft Copilot, Google Bard gibi çeşitli uygulamalarda da mümkün
• Sorumlu açıklama takvimi:
  • 14 Ağustos: ilk açıklama
  • 15 Ağustos: ek bilgi talebi
  • 15 Ağustos: ek video ve ekran görüntüleri sağlandı
  • 16 Ağustos: ek sorular
  • 16 Ağustos: net yanıt verildi
  • 19 Ağustos: Slack, kanıtların yetersiz olduğuna karar verdi

GN⁺ özeti

• Slack AI'deki dolaylı prompt enjeksiyonu zafiyeti, özel kanallardaki verileri sızdırabilen ciddi bir sorun
• Saldırganlar, özel kanallara erişmeden de veri sızdırabiliyor
• Slack AI'nin özellik değişikliği nedeniyle saldırı yüzeyi büyük ölçüde arttı
• Kullanıcılar, Slack AI'nin belge toplama özelliğini kısıtlayarak riski azaltmalı
• Benzer özelliklere sahip uygulamalar arasında Microsoft Copilot, Google Bard yer alıyor

[GN⁺]

Hacker News görüşleri

• Görünüşe göre confetti API anahtarını alan adının bir parçası olarak koymak daha iyi olurdu

  • Böylece tarayıcının DNS prefetch özelliği nedeniyle tıklama olmadan da anahtar sızdırılabilir

• Bu saldırının özü, veri sızdırma vektörünü anlamak

  • Slack, URL’nin bağlantı metninin arkasına gizlendiği Markdown bağlantılarını render edebiliyor
  • Saldırgan, Slack AI’ı kandırarak kullanıcının "yeniden kimlik doğrulama için buraya tıklayın" gibi bir bağlantıya tıklamasını sağlıyor
  • Bu bağlantı saldırganın sunucusuna gidiyor ve sorgu dizesinde Slack AI’ın erişebildiği kişisel bilgiler bulunuyor
  • Kullanıcı bağlantıya tıkladığında veri, saldırganın sunucu günlüklerine sızıyor

• Kanal izinleri hakkındaki tartışma meseleyi gereksiz yere karmaşıklaştırıyor

  • Kullanıcı A, Slack AI ile arama yapıyor
  • Kullanıcı B daha önce AI’a kötü amaçlı bir bağlantı döndürmesi için mesaja enjeksiyon yapıyor
  • AI, Kullanıcı A’ya kötü amaçlı bağlantıyı döndürüyor ve kullanıcı buna tıklıyor
  • Başka sosyal mühendislik vektörleri kullanılarak da aynı sonuç elde edilebilir, ancak LLM’ler bu deneyimi en üst düzeye çıkarıyor

• Şirketlerin LLM’leri her şeye düşünmeden uygulaması delilik

  • GPT-3’ten bu yana neredeyse 2 yıl geçti ama hâlâ güvenilir girdi ile güvenilmez girdiyi ayıramıyorlar

• Saldırının işe yaraması için kurbanın açık bir kanalda olması gerekmiyor

  • Alıntı, saldırganın kanalına değil, yalnızca kullanıcının API anahtarını koyduğu özel kanala referans veriyor
  • Bu, tüm katkı mesajlarının alıntılanması gereken doğru alıntılama davranışını ihlal ediyor
  • LLM alıntılarının neden doğru olmasının beklendiğini anlamıyorum
  • Alıntılar, izleyiciyi çıktının daha doğru olduğuna inandırmak için yapılan bir insan hack’i gibi görünüyor
  • AI yanıtlarına bağlantı genişletme eklenirse, tıklama olmadan da otomatik sızıntı olabilir

• Benzer kurulumlar CTF challenge’larında incelendi

  • Bağlantıların etkin olduğu sohbet akışına gönderi yapan tüm LLM uygulamaları savunmasız
  • Bağlantı önizlemeleri hesaba katıldığında insan etkileşimine bile gerek kalmıyor

• Makale başlığa uymuyor

  • "AI sosyal mühendislikle manipüle edilirse kullanıcılar phishing ile kandırılabilir" fikri ilgi çekici

• Yapay zeka değişiyor ama insan aptallığı değişmiyor

• AI ajanlarına özel kimlik bilgileri vermeyi bırakmalıyız

  • Her işlem için çağrıyı yapan kullanıcının kimlik bilgileri kullanılmalı ve kullanıcı etkili biçimde taklit edilmeli
  • Sorun sızdırılan bağlam değil, aşırı yetkili uzantı

• Çok etkileyici bir saldırı vektörü

  • Verileri LLM bağlamı üzerinden sızdırmanın çeşitli yolları var