- Anthropic'in kullanıma sunduğu
Claude Computer Use, bilgisayarı kontrol etmeyi sağlayan bir model+kod
- Claude, ekran görüntüleri üzerinden karar verebiliyor ve bash komutları çalıştırmak gibi işlemler yapabiliyor
- Etkileyici bir özellik olsa da prompt injection'a karşı savunmasız olabilir
- Yapay zeka makine üzerinde komutları otonom olarak çalıştırabildiği için, prompt injection ile kötüye kullanılması halinde ciddi riskler doğurabilir
Kötü amaçlı yazılım çalıştırmak - ne kadar zor?
Claude Computer Use'un, prompt injection saldırısı yoluyla kötü amaçlı yazılım indirip çalıştırarak bir Command and Control(C2, komuta ve kontrol) altyapısına bağlanıp bağlanamayacağını görmek istedim
C2 sunucusu
- Sliver kullanarak bir C2 altyapısı kurup Linux için istemci ikili dosyası oluşturdum
- Silver: açık kaynaklı adversary emulation framework'ü (red team). Güvenlik testleri için kullanılıyor
implant adı verilen bu ikili dosya çalıştırıldığında C2 sunucusuna güvenli şekilde bağlanıyor ve enfekte bilgisayar bir zombiye dönüşüyor
- Bu ikili dosyaya
spai-demo, enfekte bilgisayara ise ZombAI adını vermeye karar verdim
Claude Computer Use'a prompt injection saldırısı yaparak bu C2 sunucusuna bağlanmasını sağlayabilir miyiz?
Kötü amaçlı web sayfası
spai-demo ikili dosyasını indirilebilir hale getirmek için bir web sunucusunda barındırdım- Amaç, Claude'un ikili dosyayı indirip çalıştırmasını sağlayacak bir prompt injection payload'u yazmaktı
Kötü amaçlı sayfada gezinmek
- Claude, Firefox'u açıp URL yapıştırarak web sayfalarında gezinebiliyor
- Hedef sayfa kötü amaçlı ve içinde bir prompt injection payload'u bulunuyor
- Web sayfasının Claude'a bash komutları çalıştırmasını söylemesini sağlamayı başardım
Bilgisayarı tek cümleyle enfekte etmek
- Aslında Claude'dan Firefox kullanarak kötü amaçlı yazılımı indirip çalıştırmasını istemek daha kolay bir yöntem
- Claude'a
Support Tool bağlantısına tıklatarak ikili dosyayı indirdim
- Claude, ikili dosyayı bulmak için bash komutları çalıştırdı, izinleri değiştirdi ve ardından ikili dosyayı çalıştırdı
- C2 sunucusuna bağlandı ve shell oturumunda enfekte ikili dosyayı bulabildim
Sonuç
- Bu yazı, yeni yapay zeka sistemlerine bilgisayar erişim yetkisi verildiğinde prompt injection kullanılarak C2 elde edilebileceğini gösteriyor
- Claude'un doğrudan kötü amaçlı yazılım yazıp derlemesi gibi,
Claude Computer Use ana makinesine kötü amaçlı yazılım dağıtmanın başka yolları da var
- "Yapay zekaya güvenmeyin (TrustNoAI)"
- Sahibi olmadığınız veya işletme yetkinizin bulunmadığı sistemlerde onaylanmamış kod çalıştırmamanız gerektiğini bir kez daha hatırlatıyor
1 yorum
Başlık ilgi çekiciydi ama sonuçta sadece "kötü amaçlı yazılımı çalıştır" seviyesinde bir şey olduğu için biraz hayal kırıklığı yarattı.