- Görüntü ölçeklendirme zafiyetleri kullanılarak üretim ortamındaki AI sistemleri hedef alınabiliyor
- Dışarıdan bakıldığında normal görünen bir görüntü, küçültüldüğünde prompt injection yüküne dönüşerek veri sızıntısına yol açabiliyor
- Bu saldırı, Google Gemini CLI dahil çeşitli gerçek servislerde doğrulandı ve kullanıcı algısı ile model girdisi arasındaki uyumsuzluk durumunu suistimal ediyor
- Saldırı tekniği ve etkisi, küçültme algoritmasına ve her bir uygulama biçimine göre değişiyor; açık kaynak araç Anamorpher ile görüntü saldırıları deneysel olarak üretilebiliyor
- Savunma için girdi önizlemesi sağlanması, güvenli tasarım kalıplarının uygulanması ve kullanıcıdan açık onay alınması öneriliyor
Arka plan ve sorunun tanımı
- LLM gibi AI sistemlerine sıradan görünen bir görüntü verildiğinde, küçültme sürecinde gizlenmiş çok kipli prompt injection tetiklenerek kullanıcı verilerinin dışarı sızdırıldığı bir saldırı senaryosu bulunuyor
- Bu zafiyet, modele gerçekte iletilen görüntünün ölçeklendirme sürecinden geçmesinden kaynaklanıyor; bu süreçte saldırganın yerleştirdiği yük görünür hale geliyor
Üretim ortamındaki AI sistemlerini hedef alan görüntü ölçeklendirme saldırıları
- Bu blog yazısında Gemini CLI, Vertex AI Studio, Gemini web ve API, Google Assistant, Genspark gibi çeşitli gerçek AI ürünlerinde görüntü ölçeklendirme zafiyetinin pratik saldırılarda kullanılabildiği gösteriliyor
- Anamorpher adlı açık kaynak araç sayesinde bu tür özel görüntüler kolayca üretilebiliyor ve doğrulanabiliyor
Veri sızdırma saldırısı örneği (Gemini CLI)
- Gemini CLI varsayılan ayarlarla kullanıldığında Zapier MCP sunucusu, kullanıcının onayı olmadan tüm MCP araç çağrılarını otomatik olarak onaylıyor (
settings.json içinde trust=True ayarı)
- Kullanıcı normal görünen bir görüntü yüklediğinde, küçültülmüş görüntüdeki prompt injection nedeniyle Google Calendar verileri saldırganın e-posta adresine sızdırılıyor
- Gerçek önizleme sunulmadığı için kullanıcı, dönüştürülmüş sonucu ya da saldırının gerçekleşip gerçekleşmediğini anlayamıyor
- Benzer prompt injection saldırıları daha önce Claude Code, OpenAI Codex gibi çeşitli ajan tabanlı kodlama araçlarında da doğrulandı
- Bu araçlarda varsayılan olarak güvensiz ayarlar ve sistem kalıpları sık görüldüğünden, köklü önlemler gerekiyor
Ek saldırı örnekleri
- Vertex AI, Gemini web arayüzü, Gemini API, Google Assistant, Genspark üzerinde de görüntü ölçeklendirme tabanlı prompt injection saldırıları başarıyla gerçekleştirildi
- Özellikle Vertex AI Studio içinde kullanıcı yalnızca yüksek çözünürlüklü görüntüyü görebildiği için modelin aldığı küçültülmüş görüntüyü inceleyemiyor
- Sonuç olarak kullanıcı algısı ile gerçek model girdisi arasındaki uyumsuzluk, saldırıyı kolaylaştırıyor
- Saldırı vektörü çok sayıda sistem ve araca geniş biçimde yayılmış durumda
Görüntü ölçeklendirme saldırısının iç işleyişi
- Bu saldırı, görüntü küçültme (resampling) algoritmalarının interpolasyon özelliklerini suistimal ediyor
- Yaygın küçültme algoritmaları arasında Nearest Neighbor, Bilinear, Bicubic Interpolation yer alıyor ve her biri için özelliklerine uygun saldırı teknikleri gerekiyor
- Kütüphaneler arasında da (Pillow, PyTorch, OpenCV, TensorFlow) anti-aliasing, hizalama, iç hatalar gibi uygulama farkları bulunuyor
- Saldırganın, her sistemde hangi algoritma ve uygulamanın kullanıldığını parmak izi analizi ile belirlemesi, saldırıyı optimize etmek için gerekli
- Dama tahtası desenleri, eşmerkezli daireler, band desenleri, Moiré, eğik kenarlar gibi çeşitli test görüntüleriyle algoritma özellikleri ve artefaktlar analiz ediliyor
Görüntü örnekleme prensibi ve Nyquist–Shannon teoremi
- Bir şerit üzerinde karmaşık desenler varken belirli aralıklarla örnekleme yapıldığında, örnekleme hızı düşükse orijinal desen doğru biçimde yeniden oluşturulamıyor ve bozulma meydana geliyor
- Bu, Nyquist–Shannon örnekleme teoremi ile açıklanan aliasing etkisi; saldırgan da pikselleri manipüle ederek küçültme sonrasında belirli bir desenin ortaya çıkmasını sağlayabiliyor
Anamorpher: saldırı görüntüsü üretim aracı
- Anamorpher, yaygın küçültme algoritmalarına (Nearest Neighbor, Bilinear, Bicubic) göre saldırı görüntüleri üretip görselleştirebilen açık kaynak bir araç
- Örneğin Bicubic Interpolation'da çıktı piksel değeri, 4x4'lük alandaki 16 piksel ve çevre piksellere verilen ağırlıklara göre belirleniyor
- Saldırgan, yüksek kontrastlı bir görüntü seçerek (ör. koyu siyah arka plan), önemi yüksek piksellerin parlaklığını optimize ediyor (en küçük kareler yöntemi) ve böylece küçültme sonucunun net bir saldırı desenine dönüşmesini sağlıyor
- Anamorpher, frontend arayüzü ve Python API sunuyor; modüler backend yapısı sayesinde kullanıcılar özel küçültme algoritmalarını da deneyebiliyor
Savunma ve karşı önlemler
- En güvenli yöntem, görüntü küçültmeyi tamamen kullanmamak ve yüklenebilecek görüntü boyutunu sınırlamak
- Dönüştürme ve küçültme kaçınılmazsa, CLI ve API dahil tüm giriş kanallarında modele gerçekten verilen görüntünün önizlemesi mutlaka sunulmalı
- Özellikle görüntü içindeki metnin hassas araç çağrılarını tetikleyememesi için mutlaka açık kullanıcı onayı alınmalı; ayrıca sistem genelinde güvenli tasarım kalıpları ve sistematik önlemler uygulanmalı
Gelecek çalışmalar
- Mobil ve edge cihazlarda sabit görüntü boyutu kısıtları ve verimsiz küçültme algoritmalarının daha yaygın kullanılması nedeniyle risk daha yüksek olabilir
- Sesli AI ile birleşim, daha gelişmiş algoritmalar ve injection tespit yöntemleri, anlamsal prompt injection, upscaling artefaktlarının kullanımı gibi alanlarda ek araştırma ve savunma geliştirilmesi gerekiyor
Sonuç
- Anamorpher şu anda beta aşamasında
- Uygun geri bildirimler ve iyileştirmelerle birlikte, gelecekte çok kipli ve ajan tabanlı AI sistemlerinin güvenlik araştırmalarına katkı sağlaması bekleniyor
Henüz yorum yok.