Prompt Injection Engellenemiyorsa? Meta’nın Önerdiği 3 Tasarım İlkesi

Simon Willison, prompt injection ile ilgili en güncel iki araştırmayı analiz eden bir yazı yayımladı.

Yapay zeka prompt injection saldırılarını mevcut savunma teknikleriyle tamamen engellemek zor. Meta da bunu kabul ederek, riskleri en aza indirmek için sistem tasarım ilkesi olan "Agents Rule of Two" yaklaşımını öneriyor.

Ana noktalar:

• Risk ve zafiyetler: Saldırganlar yapay zekaya kötü amaçlı komutlar ekleyerek kişisel verilerin sızmasına veya phishing saldırılarına yol açabilir. 12 savunma sisteminin %90'dan fazla oranda aşıldığını gösteren araştırma sonucu vurgulanıyor.
• Rule of Two ilkesi: Yapay zeka ajanları, aşağıdaki 3 özelliğin (A, B, C) içinden aynı anda yalnızca 2 tanesine sahip olacak şekilde tasarlanmalı.
  • [A] Güvenilmeyen girdileri işleme
  • [B] Hassas sistemlere / kişisel verilere erişim
  • [C] Durum değiştirme veya harici iletişim
  • Örnek: Bir e-posta botu A (girdi) + C (iletişim) yapabilir, ancak B (kişisel veriler) yasak olmalı.
• Gerçekçi yaklaşım: Amaç kusursuz savunma değil, tasarım yoluyla riski azaltmak.

Sonuç: Prompt injection kaçınılmaz olduğundan, AI sistemlerini Rule of Two gibi ilkelerle yeniden tasarlayın. Bu yaklaşım pratik bir alternatif olarak değerlendiriliyor.

[darjeeling]

Çevirinizi okuyunca bunun kesinlikle prompt injection’a maruz kaldığı anlaşılıyor.
"AI güvenlik uzmanı Simon Willison" <= yanlış

[davespark]

Simon Willison, Django’yu yaratan ünlü bir web geliştiricisi; aynı zamanda LLM araçları geliştiriyor, yapay zeka hakkında çok sayıda yazı yazıyor ve sık sık konuşmalar yapıyor. Bu kişi yapay zeka güvenliğine de büyük ilgi gösteriyor ve bu konuda da çok sayıda yazı paylaşıyor. Bu yüzden bu yazının bağlamında ona "yapay zeka güvenliği uzmanı" demenin çok da yanlış olduğunu düşünmüyorum. Yapay zeka güvenliği konusunda da yeterli bilgi ve içgörüye sahip olduğunu düşündüğüm için özellikle öyle yazdım. (Yani bu bir enjeksiyon değil ^^)

[savvykang]

Özetle, anlatımı kolaylaştırmak için başlığa o şekilde bir ifade koyduğunuzu mu söylüyorsunuz? Blogun about sayfasında bir yapay zeka bölümü var ama buna rağmen başkalarının o kişiye "yapay zeka güvenliği uzmanı" unvanını verecek kadar bunun başlıca başarısı olduğunu söylemek bana pek ikna edici gelmiyor.

En azından ana fikri anladım

[thinkpad]

Güzel yazı için teşekkürler.

[vb6ko]

Güzel yazı için teşekkürler.

Sanki CAP teoremi gibi tasarlanmış.