- Simon Willison, yayımladığı video, slaytlar ve konuşma metnini paylaşıyor
- Prompt Injection = "AI modelleri temel alınarak geliştirilen uygulamalara yönelik saldırı"; "AI modelinin kendisine yönelik bir saldırı değil"
- Çeviri enjeksiyonu örnekleri ve Edge Sidebar içinde çalışan Bing'e saldıran bir sayfa gibi demolara yer veriliyor
- Ya benim yapay zeka asistanım başkasının komutlarını dinlerse? (Örnek olarak, parola sıfırlama e-postasının bir yere yönlendirilmesini söyleyen bir prompt açıklanıyor)
- Buna yönelik çözümler arasında prompt begging gibi şeyler var, ancak pek işe yaramıyor
- Benim önerim... çok iyi olmasa da Dual Language Model deseniyle kısmen çözülebilir gibi görünüyor
- Yapay zeka asistanını iki farklı LLM'den oluşturmak: Privileged LLM ve Quarantined LLM
- Privileged LLM
- Araçlara erişebilir
- Yalnızca güvenilir girdileri işler
- Quarantined LLM'e talimat verir, ancak onun girdisini veya çıktısını görmez
- Yalnızca token'larla çalışır: "Summarize text $VAR1"
- "Display $SUMMARY2 to the User"
- Quarantined LLM
- Güvenilmeyen girdiler için görevleri işler (özetleme gibi)
- Başka hiçbir şeye erişemez
- Tüm girdi ve çıktılar kirlenmiş kabul edilir; Privileged LLM'e doğrudan hiçbir şey aktarılmaz
- Prompt injection, anlaşılmadığı takdirde karşı önlem uygulamayı imkansız kılan çok ciddi bir güvenlik zafiyetidir
- Dil modelleri üzerine kurulan tüm uygulamalar temelde bu soruna açıktır
- Prompt injection için çözüm olmadığı ve uygulama güvenli şekilde geliştirilemiyorsa, bazen "Hayır" demek gerekir
- Geliştirici olarak "bu mümkün değil" diyen kişi olmak gerçekten hoşuma gitmiyor, ama bu durumda bunun gerçekten önemli olduğunu düşünüyorum
Henüz yorum yok.