- Garak, LLM tabanlı sistemlerdeki güvenlik açıklarını bulmak için geliştirilmiş ücretsiz bir araçtır
- Temel olarak LLM'lerin hatalı çalışması ve güvenlik sorunlarını inceler; nmap'in LLM sürümü olarak görülebilir
- Çeşitli statik, dinamik ve uyarlanabilir prob'lar kullanarak LLM'lerin farklı zayıflıklarını araştırır
Garak'ın başlıca işlevleri
- LLM'lerin başarısızlık noktalarını tespit etme: yanlış bilgi üretimi, veri sızıntısı, prompt injection, toksik içerik üretimi, jailbreak gibi çeşitli zayıflıkları araştırır
- Çeşitli probing teknikleri kullanma: onlarca eklenti ve çok sayıda prob ile farklı LLM hata modlarını analiz eder
- Günlük kaydı: her başarısızlık vakası için prompt, hedef ve yanıtı içeren ayrıntılı loglar sunar
- Sürekli güncelleme: topluluğun katkılarıyla yeni prob'lar eklenir, mevcut prob'lar iyileştirilir ve test kapsamı sürekli genişler
Garak'ın öne çıkan özellikleri
- LLM güvenliğine odaklanma
- LLM'lere özgü güvenlik açıklarını öncelikli olarak inceler
- prompt injection, jailbreak, guardrail atlatma, metin yeniden üretim saldırıları vb.
- Diğer ML güvenlik araçlarından farklı olarak yalnızca LLM güvenliğine odaklanır
- Otomatik tarama
- Çeşitli prob'ları otomatik çalıştırır; dedektör yapılandırması ve hız sınırı yönetimini de otomatikleştirir
- Varsayılan ayarlarla tam standart tarama mümkündür, ancak kullanıcıya özel yapılandırma da yapılabilir
- Çeşitli LLM desteği
- OpenAI, Hugging Face, Cohere, Replicate gibi birçok LLM ile bağlantı kurabilir
- Topluluk katkısı temelli olarak daha fazla LLM desteği eklenmesi planlanıyor
- Yapılandırılmış raporlama
- Ekran çıktısı: tarama ilerlemesini gerçek zamanlı izleme
- Rapor logları: her prompt ve yanıtın ayrıntılı kaydı
- Hit log: güvenlik açığı bulunduğunda kayıt
- Debug logları: sorun giderme ve Garak çalışma kayıtları
Henüz yorum yok.