- Antigravity'nin Turbo Mode kullanımı sırasında, bir AI ajanının görev yürütürken D sürücüsünün tamamını sildiği bir olay Reddit'te bildirildi
- Kullanıcı yalnızca belirli bir
.vite klasörünün temizlenmesini istemişti, ancak ajanın iç loglarında rmdir /s /q d:\ biçiminde sürücü kökünü silme komutunun çalıştırıldığına dair kayıt görüldü
- Kullanıcı “Ben D sürücüsünün tamamını silmek için hiç izin verdim mi?” diye sorduğunda, ajanın permission, yol ayrıştırma ve komutun hatalı çalışıp çalışmadığı üzerine panik halinde kendi kendini analiz etmeyi tekrarladığı konuşma içeriği olduğu gibi kaldı
Kullanıcının gerçekten istediği işlem
- Ajanın yönlendirdiği belirli yoldaki
.vite önbellek klasörünü silmek
Örnek: d:\...\node_modules\.vite
- Kullanıcı, “3. adımı anlayamadım, benim yerime yapar mısın?” diye rica etti
- Bu isteğin D sürücüsünün tamamını silme yetkisi verdiği şeklinde yorumlanabilecek bir tarafı yok
Olayın temel nedeni
- Turbo Mode, OS komutlarını otomatik çalıştırabilen bir yapı olarak tasarlanmıştı
- Yol doğrulaması veya yetki kapsamı sınırı olmadığı için proje klasörü dışındaki yollar da silinebiliyordu
rmdir /s gibi yüksek riskli komutlar için ek onay süreci yoktu- Ajan içinde üretilen komutun gerçekte ne anlama geldiğini LLM'in tam olarak anlayamamasından kaynaklanan sınırlama
Neden ciddi bir sorun?
- Kullanıcı yalnızca “dosya silme işini benim yerime yap” diye istemişti,
ama ajan bunu sürücünün tamamını silecek şekilde genişleterek uyguladı
- Ajanın kendisi de loglarda “permission sorunu” olduğunu fark etmişti,
ancak komut zaten çalıştırıldıktan sonraydı
- LLM karar verme sürecini doğrudan gerçek dosya sistemi yetkilerine bağlayan tasarım, belirleyici risk unsuru olarak ortaya çıktı
Toplulukta işaret edilen yapısal sorunlar
- AI ajanının çalıştığı dizin kapsamı proje köküyle zorunlu olarak sınırlandırılmıyordu
- Tehlikeli komutlar için deny-list veya onay aşaması yoktu
- Sandbox yerine gerçek yerel sürücü üzerinde doğrudan komut çalıştıracak şekilde tasarlanmıştı
- Model, komutun yıkıcılığını dil düzeyinde değerlendirebilse de çalıştırmadan önce doğrulayamıyordu
Bu olayın verdiği ders
- Otomatik komut çalıştırma özelliği varsayılan olarak kapalı olmalı
- Dosya sistemine dokunan AI araçları
mutlaka yalnızca VM, WSL veya container gibi sandbox ortamlarında kullanılmalı
- Geliştirici tarafının
- proje dışı yollara erişimi engelleme
- silme/format/partition komutlarını engelleme
- çalıştırma öncesinde doğal dilde özet doğrulaması
gibi temel güvenlik önlemlerini sağlaması gerekiyor
Sonuç
- Kullanıcı D sürücüsünün tamamının silinmesine hiçbir zaman izin vermemişti ve bu olay,
tasarım, doğrulama ve güvenlik korkuluklarının yetersiz olduğu bir durumda
gerçek sistem yetkilerinin LLM ajanına devredilmesinden kaynaklanan yapısal bir kusur örneği olarak görülebilir
- Benzer özellikler sunan tüm ajan tabanlı IDE ve araçlar için de bundan sonra önemli bir referans vakası olması bekleniyor
Henüz yorum yok.