- İşletim sistemi seviyesinde entegre edilen agentic AI'nın, kişinin tüm dijital faaliyetlerini kaydedebileceği ve kötü amaçlı yazılımlara maruz kalabileceği başlıca risk olarak gösteriliyor
- Signal'den Meredith Whittaker ve Udbhav Tiwari, 39. Chaos Communication Congress'te bu tür yapay zekanın güvenlik, güvenilirlik ve gözetim açısından bütünüyle kırılgan olduğunu anlattı
- Microsoft'un Recall özelliği, kullanıcının tüm ekranını düzenli aralıklarla yakalayıp bir veritabanına dönüştürüyor; bu bilgiler kötü amaçlı yazılımlara veya prompt injection saldırılarına açık olabilir
- Whittaker, AI ajanlarının olasılıksal sistemler olduğunu, adım sayısı arttıkça doğruluğun hızla düştüğünü ve karmaşık görevleri yerine getirmede güvenilirliğin düşük olduğunu sayılarla ortaya koydu
- İkili, kontrolsüz dağıtımın durdurulması, varsayılan opt-out ayarı ve daha fazla şeffaflık çağrısı yaparak, aksi halde tüketici güveninin kaybının tüm AI sektörünü krize sürükleyebileceği uyarısında bulundu
Agentic AI'nın güvenlik ve gözetim riskleri
- Agentic AI işletim sistemi seviyesinde entegre edildiğinde, kişinin tüm dijital yaşamı bir veritabanında tutuluyor ve kötü amaçlı yazılımların erişim ihtimali artıyor
- Bu veritabanı, kullanıcının davranışlarını, metinlerini, uygulama kullanım sürelerini ve odaklandığı etkinlikleri kapsıyor
- Bazı durumlarda kullanıcı onayı olmadan otomatik olarak etkinleştirilebildiği için mahremiyet ihlali endişesi büyük
- Signal yöneticileri, bu yapının aynı anda hem güvenlikte kırılganlık hem de gözetim riski yarattığını belirtiyor
Microsoft Recall örneği
- Microsoft, Windows 11'de Recall özelliği üzerinden agentic AI'ı devreye alıyor
- Recall, birkaç saniyede bir ekran görüntüsü alıyor; OCR ve anlamsal analiz yaparak kullanıcının tüm etkinliklerini bir veritabanında biriktiriyor
- Veriler arasında davranış zaman çizelgesi, ham metin, uygulama bazında odak süresi ve konu sınıflandırmaları yer alıyor
- Tiwari, bu yaklaşımın kötü amaçlı yazılım saldırılarını ve gizli prompt injection saldırılarını engelleyemediğini söylüyor
- Bu zafiyetler, uçtan uca şifrelemeyi (E2EE) aşabilir
- Signal kendi uygulamasında ekran kaydını engelleyen bir özellik eklemiş olsa da, bunun temel bir çözüm olmadığını değerlendiriyor
Agentic AI'nın güvenilirlik sorunu
- Whittaker, agentic AI'nın olasılıksal bir sistem olduğunu ve adım sayısı arttıkça doğruluğun keskin biçimde düştüğünü açıklıyor
- Her adımın doğruluğu %95 ise, 10 adımlı bir görevin başarı olasılığı yaklaşık %59,9; 30 adımda ise yaklaşık %21,4 oluyor
- Daha gerçekçi kabul edilen %90 doğrulukta ise, 30 adımlı bir görevin başarı oranı %4,2'ye kadar düşüyor
- Mevcut en ileri ajan modellerinin bile %70 başarısızlık oranı gösterdiği belirtiliyor
- Bu nedenle, karmaşık otomasyon görevlerini emanet etmek için güvenilirliği çok düşük bir teknoloji aşamasında olunduğu vurgulanıyor
Mahremiyet ve güvenlik için iyileştirme önerileri
- Whittaker, şu anda mahremiyet, güvenlik ve kontrolü tamamen garanti etmenin bir yolu olmadığını, ancak geçici müdahalelerin mümkün olduğunu söylüyor
- Yine de şu adımlarla riskin azaltılabileceğini belirtiyor
- Kontrolsüz agentic AI dağıtımının durdurulması ve kötü amaçlı yazılımların düz metin veritabanlarına erişiminin sınırlandırılması
- Varsayılan opt-out ayarı, yalnızca geliştiricilerin açıkça opt-in yapması
- AI sistemlerinin nasıl çalıştığı ve verileri nasıl işlediği konusunda şeffaflık sağlanması, ayrıntı düzeyinde denetlenebilir şekilde tasarlanması
- Bu adımlar atılmazsa, tüketici güveninin kaybı nedeniyle agentic AI çağının kendisi tehlikeye girebilir
Sektör geneline uyarı
- Signal yöneticileri, agentic AI'nın aşırı yatırım ve abartılı beklentiler ortamında geliştiğini, ancak
güvenlik, güvenilirlik ve gözetim sorunları çözülmezse tüm sektörün krizle karşı karşıya kalacağını söylüyor
- Şirketlerin teknik yenilikten önce kullanıcı korumasını ve şeffaflığı önceliklendirmesi gerektiği vurgulanıyor
1 yorum
Hacker News yorumları
Bu yapay zeka sorunu değil, işletim sistemi sorunu
Yapay zeka, insanlar tarafından yazılıp incelenen yazılımlardan çok daha az güvenilir olduğu için mevcut sistemlerin kusurlarını görünür kılıyor
Ne UNIX ne de Microsoft süreç izolasyonunu düzgün uygulayabildi ve güvenlik modeli iyi tasarlansa bile bu, bilgisayar ya da OS satışına yardımcı olmadı
Plan 9, SEL4, Fuschia, Helios gibi iyi örnekler var ama sorun karar vericilerin bakış eksikliği
Sandbox ve modern güvenlik modellerini anlamamanın utanç verici bir şey sayılması gerekir
Yazılımı güvenliği sıkı bir ortama dağıtırken, varsayılan olarak hiçbir şey iletişim kuramaz ve dosya sistemi değişmez olduğu için bazen çalıştırmak bile mümkün olmaz
TLS sertifikaları ve CA ayarları da işin içine girince dağıtım tam bir kâbusa dönüşür
Recall gibi özellikleri güvenli şekilde uygulamak için ayrıntılı yetki kontrolü gerekir ama pratikte bunun UAC gibi rahatsız edici olma ihtimali yüksektir
Yapay zekanın kişisel asistan gibi çalışmasını sağlarken aynı zamanda güvenli ve güvenilir kalmasını sağlamak çok zor bir mesele
Çoğu internet öncesinde tasarlandığı için bugün bunları baştan yapmak uyumluluk ve maliyet sorunları nedeniyle neredeyse imkânsız
Container ya da VM’ler sonuçta mevcut sistemlerin üstüne eklenmiş yamalı çözümlerden ibaret
Tarayıcıda, e-posta istemcisinde, kelime işlemcide; nereye koyarsanız koyun öngörülemez davranışlar sergiliyor
Sonuçta asıl sorun, “güvenliği sağlanamayacak LLM’leri entegre etme tercihi”
Tam izolasyon kaynak ve karmaşıklık açısından fazla pahalı ve Qubes gibi sistemlerin yaygınlaşamamasının nedeni de bu
Temelden düşük saldırı yüzeyine sahip arayüzleri yeniden tasarlamak gerekir ama bu, tüm ekosistemi değiştirmek anlamına gelir
Signal’in güvenlik ve gizliliği en öne koyması doğru
Buna karşılık kurumsal BT’nin görevi riski yönetmektir
Bu iki rol tamamen farklıdır ve Signal’in mutlak güvenlik standardı kendi misyonları için uygundur
BT yöneticileri bir kuruluşun riskini kontrol etmek için hangi yaklaşımı akıllıca bulur, merak ediyorum
Recall’ın öncülü gibi görünen bir projeyi 2009’da Microsoft Research’te gördüğümü hatırlıyorum
Adı PersonalVibe idi ve kullanıcı davranışını yerel bir veritabanına kaydediyor ama dışarı göndermiyordu
Proje bağlantısı
Kurumsal ortamda ‘Agentic AI’ cazip görünse de öngörülebilirlik daha önemli bir değer
Yüzde 90 doğru çalışıp kalan yüzde 10’da veri sızıntısı ya da halüsinasyon üretiyorsa bu bir ajan değil, risk unsurudur
Şu anda hâlâ human-in-the-loop zorunlu olan bir aşamadayız
Şirketler iç riskleri yönetir ama dış riskleri şartlar ya da EULA ile başkalarına iter
Çoğu insan “satıcıya güveniyorum” ya da “şirket engeller” diye düşünüp tıklıyor
Yöneticiler, kısa vadeli performans uğruna yapay zeka risklerini geleceğe erteleme cazibesine kapılıyor
Recall gibi özellikler tam bir saçmalık
Anthropic ve ChatGPT de kullanıcının tüm iş verilerini modele yedirmeye çalışıyor
Şu anda ihtiyaç duyulan şey çıkarım aşamasında doğrulanabilir gizlilik
Verilerim gönderilecekse bunun doğrulanabilir biçimde korunduğundan emin olmam gerekir
İnsanlar verilerinin tamamını tanımadıkları şirketlere teslim ediyor
Yalnızca istendiğinde çalışan ve OS’e entegre olmayan taşınabilir bir uygulama biçiminde olsa kabul edilebilir görünüyor
Sorun çözerken yapılan işleri kaydetmek için yararlı olabilir
Dış ağa hiç çıkmayan bir ortam tek gerçek çözümdür
Bireylerin birkaç yüz dolarla aynı düzey gizlilik beklemesi zor
Yapay zeka şirketleri zaten yıllardır yasadışılığa yakın veri toplama yapıyor ve devletin de pek umurunda değil
Teknolojik ilerleme “dibe doğru yarış” gibi hissettiriyor
Güvenlik araştırmalarındaki 30 yıl sanki boşa gitmiş gibi
AI tarayıcıları çerezler ve kimlik doğrulama token’larıyla uğraşırken saldırı yüzeyi sonsuza kadar genişledi
“Nasıl çalıştığını bile bilmediğimiz bir sisteme tüm erişim yetkilerini verelim” fikri delilik
Yapay zeka eylem önermeli ama karar her zaman kullanıcı onayından sonra uygulanmalı
Örneğin abonelik iptali talebini algıladığında “Yapay zeka bunu böyle yorumladı, doğru mu?” diye sormalı
Ancak insanlar, yüzde 90 doğru çalışan sistemleri yüzde 100 sanma eğiliminde olan psikolojik bir soruna sahip
Örneğin “Foo ile ilgili makaleler, ama Bar hariç” gibi doğal dil isteklerini biçimsel arama sorgularına dönüştürüp önermek buna örnek
Elbette kötü niyetli veri kümeleri varsa risk sürer ama bu, LLM’leri gelişigüzel entegre etmekten çok daha iyidir
Yapay zekayı izole bir kullanıcı hesabında çalıştırıp,
beyaz liste tabanlı güvenlik duvarı ve overlay dosya sistemi kullanarak
istenmeyen davranışları engellemenin mümkün olup olmadığını merak ediyorum
Gereken şey etkileşim düzeyinde bir zero-trust modeli
Yapay zeka, hassas verileri doğrudan görmeden de görevleri yerine getirebilmeli
Donanımsal güvenli enclave ile birleştirildiğinde bu, gizlilik sorunlarını kökten çözebilir
Bu, dün talep ettiğim şeyle tam olarak örtüşen bir yazı
İlgili bağlantı