Comet AI tarayıcısı herhangi bir sitede prompt injection’a açık ve banka hesaplarını boşaltabilir
(twitter.com/zack_overflow)- Comet AI tarayıcısında ortaya çıkan bir güvenlik açığı sorunu bulunuyor
- Kötü niyetli bir web sitesi, tarayıcı içindeki AI agent üzerinden istenmeyen bir prompt injection saldırısı gerçekleştirebilir
- Bu açık istismar edilirse kullanıcının kişisel bilgileri sızdırılabilir veya kritik eylemler tetiklenebilir
- Ağır vakalarda, otomatikleştirilmiş davranışlar yoluyla banka hesabından para transferi gibi zararlar doğabilir
- Hem kullanıcıların hem de geliştiricilerin bu yeni AI tarayıcı tehdidini fark edip karşı önlemler hazırlaması gerektiği öne çıkıyor
Comet AI tarayıcısındaki güvenlik tehdidine genel bakış
- Comet AI tarayıcısı, web sayfalarıyla etkileşimde yerleşik AI agent kullanmasıyla dikkat çekiyor
- Son dönemde, hacker’ların kasıtlı olarak tasarladığı bir web sitesine girildiğinde bu AI agent, sitenin kötü amaçlı prompt’larına maruz kalabiliyor ve bunları çalıştırmaya kadar gidebiliyor
- Prompt injection saldırıları yoluyla, kullanıcının istemediği hesap bilgisi sızıntısı, komut çalıştırma, hatta finansal işlemler gibi ciddi zararların ortaya çıkma olasılığı yükseliyor
- Bu sorun, mevcut tarayıcı güvenlik modeline AI etkileşimi eklendikçe ortaya çıkan yeni bir açık türü
Prompt injection’ın mekanizması
- Kötü niyetli web siteleri, sayfaya özel komutlar veya soru biçiminde metinler yerleştiriyor
- AI tarayıcı bunu 'normal bir kullanıcı isteği' sanarak ilgili komutları otomatik olarak yerine getirebiliyor
- Bunun sonucunda örneğin hesap transferi, hassas bilgilerin kopyalanması, başka sitelerde otomatik oturum açma gibi otomatik davranışlar tetiklenebiliyor
- Kullanıcı bu süreci görmeyebilir ya da şüphelenmeden geçebilir; bu da tespit ve savunmayı zorlaştırıyor
Sektörel etki ve karşı önlem ihtiyacı
- AI tarayıcıların yaygınlaşmasıyla birlikte, 'prompt injection' gibi yeni tehditler gerçek bir risk olarak öne çıkıyor
- Servis geliştiricileri ve kullanıcıların tamamı, AI tabanlı otomasyon özelliklerini kullanırken güçlü doğrulama ve kontrol sistemlerine ihtiyaç duyuyor
- AI tarayıcı şirketleri ile güvenlik şirketlerinin ön filtreleme, komut yürütme kısıtlamaları, uyarı sistemleri gibi güvenlik özellikleri geliştirmesinin önemi vurgulanıyor
- Finans gibi yüksek riskli alanlarda AI tarayıcı kullanımında dikkat ve güçlü güvenlik denetimleri gerekiyor
Sonuç
- Comet AI tarayıcısındaki prompt injection riski, AI teknolojisinin hızla benimsenmesiyle birlikte büyüyen yeni bir güvenlik sorunu
- Tüm paydaşların bu tehdidi somut biçimde kavraması ve özellikleri etkinleştirmeden önce doğrulama, asgari ayrıcalık ilkesinin uygulanması gibi kapsamlı güvenlik stratejileri oluşturması giderek daha kritik hale geliyor
1 yorum
Hacker News yorumu
Google, OpenAI, Anthropic gibi şirketlerin aynı özelliği yayımlamak yerine çerezsiz, kilitli sanal makineler kullanarak web'de gezinmesi, bunun doğası gereği ne kadar tehlikeli olduğuna işaret ediyor demek istiyorum
Tarayıcı içinde bir LLM'in sekmeler arası verileri bile görebilmesi bana gerçekten en kötü risk bileşimi gibi geliyor
Brave'de bu zafiyeti açıklayan gönderiyi gördüm(https://brave.com/blog/comet-prompt-injection/); ilginç olan, temel olarak "bu hiç yapılmaması gereken bir şey" sonucuna varmıyor olmaları
Bunun yerine model hizalaması, kullanıcı risk davranışı tespiti gibi yöntemlerle yeterince önlenebileceğini söylüyorlar
Aracı yetkilerini düşürmek en azından makul bir önlem olarak geçiyor ama bunun bile e-posta göndermek kadar kolay biçimde, saldırganın kontrol ettiği bir görsel URL'sine veri sızdırmak için kullanılabileceğini düşünüyorum
İlgili önceki tartışma: https://news.ycombinator.com/item?id=44847933
Bence model hizalaması ya da guardrail'ler sonuçta istatistiksel önlemler
Girdi uzayında tehlikeli davranışların mutlak olarak %0'a inmesini beklemek zor
Model ne kadar iyi olursa olsun, girdi değerleri içinde "asla olmaması gereken şeylere" eşlenmeyen durumlar üretmek neredeyse imkansız bir beklenti
Model katmanlarını birkaç kez üst üste koysanız bile, özünde sadece olasılıklar çarpılmış olur
(Brave gizlilik lideriyim ve yazının yazarıyım)
Biz hiçbir zaman model hizalaması ya da riskli davranış tespiti gibi yöntemlerin tek başına yeterli olduğunu söylemedik
Bunlar, tarayıcı üreticisinin zaten yapması gereken asgari önlemler
Bu basit saldırılar bu tür önlemlerle engellenebilir, ama bunların yalnızca "gerekli koşul" olduğunu, asla "yeterli koşul" olmadığını düşünüyorum
Brave ekibinin "bu baştan kötü bir fikir" sonucuna varmamış olmasını görünce aklıma şu geldi
Upton Sinclair'in dediği gibi, bir gerçeği anlamamanız maaşınıza bağlıysa onu anlamanız gerçekten çok zordur
Mevcut yazıya şimdi “tarayıcı, ajan tabanlı gezinme ile normal gezinmeyi ayırmalı” maddesi eklenmiş
Claude Code'a otomatik onay verip agresif biçimde web'de gezinmesine izin verirseniz, prompt injection ile benzer sorunlar gayet yaşanabilir
Dosya okuma/değiştirme izinlerinde otomatik onay seçeneği olmasa bile, sandbox içinde çalıştırmıyorsanız üretilen kod daha sonra örneğin unit test çalıştırırken tarayıcı dosyalarını değiştirebilir
Tüm değişiklikleri dikkatle incelemezseniz bu gerçekten tehlikeli olabilir
Bence Agentic AI yalnızca AI'ın yaptığı değişikliklerin kolayca geri alınabildiği ortamlarda kullanılmalı
Örneğin kod derleme/güncelleme/debug işlemlerinde git rollback gibi yöntemlerle güvenli biçimde başa dönebilirsiniz
Ama web'de gezinme gibi geri almanın neredeyse imkansız olduğu yerlerde Agentic AI kullanmak bana inanılmaz geliyor
Claude'a açık kurallar ve talimatlar versem bile bazen bunları görmezden gelip kafasına göre davrandığı oluyor
(“Açıkça yapma dediğim kuralları yok sayıp DB'yi doğrudan değiştiriyor!”)
Bu yüzden production ortamında bir ajan çalıştırmayı aklımdan bile geçiremiyorum
Sanki yalnızca git ile rollback yapılabiliyormuş gibi görünüyor ama aslında güvenli olmak için VM/container seviyesinde rollback yapmak gerekir
AI kodlama aracı fark ettirmeden dosya/yapılandırma düzenini değiştirebilir
Örneğin bash ile kötü amaçlı bir script'i
.profileiçine eklerse, bir sonraki girişte saldırı kodu çalışabilirBu özelliğin repository'yi ve push atabildiği tüm remote'ları da silebileceğini ya da bozabileceğini düşünüyorum
Prompt injection yapılabilen bir otomasyon zinciri uzak kaynaklara erişebiliyorsa, bir kez içeri sızıldığında içeriden tüm kapılar açılmış olur
Yanlış düşündüğüm bir yer varsa merak ediyorum
"Git ile rollback yapılabildiği için güvenli" denildiğini görünce, John Connor'ın Skynet kaynak kodunu rollback yapıp milyonlarca insanı kurtarabileceği fikri aklıma geldi
Hm...
En başta kodu güncelleme/derleme/çalıştırma yetkisinin kendisi bile aşırı güçlü
Sonuç olarak bunu yalnızca VM gibi güvenli ortamlarda çalıştırmak gerekir
Ağ katmanlarının her birini onlarca yıl uğraşarak güvenli hale getirdik, şimdi ise insanlar bütün sırları ve parolaları için düz metin bir API veriyor
Ayrıca Microsoft ekran görüntüsü saklıyor diye bu kadar eleştirilirken, benzer bir sessizliğin bu ajanlar için geçerli olması bana ironik geliyor
En azından bu, benim bilerek tarayıcıyı kurduğum bir 'opt-in' durumu
Microsoft tarafında ise neredeyse tüm Windows cihazlarına varsayılan olarak gelen, hatta başlangıçta sanırım opt-out olan bir ekran görüntüsü veritabanı oluşturuluyordu; bu daha tehlikeli
Bazı insanların "yararlı ajanlara", en yakın arkadaşına bile söylemeyeceği verileri ne kadar kolay verdiğini görmek de ilginç
Eşim yakın zamanda ChatGPT'den ilaç kullanım takvimi yapmasını istedi; öğünler, diyet, uyku ve her ilacın etkileşimlerini hesaba katarak kusursuz bir plan çıkardı
Hatta ilaçları neden yanlış kullandığını da ortaya çıkardı
Sanırım bunun sebebi böyle dostane bir ajanın konuşma tarzı, ama gerçekte bu tür bilgi sızıntıları ciddi bir sorun olduğu halde birçok insan düşünmeden verilerini paylaşıyor
Microsoft ekran görüntüsü tartışmasıyla bunu karşılaştırmak konunun özünü bulanıklaştırabilir
Bir LLM'in herhangi bir araçla veri okuması, sonuçta o içeriğin LLM'in context window'una yazılması anlamına gelir
Araç kapsamı içinde untrusted arbitrary source'a izin veriliyorsa, o anda dışarıya yazma yetkisi vermiş olursunuz
Yalnızca bu bile veri sızıntısı ihtimali yaratmak için yeterli
Buna ek olarak başka sistemlere gerçek yazma izni ya da yan etkiler de oluşuyorsa, risk katlanarak büyür
Komik gibi ama, bunun tam da günümüz IT sektörünün ve LLM çılgınlığının geldiği noktayı göstermesi gerçekten acı
Comet'in muhtemelen biraz ince ayarlanmış talimatlar dışında hiçbir koruması olmadığını tahmin ediyorum
Son USENIX Security'de fark ettiğim şey şu: kimse multi-turn/agentic prompt injection sorununu gerçekten nasıl ele alacağını bilmiyor
Yapay zekanın getirdiği değişim gerçekten ilginç ve yeni denemelerin sürekli çıkıyor olması heyecan verici
Kafamın karışık olduğunu dürüstçe söylemek istiyorum
Hâlâ normal online bankacılığa bile zar zor alışıyorum ve her şirketin uygulamasını yüklemeyi de reddediyorum
Böyleyken, deterministik olmayan bir varlığı (LLM) bilgisayarıma alıp finansal işleri de ona bırakmayı hayal bile edemiyorum
Bugün LLM'lerin benim yerime alışveriş yapması ya da ödeme gerçekleştirmesi gerçekten varsa bile, mantıken anlaşılabilir ama pratikte delilik gibi geliyor
Bunun nedeni, finansı uzman olmayanlara ya da rastgele prompt tepkileri veren sistemlere emanet etmenin tehlikeli olması değil sadece; müşteri açısından muazzam ölçüde özerklik ve yetki devrediliyor, karşılığında ne alındığı da belirsiz
Ben de LLM'leri seviyorum ve LLM tarayıcıların kesinlikle yararlı kullanım alanları olabilir
Ama bunun genel kullanıcı kitlesine uygun olduğunu düşünmüyorum
Hatta belki, bir derleme sürecinden geçmesini zorunlu kılıp insanların neyi devreye aldığını gerçekten bilmesini sağlamak daha iyi olabilir
Mevcut durum, AI'ın hesap bilgileriyle doğrudan senin adına ödeme yapması değil; daha çok insanların hesap bilgilerini AI'a açıkça yazması gibi bir şey
Yani AI'ın finansal işleri gerçekten vekâleten yürütmesiyle aynı şey değil
AI şirketlerinin ileride gerçekten fiduciary liability üstlenmeye istekli olup olmadığını merak ediyorum
Comet agent'ı 5 dakika kadar denedim
Sadece “Amazon'dan bana gitar al” dedim (gitar türü, bütçe, marka vb. belirtmeden), sonuçta adını bile duymadığım ucuz üç akustik gitarı sepetime ekledi
Neyse ki ödeme aşamasına geçmedi
Benim için değerlendirme burada bitti; pek bir değeri olmadığı sonucuna vardım