Microsoft, kendi yapay zeka araçlarının kullanıcılarını gözetliyor

 (schneier.com)
1 puan yazan GN⁺ 2024-02-21 | 1 yorum | WhatsApp'ta paylaş
  • Microsoft, Çinli, Rus ve İranlı hackerların hackleme yeteneklerini artırmak için kendi yapay zeka araçlarını kullandığını tespit ettiğini açıkladı
  • Microsoft ve OpenAI, Forest Blizzard, Emerald Sleet, Crimson Sandstorm, Charcoal Typhoon ve Salmon Typhoon gibi devlet bağlantılı saldırganların LLM kullanımını izledi
  • Schneier, Microsoft veya OpenAI’nin bunu bilebilmesinin nedeninin chatbot oturumlarını izlemesi olduğunu düşünüyor
  • Hizmet şartları bu tür gözlem yetkisini içeriyor olabilir ve diğer yapay zeka servislerinde de benzer kullanım davranışlarının takibi mümkün olabilir
  • Yapay zeka aracı kullanıcıları, girdilerinin ve oturumlarının hizmet sağlayıcı tarafından gözlemlenebileceğini varsayarak güvenlik hassasiyetini değerlendirmeli

Microsoft’un açıklaması ve yapay zeka araçlarının kullanımı

  • Microsoft, Çinli, Rus ve İranlı hackerların kendi yapay zeka araçlarını kullanarak hackleme yeteneklerini geliştirmeye çalıştığını açıkladı
  • Bağlama göre söz konusu yapay zeka aracının bir kodlama aracı olduğu tahmin ediliyor

OpenAI ile birlikte izlenen saldırgan gruplar

  • Microsoft, OpenAI ile iş birliği içinde tespit edilen tehdit istihbaratını paylaştı
  • Rapora göre devlet bağlantılı saldırgan olarak izlenen gruplar, siber operasyonlarını LLM ile güçlendiriyor
    • Forest Blizzard
    • Emerald Sleet
    • Crimson Sandstorm
    • Charcoal Typhoon
    • Salmon Typhoon

Chatbot oturumlarının izlenmesine dair yorum

  • Schneier, Microsoft veya OpenAI’nin saldırganların yapay zeka kullanımını bilmesinin tek yolunun chatbot oturumlarına bakmak olduğunu düşünüyor
  • Hizmet şartları böyle bir yetkiyi içeriyor olabilir
  • Yalnızca Microsoft ve OpenAI değil, diğer yapay zeka şirketleri de kullanım davranışlarını izleyebilir; bu açıklama da bu olasılığı doğrulayan bir örnek olarak ele alınıyor

“spying” ifadesine dair ek açıklama

  • 22 Şubat düzenlemesiyle “spying” kelimesinin kullanımına ilişkin bir açıklama eklendi

İlgili okumalar

1 yorum

 
GN⁺ 2024-02-21
Hacker News yorumları

  • Buna casusluk demek için OpenAI API şartlarını yeniden okumanız gerekir. “Hacker” olduğunuzu söyleyip o API’yi kullanmaya devam ediyorsanız, bu daha çok sizin sorumluluğunuzdur.
    OpenAI, hizmet sağlamak ve kötüye kullanımı tespit etmek için API girdilerini ve çıktılarını en fazla 30 gün boyunca güvenli şekilde saklayabilir; 30 gün sonra da yasal bir saklama yükümlülüğü yoksa sistemlerinden kaldırdığını belirtir. Uygun kullanım senaryoları için sıfır veri saklama (ZDR) da talep edilebilir.
    Kaynak: https://openai.com/enterprise-privacy

    • Yine de LLM öncesi çevrimiçi hizmetlerle karşılaştırıldığında gizlilik politikası alışılmadık derecede kötü.
      Örneğin Google Docs politikası https://support.google.com/docs/answer/10381817?hl=en adresinde “Google, kullanıcıların gizliliğine saygı duyar ve yalnızca izin olduğunda ya da yasal olarak gerekli olduğunda gizli içeriklere erişir” diyor.
      LLM API sağlayıcılarından da aynı düzeyi beklemek makul; şu anda kullanıcıları büyük ölçekte gözetlemeleri iyi değil.
    • Azure şartları farklı. Veri saklamayı da reddedebilirsiniz: https://learn.microsoft.com/en-us/legal/cognitive-services/o...
    • Bu tür hükümler o kadar da benzersiz değil; GCP, AWS ve Azure dahil olmak üzere bulut hizmetleri genelinde oldukça yaygın.
      Özellikle makine öğrenimi/yapay zeka hizmetleri alanında bu daha da geçerli; bu şartların sağduyuyu aşan bir seviyede olduğunu söylemek zor.

  • “Microsoft, AI araçlarının kullanıcılarını gözetliyor” diye yeniden ifade edilmesi komik. Aslında hikâye, otoriter bir devletin hasmane hükümetinin AI araçlarını yasa dışı faaliyetler için kullandığını Microsoft’un tespit etmesi; şartlarda bu tür izlemenin açıkça belirtilmesi ve kullanıcının “Kabul ediyorum”a basmak zorunda olması.
    Sıradaki başlık muhtemelen “Büyük TV kanalı, Champions League maçı sırasında futbolcuları gözetliyor” olur.

    • Bizim için bariz olması herkes için bariz olduğu anlamına gelmez.
      Çarpıcı başlıklar da meşrudur; bir şeyin yaygın olması kabul edilebilir olduğu anlamına gelmez. Bu tür tek taraflı şartların kullanıcılara karşı düşmanca davranışları mümkün kıldığına dair farkındalığın daha genişlemesini memnuniyetle karşılarım.
    • “Evet”e basmadan bu araçları kullanabiliyor musunuz?
    • Üstelik Microsoft bilerek Çin’de bir AI araştırma laboratuvarı kurdu. Akıl alır gibi değil.
    • Rastgele bir “kullanıcı” da değil, Bruce Schneier.
    • Bu hikâyenin önemli bir olay olmadığına kesinlikle katılıyorum.
      Ancak “Microsoft X’i gözetliyor” gibi bir cümlenin artık apaçık bir önerme olarak kabul edilmesi bana asıl haber gibi görünüyor. Yani “casus X’i gözetliyor” ifadesi “Microsoft = casus” anlamına geliyor ve yalnızca bu bağlamda değil, her bağlamda böyle okunuyor.
      Bundan sonra şartlar, yasallık, yasa dışılık, hasmane ya da dostane olma gibi unsurların hepsi ikincil hale geliyor.

  • Google Bard, yani Gemini, ana sayfasında bunu çok net biçimde belirtiyor.
    “Gemini Apps’i çalıştıran teknolojileri iyileştirmek için konuşmalarınız insan inceleyiciler tarafından işlenir. İncelenmesini veya kullanılmasını istemediğiniz içerikleri girmeyin.”
    Sadece sohbet etmek bile, Gemini’yi çalıştıran makine öğrenimi modelleri dahil Google hizmetlerinin iyileştirilmesine katkıda bulunur; bu süreçte eğitimli inceleyicilerin konuşmaları işlemesi gerektiği belirtilir. Gmail veya Drive gibi Google Workspace içeriklerinin Gemini’yi iyileştirmek için incelenmediği veya kullanılmadığı, gelecekteki konuşmaların incelenmesini ya da makine öğrenimi modellerini iyileştirmek için kullanılmasını istemiyorsanız Gemini Apps Activity özelliğini kapatabileceğiniz açıklanır.

    • Google’ın gerçekten gözetlenmeden kullanım biçimini destekleyip desteklemediğini daha açık belirtmesi iyi olurdu.
      Burada bunun ancak yarısı kadar net görünüyor.

  • Bunu kısaca “Microsoft kullanıcıları gözetliyor” diye de söyleyebiliriz.
    Güncel Microsoft ürünlerini kullanıyorsanız çok fazla veri gönderiyorsunuzdur; mesele bundan ibaret.

    • Daha genelleştirirsek: “Herkes kullanıcıları gözetliyor ve internet böyle çalışıyor.”

  • Doğru. Kötüye kullanımı izlediklerini oldukça açık söylüyorlar ve süre 30 gün.
    Bunun neden şaşırtıcı olduğunu anlamıyorum.

    • Önemli olmayan örnekler arasında bile oldukça ılımlı ve öngörülebilir bir durum. Tamamen barındırılan bir backend üzerinde çalışan bir platform kullanıyorsanız her şeyin kaydedilip saklanması kaçınılmaz.
      Buna kıyasla Nvidia, tüm pencere başlığı değerlerini ve tüm tıklamaları sunucularına gönderiyor; reddetseniz bile “zorunlu” olarak sınıflandırılıp gönderiliyor. Şu anda yüklü olanlar arasında en müdahaleci casus yazılım olması muhtemel.

  • AI aracıyla Facebook, Twitter, Instagram, SMS gibi çeşitli sosyal kanallar üzerinden konuşuyorsanız, o sohbetlerin yalnızca ilgili şirketin çalışanları tarafından değil, şirketin pazarlama ekibi ve dış iş ortakları tarafından da aktif biçimde okunduğunu varsaymalısınız.
    Elbette sözleşmelerle bağlı olabilirler; ancak insanların sohbet botlarına sorduğu şeyler sağlık bilgileri, cinsel bilgiler ve normalde yalnızca bir terapiste söylenecek çok özel konuları da kapsıyor. Üstelik bunlar 22 yaşındaki bir pazarlama stajyeri tarafından da okunabilir, şifrelenmemiş düz metindir, kopyalanıp yapıştırılabilir ve kullanıcı adı/ID ile ilişkilendirilebilir.

  • Microsoft’a hiç güvenmiyorum, ancak OpenAI veya Google gibi şirketlerin de böyle davrandığını duyduğumda olduğu gibi bu da şaşırtıcı değil.
    Bu, durumu meşru kılmaz. Artık herkesin gizlilik tutumunu, sohbet konuşmalarının okunmasının yalnızca kullanıcı açık ve geri alınabilir izin verdiğinde mümkün olacağı şekilde değiştirmesinin zamanı geldiğini düşünüyorum.

  • Bu tür araçları kullanan biri, kendi verilerinin tamamen emilmesini bizzat istemiş sayılır. Bu sizi endişelendiriyorsa, kullanılmaya değer tek yol yerelde çalışan AIdır.

  • AI verinin üzerine inşa edilir. Ne kadar çok gözetlerseniz AI eğitimi için o kadar çok veri elde edersiniz; ne kadar çok eğitirseniz o kadar iyi ve değerli hale gelir, daha çok insan kullanır ve tekrar veri sağlayan bir döngü oluşur.

  • Kolay öfke malzemesi.
    Bu platformların hepsi bir sonraki modeli eğitmek için girdileri kazıyor. Öyleyse kötüye kullanım tespiti de yapacak olmaları neden bariz olmasın?