Silahlı polis, yapay zekanın Doritos paketini silah sanması üzerine öğrenciyi kuşattı

• ABD’de bir lisede yapay zeka silah tespit sisteminin hatalı çalışması sonucu bir öğrenci silahlı polis tarafından kuşatıldı
• Söz konusu sistem, gözetim kamerası görüntülerini analiz ederek silah biçimini tanıyan bir teknoloji; ancak gerçekte Doritos cips paketini yanlışlıkla silah olarak değerlendirdi
• Öğrenci, üzerine silah doğrultulmuş halde kelepçelendi ve daha sonra polisin gösterdiği yapay zeka yakalama görüntüsünde yanlış tespit doğrulandı
• Sistemi geliştiren Omnilert şirketi, bunun ‘yanlış pozitif olduğunu ama sistemin amaçlandığı gibi çalıştığını’ savunurken, okul yönetimi de bu görüşü destekleyen bir açıklama yaptı
• Olay, okullardaki yapay zeka gözetim teknolojilerinin güvenilirliği ve etik sınırları üzerine tartışmayı alevlendirirken, yapay zekaya bağımlı bir toplumun risklerini de ortaya koydu

---

Olayın özeti

• ABD’nin Maryland eyaletine bağlı Baltimore’daki Kenwood High School’da 16 yaşındaki öğrenci Taki Allen, yapay zeka gözetim sisteminin yanlış tespiti nedeniyle silahlı polis tarafından etkisiz hale getirildi
  • Olay, 20 Ekim’de Allen futbol antrenmanından sonra arkadaşlarıyla birlikteyken yaşandı
  • Birden fazla polis aracı okulun önüne geldi ve öğrencilere silah doğrultarak “yere yatın” emri verdi
• Allen, diz çökmüş ve kelepçelenmiş halde aranırken, polis herhangi bir silah bulamadı
  • Polisin gösterdiği yapay zeka yakalama görüntüsünde cebindeki buruşmuş bir Doritos paketi silah olarak algılanmıştı
• Allen, o anda “ölebileceğimi düşündüm” dedi ve olaydan sonra okula dönmekten korktuğunu belirtti

Yapay zeka sisteminin çalışma şekli ve sorunları

• Sorunlu sistem, Omnilert’in Gun Detection Technology adlı ürünü; geçen yıl Baltimore County devlet okullarında kullanıma alınan bir yapay zeka gözetim çözümü
  • Mevcut CCTV görüntülerini gerçek zamanlı analiz ederek silah olduğundan şüphelenilen nesneleri tespit ettiğinde polise anında uyarı gönderiyor
• Omnilert, bu olayı “false positive (yanlış pozitif)” olarak kabul etti, ancak sistemin “amaçlandığı gibi çalıştığını” savundu
  • Şirket, amacın “hızlı insan doğrulamasıyla güvenliği sağlamak” olduğunu söyleyerek, bunun teknolojinin temel bir sorunu olmadığı görüşünü dile getirdi
• Ancak şirketin tanıtım materyallerinde “anında silah tespiti” ve “neredeyse sıfıra yakın yanlış tespit oranı” vurgulanıyor; bu da olayın sistemin güvenilirliğini sarsmasına yol açtı

Okul ve yerel toplumun tepkisi

• Baltimore County Public Schools, velilere gönderdiği mektupta Omnilert’in açıklamasını yineleyerek bunun “öğrenci güvenliği ve farkındalığını artırmaya yönelik bir önlem” olduğunu söyledi
  • Okul, olaya tanık olan öğrenciler için danışmanlık hizmeti sunacağını açıkladı
• Ancak Allen, okuldan doğrudan bir özür ya da iletişim almadığını söyledi
  • “Bunun sadece prosedür olduğunu duydum” diyerek okulun yaklaşımına duyduğu hayal kırıklığını ifade etti
• Olayın ardından Allen, “yeniden atıştırmalık yesem ya da içecek içsem polis tekrar gelir mi diye korkuyorum” dedi ve okula dönmeye isteksiz olduğunu belirtti

Yapay zeka gözetim teknolojisine dair büyüyen tartışma

• Bu olay, yapay zeka gözetim sistemlerinin güvenilirliği ve etik sınırları üzerine tartışmayı tetikledi
  • Özellikle okul gibi hassas alanlarda yapay zekanın yanlış tespitlerinin öğrenci güvenliğini tehdit edebileceği ortaya çıktı
• Uzmanlar, yapay zekanın karar hatalarının gerçek silahlı müdahaleye dönüşmesi halinde, bunun can kaybına kadar varabilecek riskler taşıdığı uyarısında bulunuyor
• Olay, yapay zeka teknolojilerinde toplumsal sorumluluk ve insan doğrulama süreçlerinin önemini yeniden gündeme getirdi

Yapay zeka yayılımıyla ilgili uluslararası gelişmeler

• Aynı dönemde, ABD Kara Kuvvetleri’nden Tümgeneral William ‘Hank’ Taylor’ın ChatGPT’yi kullanarak askerî kararlar aldığını açıklaması da tartışma yarattı
  • Bu, kamu kurumları ve askerî yapılarda da yapay zeka bağımlılığının hızla yayıldığını gösteriyor
• Birleşik Krallık’ta ise yetişkin içerik erişimi için yüz tanımaya dayalı yaş doğrulama sistemi uygulanmaya başlanarak başka bir yapay zeka tartışmasına yol açtı
  • Çok sayıda dövmesi olan bir adamın sistemden “remove your face” mesajı aldığını öne sürmesi, yapay zeka algılama hatalarının yan etkilerini gözler önüne serdi
• Bu örnekler, yapay zekanın insanların günlük yaşamına ve kamu güvenliği alanına derinlemesine nüfuz ederken ortaya çıkan öngörülemez sonuçlara işaret eden temsili vakalar olarak değerlendiriliyor

[onixboox]

Tutuklanan öğrenci sırf siyah olduğu için falan değildir herhalde, değil mi?

[GN⁺]

Hacker News yorumu

• Omnilert olayı bir "false positive" olarak kabul etse de sistemin "amaçlandığı gibi çalıştığını" savunmuş
  Ama gerçekte silahlı kişiler, "silahlı bir genç var" şeklindeki yanlış bilgiyle olay yerine sevk edildi; bu da son derece tehlikeli bir durum yarattı
  O öğrenci travma yaşayabilir. İronik olan şu ki, haberdeki alıntılarda bu teknolojiyi yapan yetişkinler, öğrenciden daha olgunlaşmamış görünüyor

  • Başka bir örnek olarak, Lawrence okul bölgesinin AI gözetim sistemiyle ilgili dava haberi incelendiğinde, bir öğrencinin grup sohbetinde şaka yaptığı, AI'ın bunu ihbar ettiği, öğrencinin tutuklandığı ve 24 saat boyunca ebeveyni ya da avukatıyla görüştürülmeden gözaltında tutulduğu görülüyor
    Sonuçta Gaggle'a karşı dava açılmış; rakip Lightspeed ise uyarıların ücretli olarak insanlar tarafından incelenmesi seçeneğini sunuyormuş
  • "Hızlı insan doğrulamasıyla güvenlik sağlama" söylemi, sonunda sadece sorumluluktan kaçış gibi geliyor
  • Bu fiilen "AI'ın otonom şekilde kaynak konuşlandırdığı" bir AI swarm durumu. İnsan muhakemesi olmadan sadece uygulama vardı
  • Her sistemde false positive ve false negative vardır ama bu vakada ikisi de tehlikeli
    Tespit modelinin kalitesini artırmanın yanı sıra, başarısızlık halinde maliyeti azaltan bir yapı da gerekli. Bunun yolu insan doğrulaması ya da ikinci bir kontrol süreci
  • Mühendisler bunu "kamu güvenliğine yardımcı olan bir araç" diye yapmış olabilir ama pazarlama ve satış bunu "tam otomatik karar verme sistemi" diye paketleyince, sonuçta silah doğrultulan bir arıza gibi ironik bir tablo çıkmış

• Bu olay, açık kaynak nesne tanıma modeli YOLO'nun hafifçe değiştirilip ticarileştirilmiş bir versiyonu gibi görünüyor
  Gerçekte ne kadar doğru olduğu, hangi verilerle eğitildiği, yanlış pozitif oranının ne olduğu konusunda kimsenin bir fikri yok
  Böyle sistemler devreye alınacaksa istatistiklerin ve eğitim verilerinin açıklanması zorunlu olmalı diye düşünüyorum

  • Sonuçta "human in the loop" kavramı tamamen gözden kaçırılmış. Bir gün bu şirketin taksirle ölüme sebebiyet davasıyla karşılaşması çok olası

• The Civil Rights Lawyer olarak tanınan John Bryan bu olay hakkında muhtemelen yorum yapacaktır
  Kendisi, polisin yetersiz bilgiyle silah doğrultmasını hukuken "aşırı güç kullanımı" diye eleştiriyordu
  Eğer hem AI hem polis fotoğrafa bakıp bunu silah sanmışsa bir ölçüde gerekçelendirilebilir; ama AI otomatik olarak sevk başlattıysa meşruiyeti çok daha zayıf

  • Bir gün mahkemede, "AI kanıtı güvenilirdir çünkü bu teknolojiye on milyarlarca dolar yatırım yapıldı" argümanını duyabiliriz
  • Haklı gerekçe olmadan güç kullanımının doğrudan orantısız müdahale sayılıp sayılmadığını, yoksa arada gri bir alan olup olmadığını merak ediyorum

• AI'ı teknik olarak iyi bilmeyen insanlara böyle sistemleri emanet etmek tehlikeli
  AI çıktısına körü körüne güvenmeleri çok olası
  AI güvenlik ekiplerinin gerçekten odaklanması gereken şey, "bilgisayarlar yanılabilir" gerçeğini topluma anlatmak

• Okul yönetimi "öğrencilere danışmanlık desteği sağlayacağız" demiş ama onun yerine yanlış pozitifler için maddi sorumluluk taşımaları gerekir
  Bu tür teknoloji şimdilik laboratuvar aşamasında kalmalı

  • Yanlış kararların bir sorumlusu olmalı. Karar verene hesap sorulması kötü kararları durdurmanın tek yolu
  • Hatalı müdahale yüzünden zaten insan gücü ve kaynak israf edildi. Artık istifa ya da yaptırım gerekiyor
  • İnsan ister istemez, danışmanlık yerine psikoterapi hediye kartı mı verdiler diye alaycı düşünüyor
  • Elbette teknolojinin her zaman riskleri vardır ama tek bir yanlış pozitifin tüm faydaları otomatik olarak geçersiz kıldığını düşünmüyorum
    Yine de yanlış alarm ile gerçek tespit oranı şeffaf biçimde açıklanmalı

• Palantir gibi gözetim platformlarının toplumun her alanına yayıldığı bir döneme giriyoruz
  Deterministik olmayan ML sistemleri hata yaptığında sonuç can kaybı olabilir
  Otoriter toplumlarda bu hatalar örtbas edildiği için, şimdiden yasal düzenleme talep etmek gerekiyor

  • Ama bu olay Palantir değil, Omnilert ile ilgili. Konuları karıştırmamak lazım

• Omnilert "sistem amaçlandığı gibi çalıştı" dedi ama gerçekte olan şey AI'ın birini swatlamasıydı
  Böyle sistemlerin kurulu olduğu yerlerden tamamen uzak durmak daha güvenli

  • Bu, "bug değil özellik" şeklindeki kurumsal bahanenin tipik bir örneği
  • Bu teknoloji sonunda masum bir öğrencinin kurban edilmesine yol açacak. Teknoloji seviyesi henüz buna uygun değil
  • İnsan güvenliğini önceledikleri iddiası açıkça doğru değil

• "Hızlı insan doğrulaması" dediler ama pratikte bu silahın namlusu önünde doğrulama oldu

  • "Doğrulamaya vakit harcamayın, tehdidi hemen etkisiz hale getirin" tarzı bir düşünce çok daha tehlikeli
  • Polis sevk edildiğinde, AI'ın tespit ettiği ham görüntünün de anında görülebilmesi gerekir. Ancak böylece yanlış pozitifler azaltılabilir ve durum doğru anlaşılabilir
  • Bir sonraki aşama belki de, robot olmadığınızı silahla doğrulayan bir CAPTCHA olur

• Havaalanında TSA tarayıcısından her geçtiğimde gereksiz yere geriliyorum. Fermuarlı pantolon yüzünden sık sık ek aramaya alınıyorum
  Artık sokakların her yanında bulunan AI güvenlik kameralarının insanları keyfi biçimde işaretleyeceği bir döneme giriyoruz
  Bu sistemler para kazandırdığı için, denetimsiz biçimde yayılma riski büyük

  • Precheck ya da Global Entry kullanmak, ek arama sıklığını azaltabilir. Sinir bozucu ama pratik bir çözüm
  • Aramadan kaçınmak için giyimi değiştirmeye çalışmak, güvenlik tiyatrosunun yan etkilerinden biri. Bir gün günlük kıyafetlerimizi bile buna göre ayarlamamız gerekebilir
  • Vatandaşların doğrudan e-postayla görüş bildirmesi gerekiyor. Birkaç yüz kişi bile harekete geçse siyasetçiler tepki veriyor. En büyük sorun sessizlik
  • Bir keresinde kimlik yerine silah taşıma ruhsatı gösterdiğim için ek kontrole alındım ama neyse ki sorunsuz geçtim
  • Bir arkadaşım tarayıcıdan geçtikten sonra beni beklediği için "oyalanıyor" denilerek yeniden sorgulandı. Burada ırksal önyargının etkili olduğu hissediliyordu

• "Sistem amaçlandığı gibi çalıştı" sözü, gerçek hayattaki 'Not a hotdog' meme'ini andırıyor
  Sadece bu kez mesele "silah / silah değil" ayrımıydı ve doğruluk oranı ondan bile düşüktü