AI yüz tanıma hatası nedeniyle Kuzey Dakota’daki suçlama yüzünden yanlışlıkla tutuklanan Tennessee’li kadın

• Tennessee’de yaşayan Angela Lipps (50), daha önce hiç gitmediği Kuzey Dakota’daki bir banka dolandırıcılığı davasında şüpheli olarak AI yüz tanıma teknolojisi tarafından eşleştirildi ve 5 aydan uzun süre gözaltında tutuldu
• Clearview AI sistemi, benzer görünen bir kişiyi yanlışlıkla Lipps olarak tanımladı ve Fargo polisi bunu temel alarak yakalama kararı çıkardı
• Daha sonra Lipps’in olay sırasında Tennessee’de olduğunu gösteren banka kayıtları doğrulanınca suçlama esastan düşürüldü ve serbest bırakıldı
• Fargo polisi, AI bilgisinin iletilmesindeki hata ile güvenlik kamerası görüntülerinin sunulmamasını kabul etti ve AI verilerinin kullanım prosedürlerini sıkılaştıracağını açıkladı
• Bu olay, AI destekli soruşturma teknolojilerinin güvenilirliği ile insan doğrulama süreçlerinin gerekliliğini öne çıkaran bir örnek olarak değerlendiriliyor

---

AI yüz tanıma hatası nedeniyle Tennessee’li bir kadının yanlış tutuklanması olayı

• Tennessee sakini Angela Lipps (50), daha önce hiç gitmediği Kuzey Dakota eyaletindeki bir banka dolandırıcılığı vakasında şüpheli olarak AI yüz tanıma teknolojisi nedeniyle tutuklandı ve 5 aydan uzun süre gözaltında tutuldu
  • Fargo polisi, olayın ele alınış sürecinde “bazı hatalar” olduğunu kabul etti ancak resmi bir özür dilemedi
  • Tutuklama 14 Temmuz’da Lipps’in Tennessee’deki evinde gerçekleşti; birkaç hafta önce Fargo’da çıkarılmış bir yakalama kararı zaten bulunuyordu

• Olayın gelişimi

  • Fargo bölgesinde meydana gelen banka dolandırıcılığı olayı soruşturulurken polis, şüpheliyi belirlemek için “iş birliği yapılan bir kurumun yüz tanıma teknolojisini” kullandı
  • West Fargo polisi, Clearview AI sistemini kullandı ve bu sistemin Lipps’e benzeyen bir kişiyi tespit ettiği bilgisi rapora eklendi
  • Fargo polisi bu bilgiye dayanarak Lipps’i şüpheli olarak değerlendirdi ve raporu Cass County savcılığına sundu
  • Daha sonra Fargo polisi, West Fargo’nun AI sistemi kullanımının üst birime bildirilmediğini ve sistem kullanımının şu anda yasaklandığını açıkladı

• Gözaltı ve serbest bırakılma süreci

  • 1 Temmuz’da bir Kuzey Dakota yargıcı, ülke genelinde iade uygulanabilecek bir yakalama kararı çıkardı
  • Lipps, 14 Temmuz’da tutuklandı; Tennessee’deki bir cezaevinde 3 aydan uzun süre kaldıktan sonra Kuzey Dakota’ya iade edildi
  • İadenin ardından avukatı, Lipps’in suçun işlendiği sırada Tennessee’de bulunduğunu gösteren banka kayıtlarını temin etti
  • 23 Aralık’ta Fargo polisi, eyalet savcılığı ve yargıç görüşerek suçlamanın ‘esastan düşürülmesine’ karar verdi; Lipps 24 Aralık’ta serbest bırakıldı
  • Savunma ekibi, “açıkça beraat ettirici deliller bulunmasına rağmen uzun süreli gözaltının gereksiz şekilde sürdüğünü” eleştirdi

• Fargo polisinin soruşturma sonuçları ve yanıtı

  • Polis, başlıca hatalar olarak AI sistemi bilgisinin aktarımındaki yanlışlığı ve güvenlik kamerası görüntülerinin sunulmamasını işaret etti
  • Fargo polisi, bundan sonra West Fargo’nun AI verilerini kullanmayacağını ve eyalet ile federal bilgi merkezleri ile iş birliği yapacağını açıkladı
  • Tüm yüz tanıma sonuçlarının her ay soruşturma birimi başkanına raporlanması için prosedürler sıkılaştırıldı
  • Cass County ve eyalet savcılığıyla olan gözaltına alınan kişilere ilişkin bildirim sistemindeki eksiklikler de sorun olarak gösterildi ve iyileştirme önlemleri değerlendiriliyor
  • Polis, ilgili soruşturmacılar hakkında disiplin işlemi uygulanıp uygulanmayacağını inceliyor ve “kimse gereksiz bir tutuklama istemez” dedi

• Mağdur ve hukuki süreç

  • Lipps, üç çocuk ve beş torun sahibi bir büyükanne; Kuzey Dakota’ya hiç gitmediğini söylüyor
  • Gözaltı süresince “korku, yorgunluk ve utanç” yaşadığını GoFundMe sayfasında yazdı
  • Savunma ekibi, “AI yüz tanımanın temel polis soruşturmasının yerine geçen bir kestirme yol olarak kullanıldığını” eleştiriyor ve medeni haklar davası olasılığını değerlendiriyor

• AI destekli soruşturma teknolojilerine yönelik eleştiriler

  • ABD genelindeki polis teşkilatlarının AI teknolojisini hızla benimsediği, ancak etkinliğine dair kanıtların yetersiz olduğu belirtiliyor
  • South Carolina Üniversitesi’nden Profesör Ian Adams, “AI ile ilgili hataların çoğu teknoloji ile insanın birleşiminden kaynaklanan sorunlar” değerlendirmesinde bulundu
  • Adams, “dedektiflerin algoritma sonuçlarına körü körüne güvenmemesi, mutlaka insan doğrulama süreçlerinden geçirmesi gerektiğini” vurguladı
  • Daha önce de AI güvenlik sisteminin boş bir cips paketini silah sanıp bir öğrencinin tutuklanmasına yol açtığı olay gibi, AI kaynaklı yanlış teşhis örnekleri tekrarlandı

• Olayın mevcut durumu

  • Fargo polisi, olayın “halen devam ettiğini ve ek soruşturma sonuçlarına göre suçlamanın yeniden gündeme gelebileceğini” açıkladı
  • Savunma ekibi, polisin gelecekteki iyileştirme sözlerini memnuniyetle karşılarken, “temel soruşturma prosedürlerinin eksik olmasının hâlâ sorun olduğunu” belirtti

[GN⁺]

Hacker News görüşleri

• Yapay zeka olup olmamasından bağımsız olarak, benim sormak istediğim tek şey şu — gerçekte kim soruşturma yaptı
  Onun IP’sini, tanıkları ya da AI işaretini kontrol eden kimse olmamış. Sadece veriye bakıp “yakaladık” demişler
  Daha da korkuncu, onun “bir daha North Dakota’ya dönmeyeceğim” demesi. Çıkarılacak ders “o eyalete gitmeyelim” değil, tüm sistemi sorgulamak olmalı
  Daha önce de Apple’ın yanlış gözaltı vakası ya da ailesinin önünde götürülen adam vakası gibi örnekler vardı. Mücadele etmezsek hepimiz, ‘suçlu sayılıp sonra masumiyetini kanıtlamak zorunda kalan’ insanların yaşadığı bir dünyada oluruz

  • Hukuk sisteminin sorunu, gerçeği bulmaya yönelik bir teşvikinin olmaması
    Ben de daha önce 911’i arayıp ihbarda bulundum ama sonra asılsız ihbarcı olmakla suçlandım. Bodycam görüntüsü bunu açıkça çürütüyordu ama yetkililer sadece ‘dava açmakla’ ilgileniyordu. Neyse ki jüri doğru kararı verdi
  • Elbette soruşturma gerekliydi. Ama daha büyük sorun, insanların AI’ın hatasız olduğu yanılsamasına inanması
    “Sonuç doğrulanmalı” deseniz bile, HN’de bile “gerek yok” diyen insanlar var
  • DNA ve parmak izinden zaten alınmış dersler var. ‘Bilgisayar eşleşti’ diye insanları tutuklamak tehlikeli
    Bu tür sistemler sadece ipucu üretmek için kullanılmalı. Ama şu an sanki dizilerdeki gibi ‘AI gerçeği söylüyor’ anlayışıyla kullanılıyor
    İnsanlar sadece “bir daha North Dakota’ya gitmeyelim” gibi basit bir ders çıkarmak istiyor. Oysa asıl sorun yanlış pozitif oranı ve hukuk sisteminin yapısal sınırları
  • Gözden kaçırdığın bir nokta var. Avukatlar “travma, özgürlüğün kaybı ve itibar zedelenmesi kolay telafi edilmez” demişti
    Bu açıkça tazminat davasına hazırlık niteliğinde bir açıklama. Muhtemelen kadın sadece normal hayatına dönmek istiyordur. “Sisteme karşı savaş” demek pratikte fazla zor
  • Hukukçu değilim ama ABD’de gözaltındaki sorgulamalarda Miranda hakları geçerlidir
    Belki de Musk ya da Altman’ın yazılımıyla sorun yaşamamayı tercih etmek daha iyidir

• Kullanılan sağlayıcı Clearview AI’ydı. Resmî politikaya göre, yasanın zorladığı birkaç eyalet dışında veri silme talebi mümkün değil
  Bu yüzden bir anda New York’un S1422 Biometric Privacy Act yasasına ilgi duymaya başladım

  • Illinois sakinleri için, politikaya göre biyometrik verilerin toplanması ve saklanması zorunlu. Ancak kolluk kuvvetleri için idari arama emri gibi yollarla istisna uygulanma ihtimali yüksek
  • Bununla bağlantılı olarak noyb’nin yüz tanımaya karşı yaptığı suç duyurusu örneği de var
  • Silme talebinde bulunmak için kendi fotoğrafınızı göndermeniz gerekiyor, ama Peter Thiel bağlantılı bir şirkete güvenmek istemiyorum
  • Sonuçta şimdilik silme talebini tekrar tekrar göndermekten başka çare yok. Silinse bile bir gün yeniden veritabanına girmesi çok olası

• Sadece bu ay yüz tanıma kaynaklı yanlış tutuklama vakalarını birkaç kez gördüm. Artık sık yaşanan bir şey haline geldi
  ABD’nin 350 milyonluk nüfusunda birbirine benzeyen çok sayıda insan var; bu yüzden AI “bu videodaki kişiye kim benziyor” diye sorduğu anda, sırf ‘benziyor’ diye tutuklanma düzeni ortaya çıkıyor
  ‘Benziyor’ demek makul şüphe düzeyinde olabilir ama tutuklama gerekçesi (Probable Cause) için yeterli değil. Başka kanıtlarla birleşmesi gerekir
  Sorun AI’ın kendisi değil, benzediği için aynı kişi olduğuna hükmeden düşünce biçimi

• En sarsıcı olan, hakimin sadece Clearview eşleşme sonucuna dayanarak arama emrini onaylamış olması
  Hakim ve arama emri süreci aslında polisin kötüye kullanımını engellemek için var ama o bile işlemiyor

• Önceki tartışma burada

• Bu olay AI hakkında abartılı bir haberleştirme
  Kullanılan sistem, 2014’ten beri var olan FaceSketchID; güncel yapay zekadan ayrı bir şey. Sistem sadece adayları sunuyor, soruşturma ve dava açma ise insanların işi
  Asıl soru, neden onun 4 ay boyunca tutuklu kaldığı. Normalde 30 gün içinde iade esastır; acaba şartlı tahliyede olduğu için mi böyle oldu?

  • ABD’de iktidar sahipleri prosedürü ihlal etse bile fiilen neredeyse hiç ceza almıyor. Sonradan vergiyle tazminat ödenmesiyle kalıyor
  • İade sürecine itiraz edilirse tutukluluk süresi 30 günden 90 güne kadar uzayabiliyor. Üstelik yanlış kimlik meselesi iade duruşmasında da tartışılamıyor
  • Muhtemelen kadın şartlı tahliye ihlali nedeniyle ayrıca tutuluyordu
  • Soruşturmayı insanlar yapmalı ama sorun, AI’ın ‘kendinden emin yanlışları’ yüzünden insan yargısının felç olması. İnsanlar kesinlik duygusuna kolayca aldanıyor

• Haberdeki “Bu bir teknoloji sorunu değil, teknoloji ve insan sorunu” alıntısı dikkat çekiciydi

  • Son zamanlarda “It’s not just X, it’s X and Y” ifadesi bana AI’ın yazdığı cümle kalıbı gibi geliyor. Eğer haberi AI yazdıysa, o cümle de halüsinasyon ürünü bir alıntı olabilir

• Tutuklama emri çıkarma eşiğinin bu kadar düşük olduğunu bilmiyordum. Hele ki başka bir eyaletten insan getirilecek kadar

  • Bu, tipik bir temel oran yanılgısı (Base Rate Fallacy) örneği
    %99,999 doğru çalışan bir sistem bile 300 milyon kişiyi tararsa 3.000 yanlış pozitif üretir. Bunların çoğu masum insanlardır
    Bu yüzden büyük ölçekli otomatik gözetim tehlikelidir

• Asıl korkutucu olan AI’ın hata yapması değil, kimsenin sonucu doğrulamamış olması
  İsimsiz bir ihbar araştırılıyor ama AI eşleşmesine olduğu gibi inanılıyor. Sonuçta ortaya soruşturmayı atlamaya yarayan bir araç çıkmış oluyor