Sorumluluk sorgulamasını soğuran örgütsel “sorumluluk yutağı”
(aworkinglibrary.com)- Dan Davies’in The Unaccountability Machine kitabı, örgütlerin kararların sonuçlarını soğuran ya da bulanıklaştıran ve kimsenin doğrudan sorumlu tutulmamasını sağlayan sorumluluk yutakları oluşturduğunu savunur
- Bu tür yapılar, kararlardan etkilenen insanların geri bildirimlerinin sistemin işleyişine geri dönmesini engelleyecek şekilde bağlantı halkaları koparıldığında çalışır
- Otellerde temizlik personelinin azaltılması, sigorta şirketlerinin işlemleri reddetmesi, uçuş iptalleri, devlet yardımlarında uygunsuzluk kararı verilmesi ve yatırımcıların uygulamalara yapay zeka eklenmesini talep etmesi; karar vericiler ile zarar görenler arasındaki bağlantının koptuğu örneklerdir
- Dominion Systems vs Fox News örneğinde olduğu gibi, açık bir karar olmadan izleyici metriklerinin en önemli öncelik olduğuna dair örtük bir anlayış sonraki kararları iteklediğinde, kararın kaynağı bulanıklaşır ve sorumluluk sorgulaması zorlaşır
- Kararları algoritmalara devretmek sorumluluk yutakları oluşturmayı kolaylaştırır; ancak şirketler ve devletler gibi büyük ölçekli örgütler zaten bu tür yapılara alışık olduğundan, yapay zeka daha çok sorumluluk aklamayı genişleten bir araçtır
Sorumluluk yutakları nasıl çalışır
- Sorumluluk yutağı, kararların sonuçlarını soğuran ya da gizleyen ve kimsenin doğrudan sorumlu tutulamamasına yol açan bir örgütsel yapıdır
- Bir otel şirketinde üst düzey bir yönetici temizlik personelini azaltırsa, muhasebe kayıtlarındaki rakamlar iyileşebilir; ancak odası hazır olmadığı için check-in yapamayan müşterinin o karar vericiye itiraz etme ya da etkiyi geri taşıma yolu yoktur
- Resepsiyon görevlisi kupon sunabilir, ancak müşterinin ihtiyacı olan şey odadır
- Karar verici ile etkilenen kişi arasındaki geri bildirim yolu ortadan kalkar
- Davies’in ölçütüne göre bir sorumluluk yutağının işleyebilmesi için, etkilenen kişinin geri bildiriminin sistemin işleyişine yansımaması adına bağlantının koparılması gerekir
- Aynı yapı birçok durumda tekrarlanır
- Sağlık sigortası bir işlemi reddettiğinde
- Havayolu bir uçuşu iptal ettiğinde
- Bir devlet kurumu yardıma uygun olmadığını ilan ettiğinde
- Yatırımcılar portföy şirketlerine sözde yapay zekayı uygulamalara zorla yerleştirmelerini söylediğinde
Sorumluluğu mümkün kılan yetki ve açıklama
- Sorumluluk, bir kararı değiştirebilme yetisinin kapsamıyla bağlantılıdır
- Davies, bir kararı değiştirebilme derecesini o karardan sorumlu tutulabilme derecesi olarak görür
- Sidney Dekker’in accountability tanımı, sorumluluğu “anlatılabilir bir açıklama” ile ilişkilendirir
- Bir şeyin nasıl gerçekleştiğini, hangi koşulların bulunduğunu, o anda neden iyi bir karar gibi göründüğünü ve kimlerin dahil olduğunu anlamak gerekir ki sonrasında daha iyi kararlar öğrenilebilsin
- İki çerçeve birleştirildiğinde, sorumluluk alabilmek için hem değiştirme yetkisi hem de bu yetkinin nasıl kullanıldığına dair bir anlatı gerekir
- Kararları algoritmalara bırakmak sorumluluk yutakları oluşturmayı elverişli hale getirir
- Ancak şirketler, devletler ve aralarındaki örgütler sorumluluk yutakları oluşturmakta zaten ustadır
- Yapay zekanın sunduğu sorumluluk aklama tamamen yeni bir şey değil, genişletilmiş ve güçlendirilmiş bir biçimdir
- Şirketleri sorumlu tutmaya çalışırken başarısız olan yöntemlerin algoritmalar karşısında daha başarılı olması zordur; farklı bir yaklaşım gerekir
1 yorum
Hacker News görüşleri
Almanya’daki havaalanı/havayolu şirketlerinde benzer bir şey yaşarken aynı şeyi düşündüm
Tamamen otomatikleştirilmiş bir havaalanıydı, check-in self-servisti ve yalnızca bilgisayarla etkileşime giriyordum; biniş kartını yerleştirince koridor koltuğunun orta koltuğa değiştiğini söyleyen bir kağıt çıktı. Sonuna kadar bir insan bulup itiraz etmeye çalıştım ama bilgisayar yalnızca arayüzün tasarlandığı şekilde yanıt verdi ve programcı da sanki benim durumumu hesaba katmamış gibiydi. Yer personeli de bunun kendi görev alanı olmadığını söyleyerek hiçbir şey yapamadı; sonra gelen anket de başka bir uçuş segmentiyle ilgiliydi, bu yüzden düzgün şekilde şikayet iletmek bile zordu
Alternatif otobüsün nerede olduğuna dair ne uygulamada ne de istasyonda bir bilgi vardı, otobüs şoförü de bağlantı trenine binip binemeyeceğini soran yaşlı birine bunun kendi işi olmadığını söyleyip tersledi. Otobüs karanlıktı, camlar buğudan opaktı, durak anonsu ya da işaret yoktu ve bir saat boyunca ısıtma da çalışmadı. O hafta SIM kartım silindi, bir paketim de kayboldu; müşteri destek hattında karşılaştığım “başkasının işi” örneklerinin sayısını kaydetmek bile artık benim için başkasının işi oldu
Bulabildiğim tek kişi güvenlik görevlisiydi, o da sadece makinenin üzerindeki numarayı aramamı söyledi. Telefona çıkan kişi İngilizce bilmiyordu; benim €50 bir yerlerde duruyor ama geri almanın maliyeti muhtemelen bundan daha yüksek olacak
Bir keresinde Amazon bir paketi teslim edildi diye işaretledi ama ortada paket yoktu; yardım almanın da bir yolu yoktu ve FAQ yalnızca çalıların arasına bakmamı söylüyordu. Arama otomatik tamamlama kısmında da “teslim edildi görünüyor ama paket yok” benzeri birkaç ifade çıkıyordu; bu daha da sinir bozucuydu. Şimdi biraz daha iyi ama hâlâ benzer
Önce iyi niyetle sorunu çözmeye çalışın ve bunun kaydını tutun; duruşmaya kadar giderse bunu kanıt olarak kullanabilirsiniz. Sonra talebi verirsiniz, genelde hemen geri adım atarlar ve şirketlerin anladığı tek dille gerçek müşteri hizmetini teşvik etmiş olursunuz
O filmin bürokrasisinde en azından suçluluk hissedebilen insanlar vardı, ama burada insanların doğrudan devreye girmesine gerek yok; bu yüzden çok daha büyük ölçekte distopik hale gelebilir
Uzun zamandır şirketlerin başlıca işlevlerinden birinin sorumluluğu bulanıklaştırmak olduğunu düşünüyorum. Sınırlı sorumluluk adının bir nedeni var ve şirketler keyfi biçimde yaratılabildiği için sorumluluğu karanlık köşelere itmek kolay
Bu yüzden şirketleri insan olarak görmemek için güçlü bir neden var. İnsanlar uzun ömürlüdür, sorumluluk taşır ve keyfi biçimde yaratılıp ortadan kaldırılamaz
Şirketler içerideki ekonomilerinde ve iş ortaklarıyla ilişkilerinde de böyle çalışır. Maliyet merkezi para öder ve sorumluluğu devreder
Bunun daha sık gündeme gelmemesi bana uzun zamandır tuhaf geliyor. Sanırım herkes fazla alıştı. Bana kalırsa şirketlere para cezası kesme kavramının kendisini kaldırıp, yasayı çiğneyen kişileri ceza hukuku kapsamında yargılama modeline geçmeliyiz
Cathy O'Neil’in Weapons of Math Destruction (2016, Penguin Random House) kitabı, bu kavramı sistemi kuran ya da denetleyen taraf açısından ele alan iyi bir eşlikçi metin
Cathy, bazı bağlamlarda algoritma kullanımının zararlı ve sorumsuz sistemleri yeni bir ölçekte mümkün kıldığını ve bunun denetim altına alınması gerektiğini savunuyor
https://www.penguinrandomhouse.com/books/241363/weapons-of-m...
Algoritma yerine törensel bir delik koysanız ya da polis olmanın kişiye fiilen hem medeni sorumluluktan hem de cezai kovuşturmadan dokunulmazlık sağladığı bir durumu koysanız da aynı şekilde işler. Zararlı ve sorumsuz sistemleri mümkün kılan şey, sonuçta insanların herhangi bir gerekçeyle başka insanları sorumlu tutmamayı seçmesidir
Bu örnek kötü, çünkü olgusal değil. Fox News ile Dominion davasında Rupert Murdoch, yemin altında “Fox’un çalınmış seçim şeklindeki yanlış kavramı zaman zaman desteklediğini” kabul etti ve bu iddianın yanlış olduğunu bilmesine rağmen yayın kuruluşuna aksini söylemesi talimatını vermemeyi seçti
Fox içindeki sunucuların kendi aralarındaki iletişim de, söylediklerinin yanlış olduğunu bildiklerini gösteriyor. Bu, açıkça yalan tanımına giriyor ve Wikipedia’daki “External Links” bölümünde kimin ne zaman neyi bilerek söylediğini ayrıntılı biçimde gösteren gerçek mahkeme belgeleri var
[1] https://www.npr.org/2023/02/28/1159819849/fox-news-dominion-...
[2] https://www.nbcnews.com/politics/elections/dominion-releases...
[3] https://www.dictionary.com/browse/lie
[4] https://en.m.wikipedia.org/wiki/Dominion_Voting_Systems_v._F...
Otomasyonun, özellikle uygulamalaştırmanın, yöneticiler ve C-seviye için bu kadar çekici olmasının büyük nedenlerinden birinin sorumluluk zincirini koparabilmesi olduğundan şüpheleniyorum
Bugün birçok şirket; ürün yöneticileri, geliştiriciler ve operasyon çalışanlarının şirket içi BT altyapısındaki “yazılım katmanını” sürdürüp iyileştirdiği bir “yönetim katmanı”, günlük işleri fiilen yürüten devasa otomasyon altyapısından oluşan bir “yazılım katmanı” ve Uber sürücüleri, kurye çalışanları, Amazon depo işçileri gibi düşük ücretle ve yüksek devir oranıyla fiziksel işi yapan bir “işçi katmanı” şeklinde bölünmüş bir yapıya sahip. İşçiler neredeyse tüm talimatları uygulamalar ve cihazlar üzerinden alıyor, yönetimle temas kuramıyor ve şirketler çoğu zaman bunların en başta çalışan olup olmadığını bile inkâr ediyor. Kritik nokta, yazılım katmanının bu iki katman arasında bir sorumluluk güvenlik duvarı gibi işlemesi; böylece işçilerin şikâyetleri yazılımı aşıp yukarı çıkamıyor ve sömürücü davranışlar talihsiz yazılım hataları diye geçiştirilebiliyor
Gerekçe “kural böyle” ya da “sistem böyle” oluyor. Kuralı kimin koyduğu ve sistemi kimin yaptığı sanki kimse tarafından bilinmiyor; bunu doğrudan kurcalamak ise Herkül’ün görevlerine yakın ve çoğu zaman vakit kaybıyla sonuçlanıyor
Değişen şey, artık bu talimat ve süreçleri insanların değil, çoğu zaman yazılım ve donanımın uygulaması. Müşterinin aldığı nihai sonuç sanıldığından çok daha az değişti. Hâlâ aynı kahveyi ya da aynı taksiyi alıyorsunuz; sadece daha hızlı, daha ucuz ya da biraz daha iyi. Üstelik bu tür kademeli iyileştirmeler BT öncesinde de iç ürün yönetimi ve organizasyonel süreç iyileştirmeleriyle mümkündü
Bu çok düşündürücü bir yazı. Bu mesele, neden devletin tüketiciyi koruma kurumları ve yasalarının önemli olduğunu gösteriyor
Avrupa üzerinden uçuyorsanız ya da bir Avrupa havayolu kullanıyorsanız, uçuş 3 saatten fazla geciktiğinde veya iptal edildiğinde yaklaşık 600 avro tazminat sağlayan bir AB yasası var. Havalimanında şirket ne tür saçmalık söylerse söylesin tazminat alabilmeniz açısından iyi bir sigorta ve parayı alma süreci de oldukça basit. Havayolunun sistemini baypas edip doğrudan tazminata giden bir yol sunuyor ve havayolu düzgün işletmezse çok fazla ceza ödemek zorunda kalacağından gerçek bir teşvik de oluşturabiliyor. Şirketlerin müşterileri chatbot engelleriyle karşı karşıya bırakmasını önlemek için böyle koruma yasalarına gerçekten ihtiyaç var
Yeni otomatikleştirilmiş devlet e-beyan sistemlerinde bununla oldukça sık karşılaşıyorum. Ekran okuyucu kullanıyorum ve kalemle kâğıda yardım almadan yazmak benim için zor olduğu için başta bu tür sistemleri epey sevmiştim, ama fikrim biraz değişti
Kâğıda her şeyi yazabilirsiniz ve yazdığınız şeyin anlamlı olup olmadığını bir insan denetler. Bilgisayar böyle çalışmıyor; bu yüzden başvurudaki sayıların birbiriyle tutarlı olması gerekiyorsa, gerçekte biraz sapma olan özel bir durumda bile devlete yalan söyleyip rakamları uydurmanız gerekiyor. Sorumlu yerel devlet ofisini aradığımda, aslında dolaylı biçimde devlete yalan söylememi söylediler. Sistem merkezi olarak yönetiliyor, bu yüzden yerel ofisin bunu düzeltme yetkisi yok ve düzeltmek isteseler bile onların da yetkisi bulunmuyor
STS’de yüksek lisans öğrencisiyken, yazılımın bir tür faillik düzenleyicisi gibi çalışma biçimi üzerine bir proje yapmayı düşünmüştüm
Yapı şu: birey belirli bir riski, çoğunlukla ekonomik işlem riskini üstleniyor ve kazancın büyük kısmını yazılımın sahibi alıyor. Uber ve benzeri hizmetler birçok açıdan, düşük olasılıklı ama etkisi büyük aşağı yönlü riskleri bireylere küçük bir komisyon karşılığında yükleyen düzenekler
Karar vermeyi algoritmalara devretmenin, sorumluluğun emildiği noktalar yaratmanın elverişli bir yolu olması bakımından AI ile karşılaştırma açık. LinkedIn hesabımda, profile “follow-me” bağlantısı eklememi engelleyen bir bayrak var
Destek ekibindeki hiç kimse nedenini bilmiyor, bunun ne zamandan beri böyle olduğunu da bilmiyor, ne zaman değişeceğini de bilmiyor. Biz zaten böyle bir dünyada yaşıyoruz
Kurumlar, ahlaki sorumluluğu ortadan kaldırmak için vardır
Yargıç, jüri, cellat, infaz mangası ve limited sorumluluklu kuruluşların hepsi, insanların geceleri rahat uyuyabilmesi için her şeyi düzenli kutulara koyar. Yargıç, kararı jürinin verdiğini söyler; jüri, yargıcın adil bir ceza vereceğine inanır; infazı yapan kişi de önceki iki grubun kendi görevlerini yerine getirdiğini varsayar. Böyle bir sistem, tek bir kişinin eyleme geçmesini engellemekten çok bir dizi devir süreci yaratır; gardiyan kapıyı kapattığında, sonucun ahlakiliğiyle kurulan bağ da ortadan kalkmış olur. İnfaz mangasında birçok silahtan yalnızca birinin gerçek mermi taşıması da aynı yapıdır. Büyük kurumlar, örgütler ve ölçekli yapılar tamamen insan dışıdır; hükmü veren kişi cezayı bizzat uygulamak zorunda kalsa sonuç farklı olurdu
Jürinin infazı uygulayıp yargıcın da hapis cezasının sorumluluğunu taşıması, sadist kişiler için muazzam bir ters teşvik yaratır. Yargıç ya da jürinin bu yükü doğrudan taşıması hâlinde daha empatik olacaklarını varsaymak yanlıştır. Gerçekte, bu tür işleri üstlenmek istemeyen kişilerin o işi yapma olasılığı daha yüksektir. İnfazda boş mermi kullanılmasını bir kenara bırakırsak, diğer kurumlar içeridekileri korumaktan çok suçlu bulunan kişiyi korur
Kuvvetler ayrılığının yanlış bir yönelim olduğunu savunan bir parti kurabilirsiniz; daha iyisi, süper diktatörün bulunduğu onlarca ülkeden birini ziyaret edin