İrrasyonel ‘Aç Yargıç’ Etkisine Yeniden Bakış (2023)
(cambridge.org)- İsrail şartlı tahliye kurulunda mola öncesi ve sonrasında lehte karar oranının sert biçimde düşüp yeniden toparlandığını öne süren ünlü bulgu, yalnızca gerçek bir yargı çarpıklığıyla değil, istatistiksel bir yapaylıkla da ciddi biçimde şişirilmiş olabilir
- Orijinal çalışma, oturumdaki ilk kararda lehte karar olasılığının yaklaşık %65 iken son kararda neredeyse %0’a düştüğünü ve yemek molasından sonra yeniden %65’e çıktığını yorumlamış, bunu da zihinsel tükenme olasılığıyla ilişkilendirmişti
- Yeniden analizin kilit noktası, lehte kararların aleyhte kararlardan daha uzun sürmesidir; DLA verisinde lehte kararlar ortalama 7,37 dakika, aleyhte kararlar ise ortalama 5,21 dakika sürdüğü için oturumun sonlarına doğru örneklemde daha az lehte vaka kalabilir
- Varsayımsal olarak rasyonel bir yargıcın, kalan süre içinde bitirmesi zor olan vakaları bir sonraki oturuma devrettiği kabul edildiğinde, dava sırası rastgele olsa bile DLA’ye benzer bir düşüş eğrisi ortaya çıktı; ayrıca her oturumun son %5’inin çıkarılması bu etkiyi daha da büyüttü
- Yalnızca ham verilerle, dışsal etkenlerin hukuki yargıyı büyük ölçüde çarpıttığı sonucuna varmak için yeterli temel yoktur; rasyonel zaman yönetimi ve rastgele olmayan dava yerleşimi gibi etkenler, sıra ve açlık etkilerinden ayrıştırılmalıdır
Orijinal ‘aç yargıç’ bulgusu
- Danziger, Levav, Avnaim-Pesso (DLA), İsrail şartlı tahliye kurulundaki 1.112 kararı analiz ederek, bir oturum içindeki dava sırasının lehte karar olasılığıyla ilişkili olduğunu öne sürdü
- Söz konusu kurul günde üç oturum yapıyordu; oturumlar geç sabah atıştırma molası ve öğle yemeği arasıyla bölünüyordu
- Analize dahil edilen veriler, İsrail’deki şartlı tahliye taleplerinin yaklaşık %40’ını kapsıyordu
- DLA’nin temel bulgusu, oturumdaki ilk kararda lehte karar oranının yaklaşık %65 olmasına karşın son kararda bunun neredeyse %0’a düşmesiydi
- Yemek molasından sonraki bir sonraki oturumda lehte karar oranı yeniden yaklaşık %65’e dönüyordu
- DLA, tekrarlanan kararların ardından yargıçların yorgunluk, açlık veya zihinsel tükenme yaşayarak talepleri reddeden bir statükoyu koruma stratejisini daha kolay seçmiş olabileceğini temkinli biçimde yorumladı
- Bu etki, hukuki kararların dava sırası veya yemek yiyip yememe gibi hukuken ilgisiz faktörlerden etkilenebileceği düşüncesi nedeniyle psikoloji, hukuk ve iktisat gibi alanlarda geniş biçimde alıntılandı
- Alıntı sayısı 27 Şubat 2015 itibarıyla Google Scholar’da 222 idi
Etki büyüklüğüne dair kuşkular
- DLA’nin gözlediği düşüş çok büyüktü
- Lehte karar oranının %65’ten %5’e düşmesi, 35’lik bir odds ratio veya standartlaştırılmış ortalama fark olarak d = 1,96 anlamına gelir
- Bu, tipik “büyük etki” ölçütünün iki katından da fazladır
- Bu büyüklük, nedenin zihinsel tükenme olduğu varsayımıyla kıyaslandığında özellikle dikkat çekicidir
- Carter ve McCullough’un yayın yanlılığı düzeltilmiş tahminleri d = –0,10~0,25 aralığındadır; yani ortalamada yalnızca küçük etkiler beklenir
- 23 laboratuvar, N = 2.142 ölçekli önkayıtlı çoklu laboratuvar tekrar çalışması d = 0,04 buldu ve bu sonuç 0’dan anlamlı biçimde farklı değildi
- Dolayısıyla DLA etkisi gerçekten zihinsel tükenmeden kaynaklanıyorsa, mahkeme ortamında laboratuvar araştırmalarında beklenenden çok daha büyük bir olgu ortaya çıkmış olurdu
Dava sırası ve mola zamanının yarattığı karıştırıcı etkenler
- Dava sırası etkisini savunabilmek için dava yerleşiminin rastgele olması ya da analize dahil edilmeyen gizli etkenlerin hem sırayı hem de kararı aynı anda belirlememesi gerekir
- DLA; suçun ciddiyeti, önceki hapis cezası, yatılan ay sayısı, rehabilitasyon programına katılım ve önceki lehte karar oranı gibi değişkenleri kontrol etti ve sonucun sağlam olduğunu savundu
- Weinshall-Margel ve Shapard ise şartlı tahliye sürecindeki aktörlerle yaptıkları gayriresmî görüşmelere dayanarak dava sırasının rastgele olmadığını ileri sürdü
- Buna göre, avukatı olmayan mahkûmlar genellikle daha sona kalıyor ve bunların şartlı tahliye alma olasılığı avukatlı mahkûmlardan daha düşük oluyor
- DLA, avukat varlığı kontrol edildiğinde de düşüş eğiliminin sürdüğünü söyledi; ancak etki büyüklüğünün aynı kalıp kalmadığını raporlamadı
- Molaların ne zaman verildiği de önemli bir değişkendir
- DLA, dava özelliklerinin mola zamanını öngörmediğini savundu
- Weinshall-Margel ve Shapard’ın görüşmelerinde ise, yargıçların bir cezaevinden gelen dosya grubu gibi dava kümelerini tek bir oturum içinde bitirmeye dönük örgütsel planlama yapabileceğine dair ifadeler yer aldı
Seçici örneklemden düşme ve rasyonel zaman yönetimi
- Yeniden analizin çıkış noktası, lehte kararların aleyhte kararlardan daha uzun sürmesidir
- DLA verisinde lehte kararlar ortalama 7,37 dakika, standart sapma 5,11 dakikadır
- Aleyhte kararlar ortalama 5,21 dakika, standart sapma 4,97 dakikadır
- Oturum başına ele alınan dava sayısı sabit değildi
- Sabah oturumları ortalama 7,8 dava, standart sapma 4,51, en az 2 ve en çok 28 davaydı
- Atıştırmalık sonrası ama öğle yemeği öncesi oturumlar ortalama 11,4 dava, standart sapma 5,14, en az 2 ve en çok 25 davaydı
- Lehte kararlar daha uzun sürüyorsa, oturum sonuna yaklaştıkça lehte karar verilecek vakalar örneklemden seçici biçimde düşebilir
- Ağırlıklı olarak aleyhte kararlardan oluşan oturumlar daha fazla dava işleyebilir
- Daha yüksek sıra numaralarındaki gözlemlerde, aleyhte kararların ağır bastığı oturumlardan gelen davalar görece daha fazla kalır
- Yargıcın mola öncesi uzun sürecek bir vakaya başlamaktan kaçınması, rasyonel bir zaman yönetimi olabilir
- Dosya miktarı, talep türü, avukatın varlığı ve avukat, cezaevi ya da mahkûmla ilgili yüzeysel ipuçları bile işlem süresinin uzun mu kısa mı olacağını bir ölçüde öngörmeye yetebilir
- Bu planlama, davanın hukuki özünü veya karar sonucunu önceden bilme varsayımını zorunlu olarak gerektirmez
Rasyonel yargıç simülasyonu
- Simülasyon, hata ve yanlılık olmadan karar veren varsayımsal ideal bir yargıcı temel alır
- Yargıç her oturum için yaklaşık bir zaman sınırı koyar; sıradaki dava bu sınırı aşacak gibi görünüyorsa, o davayı mevcut oturumda ele almaz ve bir sonraki oturumun ilk davasına devreder
- Simülasyon rastgele sıralanmış 10.000 dava üretir
- Lehte sonuçlanacak davaların taban oranı %36, aleyhte sonuçlanacakların oranı %64 olarak alınır
- Karar süreleri, lehte ve aleyhte davalar arasındaki ortalama süre farkını yansıtır; gürültü için normal dağılım veya pozitif çarpıklığa sahip Weibull dağılımı kullanılır
- Oturum zaman sınırı 60 dakika olarak belirlenir
- Dava sırası rastgele ve yargıç rasyonel olsa bile, oturumun sonlarına doğru lehte karar olasılığının belirgin biçimde düştüğü bir örüntü ortaya çıkar
- Hem normal dağılımda hem de Weibull dağılımında niteliksel olarak benzer sonuçlar görülür
- Yüksek sıra numaralarında kalan gözlem sayısı azaldığı için tahminler kararsızlaşır ve %0 ya da yüksek oranlı sıçramalar oluşabilir
- Bu mekanizma, kalan süre azaldıkça lehte vakaların oturuma dahil edilmesinin zorlaşmasından kaynaklanır
- Örnekte kalan süre 15 dakika ise hem lehte hem aleyhte vakaların çoğuna başlanabilir
- Kalan süre 5 dakika ise lehte vakaların yalnızca %12’si oturuma sığabilirken, aleyhte vakalarda bu oran %46’dır
- Böylece oturum sonuna yakın örneklemde lehte vakaların göreli oranı düşer
Oturum başındaki yükseliş ve veri sansürü
- Hem simülasyonda hem DLA verisinde, oturumun ilk kararındaki lehte karar oranının taban orandan daha yüksek görünmesi gibi bir olgu vardır
- Bunun nedeni, oturumun lehte bir kararın hemen öncesinde bitme olasılığının daha yüksek olması ve böylece önceki oturumun sonunda dışarıda kalan lehte vakalara ait olasılık kütlesinin bir sonraki oturumun ilk kararına kaymasıdır
- Ara sıra dava kümesi düzeyinde planlama yapılıyorsa, ikinci ve üçüncü kararlarda da taban oranın üstünde bir görünüm ortaya çıkması açıklanabilir
- DLA, yüksek sıra numaralarındaki küçük örneklem sorununu azaltmak için her oturumun son %5’lik kısmını çıkardı
- Yeniden analiz simülasyonunda bu sansür (censoring), düşüşü azaltmak yerine daha da büyüttü
- Sansür, seçici örneklemden düşmeyi yapay olarak artırır
- Sıra numarasının lehte karar oranına etkisini analiz ederken bu tür sansürden kaçınmak gerekir
- DLA verisinde, önceki kararların sonraki kararlarla pozitif korelasyon taşıdığı bir otokorelasyon da vardır
- Simülasyonda birinci dereceden otokorelasyon r = .10 eklendiğinde, yapay etkinin büyüklüğü belirgin biçimde değişmez
Önceden tahmin olmaması durumu
- Önceki simülasyonlar, yargıcın sıradaki davanın tahmini süresini bir ölçüde öngörebildiğini ve oturum sınırını aşacak davalara başlamadığını varsayıyordu
- DLA, kurul üyelerinin sıradaki davanın ayrıntılarını önceden bilmediğini söylediği için, tam öngörü varsayımı güçlü bir koşul olabilir
- Yeniden analiz, öngörü olmaksızın yargıcın zaman sınırı aşıldıktan sonra oturumu durdurduğu durumu da test etti
- Sansür ve otokorelasyon yoksa yapay etki ortadan kalkar
- Sansür ve otokorelasyon eklendiğinde ise düşüş etkisi yeniden ortaya çıkar
- Bunun nedeni, lehte kararların daha uzun sürmesi ve bu yüzden zaman sınırına takılma olasılığının daha yüksek olmasıdır
- Oturum sonundaki %5 çıkarıldığında son dava çoğu kez elenir; bu son dava da aleyhte bir davadan ziyade lehte bir dava olma eğilimindedir
- Öngörüsüz koşulda sansürün ürettiği düşüş yaklaşık %15 olup, öngörülü simülasyondakinden daha küçüktür
Kalan sınırlamalar ve sonuç
- Yeniden analiz, sıra etkisinin veya zihinsel tükenmenin DLA’nin hukuki karar verisine hiç etki etmediğini ileri sürmez
- Ancak gözlenen büyük düşüşün önemli bir bölümü, dışsal etkenler olmadan da rasyonel zaman yönetimi ve seçici örneklemden düşme ile ortaya çıkabilir
- Rasyonel zaman yönetimi ve seçici örneklemden düşme, DLA verisinin tüm özelliklerini açıklamaz
- Simülasyondaki etki büyüklüğü orijinal etkiden biraz daha küçüktür
- Ham veride oturum başı oranı %45 değil, %65 ile daha yüksektir; özellikle günün ilk oturumundaki başlangıç oranını yalnızca bu açıklama izah etmekte zorlanır
- DLA’nin raporladığı zamanın kendisine ait etki, sıra temelli yapaylıkla kolayca açıklanamaz
- Ampirik eğri daha pürüzsüzdür; simülasyon eğrisi ise başta ve sonda daha keskin düşerken ortada daha düzdür
- DLA ortamında sıradaki dava hakkında doğrudan öngörü kısmen sınırlıysa, rasyonel zaman yönetiminin açıklayabileceği düşüş yaklaşık %15~%45 olarak tahmin edilir
- Ham veri, ek ayrıntı analizleri için kullanılamadı
- DLA araştırmacıları veriyi paylaşmaya istekliydi; ancak ilk erişim iznini veren tarafın bunu engellediği belirtiliyor
- Tam karar ortamı da bütünüyle yeniden kurulamadığı için, kalan meseleler sonraki çalışmaları gerektiriyor
- Orijinal çalışmadaki sıra etkisi ve zihinsel tükenme etkisi abartılmış olabilir
- Mola zamanına ilişkin rasyonel zaman yönetimi, avukatlı davaların öne yerleştirilmesi gibi rastgele olmayan sıra ve olası sıra/zihinsel tükenme etkileri birbirine karışmış durumdadır
- Bu etkiler ayrıştırıldığında, sıra veya zihinsel tükenmeye ilişkin tahminlerin daha küçük çıkması muhtemeldir
- Daha genel olarak, irrasyonel görünen davranışların arkasında sezgiye aykırı rasyonel temeller bulunabilir
- Bilgisayar simülasyonları ve biçimsel matematiksel analizler, bu olasılıkları saptamanın araçlarıdır
- Hukuki aktörlerin ya da bireylerin davranışını büyük ölçüde irrasyonel ilan etmeden önce, rasyonel aktör simülasyonları ile biçimsel analizler daha erken ve daha yoğun kullanılmalıdır
1 yorum
Hacker News yorumları
Orijinal çalışmanın, davaların ele alınma sırasını dikkate almadığı için kusurlu olduğu anlaşılıyor.
Daha hafif davaların önce ele alındığı, daha ciddi davaların, yani daha ağır cezalar gerektiren davaların ise sona bırakıldığı nokta atlanmış.
“Danziger ve diğerleri, dava sırasının rastgele olduğu ve dolayısıyla karar alma sürecinden bağımsız olduğu varsayımına büyük ölçüde dayanır. Bu varsayım güçlü biçimde çürütülmüştür. Keren Weinshall-Margel ve John Shapard, PNAS’ta yayımlanan kısa ve son derece eleştirel yanıtlarında, orijinal çalışmanın verilerini ve doğrudan topladıkları başka verileri analiz etmiş, ayrıca ilgili mahkeme personeliyle ek görüşmeler yapmıştır. Dava sırasının rastgele olmadığını belirtirler. Heyetler, mola öncesinde bir cezaevine ait tüm davaları bitirmeye çalışır; moladan sonra ise sonraki cezaevinin davalarına geçer. Özellikle avukatı olmayan mahkûmların talepleri genellikle her oturumun sonunda ele alınır. Bu nedenle hukuki temsilcisi olmayan mahkûmların lehte karar alma olasılığı, temsilcisi olanlara göre daha düşüktür. Ayrıca avukatlar çoğu zaman birden fazla mahkûmu temsil eder ve davaların sunulma sırasını belirler; en güçlü davadan başlamaları da gayet mümkündür.”
[1] Chatziathanasiou, K., 2022. Beware the lure of narratives:“hungry judges” should not motivate the use of “artificial intelligence” in law. German Law Journal, 23(4), pp.452-464
Davaları rastgele atamak daha doğru olmaz mı?
İlginç. Orijinal çalışma, hâkimlerin öğle yemeğinden hemen sonra daha hoşgörülü, öğle yemeğinden hemen önce ise en katı oldukları sonucuyla biliniyordu.
Bu yeni çalışma, olumlu kararların daha uzun sürdüğünü ve mola hemen öncesinde basit olumsuz kararların daha fazla araya sıkıştırılabildiğini göstererek o sonucun gücüne itiraz ediyor. Burada olumsuz karar, şartlı tahliye talebinin reddi olduğu için daha hızlı bitiyor.
Yani hâkimler, mola hemen öncesinde lehte sonuçlanma ihtimali yüksek karmaşık bir davaya başlamak istemiyor. Orijinal çalışmayı sayısız kez alıntıladım; bu yeniden inceleme sayesinde artık çok daha fazla bağlam var.
Eğer bu doğruysa, öğle saatlerinde trafik kazalarının muazzam biçimde artması ve sağduyuyla bakınca öğle öncesi araç kullanmayı yasaklatacak kadar büyük olması gerekirdi, diyordu.
“Açlık zihinsel kaynaklarımızı bu ölçekte etkiliyorsa, toplum her gün 11:45’te küçük bir kaosa sürüklenirdi. En azından toplum, bu inanılması güç derecede güçlü zihinsel tükenme etkisi etrafında örgütlenmiş olurdu.”
https://daniellakens.blogspot.com/2017/07/impossibly-hungry-...
Benzer bağlamda yaz saati uygulamasının başlaması ile kalp krizi artışı arasındaki korelasyonu ele alan ünlü bir çalışma da var [0].
[0] https://www.sciencedirect.com/science/article/pii/S254245482...
İlgili yazılar:
Do judges give out tougher sentences when hungry? A study too good to be true - https://news.ycombinator.com/item?id=35491060 - Nisan 2023, 202 yorum
Impossibly Hungry Judges - https://news.ycombinator.com/item?id=22020716 - Ocak 2020, 1 yorum
Rebuttal to hungry judges give harsher sentences - https://news.ycombinator.com/item?id=19958435 - Mayıs 2019, 1 yorum
Impossibly Hungry Judges (2017) - https://news.ycombinator.com/item?id=18112378 - Ekim 2018, 58 yorum
Impossibly Hungry Judges - https://news.ycombinator.com/item?id=14701328 - Temmuz 2017, 70 yorum
Do hungry judges give harsher sentences? - https://news.ycombinator.com/item?id=2438189 - Nisan 2011, 1 yorum
https://hn.algolia.com/?dateRange=all&page=0&prefix=false&qu...
https://hn.algolia.com/?dateRange=all&page=0&prefix=false&qu...
Uzunlukları birbirinden farklı nesneleri ele alan istatistik zordur. LAN üzerinde paket örneklemesi yaptığım zamanları hatırlatıyor
Uzunluk dağılımı iki tepeli olduğundan, ortalamayı varsayan istatistiksel hesaplamalar yanlış anlamalara yol açmıştı
Birkaç çözüm püf noktası var ve genel terimle buna “periodogram” deniyor
https://en.wikipedia.org/wiki/Least-squares_spectral_analysi...
https://www.mathworks.com/help/signal/ug/spectral-analysis-o...
Kimsenin Alexander Pope’un The Rape of the Lock eserinden alıntı yapmaması garip
“The hungry judges soon the sentence sign,
And wretches hang that jury-men may dine;”
(https://rpo.library.utoronto.ca/content/rape-lock-canto-3)
Bunu ilk kez görüyorum, ilginç. Benzer bir şeyi sigarayla ilgili görmüştüm; şimdi bağımlı hâkim etkisi, örneğin sigara gibi, var mı diye merak ediyorum
Mevcut yeniden üretilemeyen sonuçların ne kadarı, gözlenen kişilerin bu olguyu bilip bilinçli olarak telafi etmesinden kaynaklanıyor olabilir?
https://daniellakens.blogspot.com/2017/07/impossibly-hungry-...
Özgün etki, yayımlandığı andan itibaren sahte korelasyon olarak biliniyordu
Bu, zaman kısıtı varsa rasyonel bir hâkimin bile dosyaları daha hızlı sonuçlandırmaya çalışıp olumsuz karar yönüne kayabileceğini gösteren bir çalışma gibi görünüyor
Öğle arası ve muhtemelen mesai bitimi böyle zaman kısıtları olduğundan, öğle arası yaklaştıkça lehte kararların azalması ve öğleden hemen sonra tekrar toparlanması gözleniyor
Buna rağmen çalışmanın “DLA’nın analizi, dış etkenlerin hukuki kararları etkilediği hipotezi için kesin kanıt sağlamıyor” demesi tuhaf. Öğle arası ve mesai bitimi dış etken değilse nedir?
Yine de yukarıdaki açıklama özgün bulgunun yalnızca bir kısmını açıklıyor; çalışma da başka etkenlerin daha rol oynadığını kabul ediyor
Simüle edilen rasyonel hâkimler “ideal” ve kararları ne dosya sırasından ne de moladan sonra geçen süreden etkileniyor
Çalışmanın söylediği şey şu: Bu kusursuz davranışa rağmen, molanın ne zaman verileceğini belirleyen bazı simülasyon yöntemlerinde, lehte sonuçlanacak dosyaların oturumun başlarına atanma olasılığı artabiliyor. Son simülasyonda ise bu etki ancak özgün çalışmadakiyle aynı istatistiksel işlem uygulandıktan sonra ortaya çıkıyor
Özgün çalışmayı okuduktan sonra yıllarca öğle öncesi toplantı planlamadım, vay be
Biraz daha ciddi konuşursam, ben tersini yapıyorum. İnsanların açlık yüzünden sapıtmaması ve sabahın birbirinden kopuk iki bloğa bölünmemesi için
Varsayılan sonucun ters olduğu durumla karşılaştırmak ilginç olabilir
Mahkûm cezaevindedir ve cezaevinde kalmaya devam eder
Eğer yapı, hâkimler kişinin neden tutuklu kalmaya devam etmesi gerektiğini gerekçelendirmezse mahkûmun serbest bırakılacağı şekilde olsaydı sonuç değişir miydi? Elbette oldukça karmaşık olurdu