Simpson paradoksu
(en.wikipedia.org)- Simpson paradoksu, alt gruplarda görülen eğilimin veriler birleştirildiğinde ortadan kalktığı ya da tersine döndüğü bir olasılık/istatistik olgusudur; bu nedenle yalnızca toplulaştırılmış veriye bakmak yargıyı ciddi biçimde çarpıtabilir
- Frekans verilerini doğrudan nedensellik olarak yorumlamak, karıştırıcı değişkenleri gözden kaçırmayı kolaylaştırır ve bu durum özellikle sosyal bilimler ile tıp istatistiklerinde sorun yaratır
- UC Berkeley lisansüstü kabulü, böbrek taşı tedavisi ve profesyonel beyzbol vuruş ortalaması örnekleri; alt grup karşılaştırmaları ile toplam karşılaştırmaların farklı sonuçlara varabileceğini gösterir
- Oranların tersine dönmesi vektör bakış açısından da açıklanabilir; temel kısıt ise yalnızca tabloya bakarak verinin bölünmesi mi yoksa birleştirilmesi mi gerektiğine karar vermenin zor olmasıdır
- Doğru yorum için Pearl'ün back-door criterion ve do-calculus gibi nedensel modellere ihtiyaç vardır; basit toplulaştırmadan çok, verinin nasıl üretildiğini anlamak önemlidir
Olgu ve adlandırma
- Simpson paradoksu, birden fazla veri grubunda görülen eğilimin gruplar birleştirildiğinde kaybolması ya da tersine dönmesi olgusudur
- Özellikle frekans verilerine aşırı nedensel yorum yüklendiğinde tehlikelidir; karıştırıcı değişkenler ve nedensel ilişkiler istatistiksel modellemede uygun biçimde ele alınmalıdır
- İstatistiğin kötü kullanımının nasıl yanlış sonuçlar üretebileceğini gösteren temsilî bir örnek olarak kullanılır
- Edward H. Simpson bu olguyu 1951 tarihli teknik bir makalede açıkladı; Karl Pearson 1899'da, Udny Yule ise 1903'te benzer bir etkiyi daha önce anmıştı
Simpson's paradoxadı Colin R. Blyth tarafından 1972'de ortaya atıldı- Diğer adları arasında Simpson's reversal, Yule–Simpson effect, amalgamation paradox, reversal paradox bulunur
UC Berkeley lisansüstü kabul örneği
- 1973 sonbaharında University of California, Berkeley lisansüstü kabul verilerinde, toplam sonuçlara göre erkek başvuru sahiplerinin kabul olasılığı kadın başvuru sahiplerinden daha yüksekti ve bu fark tesadüfle açıklanamayacak kadar büyüktü
- Toplam 12,763 başvuru sahibinin kabul oranı %41 idi
- 8,442 erkek başvuru sahibinin kabul oranı %44 idi
- 4,321 kadın başvuru sahibinin kabul oranı %35 idi
- Bölüm bazındaki bilgiler hesaba katıldığında, toplam veriden farklı bir tablo ortaya çıkar
- Kadınlar, kabul oranı daha düşük ve rekabeti daha yüksek bölümlere daha fazla başvurma eğilimindeydi
- Erkekler, kabul oranı daha yüksek ve daha az rekabetçi bölümlere daha fazla başvurma eğilimindeydi
- Toplulaştırılmış veri ve düzeltilmiş veri, kadınlar lehine küçük ama istatistiksel olarak anlamlı bir yanlılık gösterdi
- Toplam 85 bölüm içinde, kadınlar aleyhine anlamlı yanlılık gösteren bölüm sayısı 4, erkekler aleyhine anlamlı yanlılık gösteren bölüm sayısı ise 6 idi
- Sonuç, yanlı bölüm sayısına değil; her bölümün toplam başvuru sayısına göre reddedilme oranıyla ağırlıklandırılmış tüm bölümlerdeki cinsiyete göre kabul sonuçlarına dayanıyordu
Böbrek taşı tedavisi örneği
- Gerçek bir tıbbi çalışmada, böbrek taşı için A ve B tedavilerinin başarı oranları karşılaştırılırken Simpson paradoksu ortaya çıkar
- Treatment A açık cerrahi prosedürü içerir
- Treatment B kapalı cerrahi prosedürü içerir
- Taş boyutuna göre bakıldığında Treatment A'nın başarı oranı daha yüksektir
- Küçük taşlar: A %93
(81/87), B %87(234/270) - Büyük taşlar: A %73
(192/263), B %69(55/80)
- Küçük taşlar: A %93
- Taş boyutları birleştirildiğinde Treatment B daha yüksek başarı oranı gösterir
- Toplam: A %78
(273/350), B %83(289/350)
- Toplam: A %78
- Tersine dönüş, tedavi seçimi ile vakaların zorluk düzeyinin birlikte etkili olması nedeniyle ortaya çıkar
- Doktorlar büyük taşlarda daha iyi olan Treatment A'yı, küçük taşlarda ise görece daha zayıf olan Treatment B'yi daha sık uygulama eğilimindeydi
- Taş boyutu başarı oranını güçlü biçimde etkilediği için, tedavi seçiminden çok vakanın ciddiyeti toplam oran üzerinde daha baskın oldu
- Daha az etkili olan Treatment B'nin daha etkili görünmesinin nedeni, tedavisi daha kolay olan küçük taş vakalarında daha sık uygulanmış olmasıydı
- Jaynes'e göre Treatment A, Treatment B'den açıkça daha iyidir; ancak böbrek taşı boyutu daha önemli değişkendir
Profesyonel beyzbol vuruş ortalaması örneği
- Simpson paradoksu, profesyonel beyzbol oyuncularının vuruş ortalamasında da görülebilir
- Bir oyuncu birkaç yılın her birinde başka bir oyuncudan daha yüksek vuruş ortalamasına sahip olabilir; ancak tüm yıllar birleştirildiğinde daha düşük bir ortalamaya sahip olabilir
- Ken Ross bunu 1995 ve 1996 yıllarında Derek Jeter ile David Justice'ın vuruş ortalamalarıyla gösterdi
- 1995: Jeter
12/48,.250; Justice104/411,.253 - 1996: Jeter
183/582,.314; Justice45/140,.321 - Toplam: Jeter
195/630,.310; Justice149/551,.270
- 1995: Jeter
- Justice, iki yılın her birinde Jeter'dan daha yüksek vuruş ortalamasına sahipti; ancak iki sezon birlikte değerlendirildiğinde Jeter daha yüksek ortalamaya ulaştı
- Ross'a göre, olası oyuncu çiftleri arasında bu olgu yaklaşık yılda bir kez gözlemlenebilir
Vektörlerle oranların tersine dönmesi
- Simpson paradoksu, iki boyutlu vektör uzayı ile de açıklanabilir
- Başarı oranı
p/q, yanibaşarı/deneme, eğimip/qolan bir vektör olarak gösterilebilir - İki oran birleştirildiğinde, paralelkenar kuralına göre vektör toplamı olarak ifade edilir ve bu toplamın eğimi birleşik başarı oranı olur
- Tek tek karşılaştırmalarda bir vektörün eğimi diğerinden küçük olsa bile, iki vektörün toplamının eğimi tersine daha büyük olabilir
- Böyle bir tersine dönüşün oluşması için, bir taraftaki vektörlerin bir kısmının eğimi diğer taraftaki bazı vektörlerden daha büyük olmalı; ayrıca bu vektörler genellikle daha uzun olup toplam karşılaştırmaya hakim olmalıdır
Korelasyon ve nedensel yorum
- Simpson tersine dönüşü korelasyonda da ortaya çıkabilir
- İki değişken toplamda pozitif korelasyon gösterse de, gizli bir karıştırıcı değişken hesaba katıldığında gerçekte negatif korelasyona sahip olabilir
- Ekonomi örneğinde, yalnızca toplam veriye bakıldığında talep ile fiyat arasında pozitif korelasyon varmış gibi görünür; ancak zaman değişkeni hesaba katıldığında, birden fazla dönemde beklenen negatif korelasyon ortaya çıkar
- Zamanın etkisi göz ardı edilip yalnızca talep ve fiyat çizildiğinde korelasyon pozitife döner
- Simpson paradoksu, işaret tersine dönüşünün imkânsız olduğu yönündeki sezginin klasik mantık ya da olasılık hesabından tek başına çıkmadığını gösterir
- Savage'ın sure-thing principle ilkesinin sınırlı bir biçimi Pearl'ün do-calculus yaklaşımından türetilebilir
- Eğer herhangi bir eylem A, her alt grupta olay B'nin olasılığını artırıyorsa, bu eylem alt grup dağılımını değiştirmediği sürece toplam grupta da B'nin olasılığını artırmalıdır
- Pavlides ve Perlman, eşit dağılımlı rastgele
2 × 2 × 2tabloda Simpson paradoksunun tam olarak1/60olasılıkla ortaya çıktığını gösteren bir ispat sundu - Kock'un çalışmasında, iki yordayıcı değişken ve bir ölçüt değişken içeren yol modelinde Simpson paradoksunun rastgele oluşma olasılığı yaklaşık
12.8%; yani 8 yol modelinde 1 kereden biraz daha fazladır
Simpson'ın ikinci paradoksu ve nedensel grafikler
- Simpson'ın 1951 tarihli makalesi, daha az bilinen ikinci bir paradoksu da içerir
- Bu durumda, böbrek taşı örneğindeki gibi ayrılmış veriler için her zaman makul bir yorum bulunmaz; bazen doğru yorum birleştirilmiş veride olabilir
- Ayrılmış veri ile birleştirilmiş veri arasında hangisinin kullanılacağı, veriyi üreten süreçe bağlıdır
- Dolayısıyla yalnızca tabloyu gözlemleyerek doğru yorumu her zaman belirlemek mümkün değildir
- Judea Pearl, ayrılmış verinin
XileYdeğişkenleri arasındaki doğru nedensel ilişkiyi gösterebilmesi için, ayıran değişkenin back-door criterion adlı grafik koşulunu sağlaması gerektiğini gösterdiXileYarasındaki tüm sahte yolları kapatmalıdır- Ayıran değişkenlerin hiçbiri
X'in etkisi altında olmamalıdır
- Bu ölçüt, Simpson'ın ikinci paradoksu için algoritmik bir çözüm sağlar ve aynı veriyle uyumlu farklı grafiklerin farklı back-door criterion gerektirebileceğini açıklar
- Eğer ortak değişken kümesi
Z, back-door criterion koşulunu sağlıyorsa, ayarlama formülüX'inYüzerindeki doğru nedensel etkisini verir - Böyle bir küme yoksa, Pearl'ün do-calculus yöntemiyle nedensel etkiyi tahmin etmek için başka yollar bulunabilir
- do-calculus'un tamlığı, Simpson paradoksu için tam bir çözüm olarak görülebilir
Eleştiriler ve pratik sonuçlar
- Eleştirilerden biri, Simpson paradoksunun gerçek bir paradokstan çok, karıştırıcı değişkenlerin yeterince hesaba katılmaması ya da değişkenler arasındaki nedensel ilişkinin göz önüne alınmamasının sonucu olduğudur
- Paradoksun kendisine odaklanmak, daha önemli istatistiksel sorunlardan dikkati uzaklaştırabilir
- Bir başka eleştiri ise, görünürdeki Simpson paradoksunun veriyi katmanlara ayırma ya da gruplama biçiminin sonucu olabileceğidir
- Veri farklı biçimde katmanlandırılırsa ya da başka karıştırıcı değişkenler hesaba katılırsa, olgu ortadan kalkabilir veya tersine dönebilir
- Simpson'ın örneği, alt gruplardaki yüksek oranların birleştirildiğinde basit ortalama vermemesi şeklindeki noncollapsibility olgusunu vurgular
- Buna rağmen Simpson paradoksu, istatistik ve veri analizinde araştırılmaya ve tartışılmaya devam eden bir konudur; basit veri yorumunun tuzaklarını gösteren bir örnek olarak önemini korur
1 yorum
Hacker News yorumları
Uzun zaman önce The Hut Group’ta veri analisti olarak çalışırken bunu bizzat yaşadım.
Pazarlama ekibi, yıl boyunca pazarlama giderlerinin gelire oranının tüm ürün gruplarında düştüğünü söylüyordu; ancak yıl sonunda yönetim, toplam satış maliyetinin %10’dan neredeyse %20’ye, yani iki kata yakın arttığını görünce şaşırdı.
Finans ekibinin isteği üzerine kontrol ettiğimde pazarlama ekibinin rakamları doğruydu; oyun, güzellik ve beslenme ürün gruplarındaki pazarlama gider oranları sırasıyla yaklaşık %15→%10, %30→%25, %50→%30 düşmüştü.
Ancak ürün grubu karması ciddi biçimde değişmişti: Beslenme ürün grubu toplam gelirin yaklaşık %10’undan neredeyse %50’sine çıkmıştı ve maliyet oranı en yüksek kategori büyüdüğü için toplam pazarlama gider oranı yükselmişti.
Sonuçta her kategoride satış verimliliği artmış, ama genel metrik kötüleşmişti; muhasebecilere Yule-Simpson paradoksunu açıklamak gibi eğlenceli bir görev bana düştü.
Google’dan bilinen bir örnekte, bir ağ mühendisi Endonezya gibi bir yere gidip hizmetin yavaş olduğunu görünce sormuş; herkes “hep böyleydi” diye yanıtlamış.
Yerel mobil ağlar yavaştı ve adadan dışarı çıkan fiber bağlantı doygundu; merkeze dönünce payload boyutunu küçülten bir optimizasyon yaptı, indirme boyutunu yarıya indirdi ve dağıttı, ama ortalama ve p95 gecikme süresi tersine arttı.
Nesnel olarak iyi olan bir değişikliğin neden kötü göründüğünün sebebi, hizmeti büyük ölçüde iyileşen kullanıcıların onu çok daha fazla kullanmaya başlamasıydı.
Bant genişliği yükü azalmış olsa da veri merkezine kadar olan ağ gecikmesi ABD’deki kullanıcılara göre daha yüksekti; “daha az berbat” hale gelen hizmeti daha fazla kullanmaları toplam metrikleri yukarı çekti.
İstek telemetrisinin yalnızca belirli bir dilimine bakıp tüm sistemi yeterince modellememek ya da yanlış değişkenleri kontrol ederek hatalı sonuçlara varmak sık görülür.
En kötüsü, Simpson paradoksunun yarattığı döngüsel suç atmadır: Uygulama geliştiricileri sunucu regresyonunu suçlar, sunucu ekibi uygulama ekibini suçlar; bazen de sunucu ve uygulama sürüm takvimleri tesadüfen fazla iyi örtüştüğü için böyle olur.
Iris gibi “klasik” oyuncak veri kümelerinde bile görülebilir: https://github.com/DataForScience/Causality/blob/master/1.2%...
Bu, pazarlama ekibinin aşırı optimizasyon yapıp beslenme dışı ürünlere talebi azalttığı anlamına mı geliyor; beslenme ürünlerini ürün grubundan çıkarırsak hem tekil ürünlerin hem de genel verimliliğin iyileşeceği anlamına mı geliyor; yoksa bu metriklerin yetersiz olduğu ve oranlar yerine toplam değişim miktarına bakmak gerektiği anlamına mı geliyor, kestiremiyorum.
İstatistik eğitimi almadım ama biyolojik etkileri modelleyen alanlarda bu tür sorunlara genelde böyle yaklaşılır.
Örnek: https://www.pymc.io/projects/examples/en/latest/generalized_...
Yine de pazarlama, nesnellikten çok pozitifliği seçme eğilimindedir ve kendi yaptıklarını destekleyen olguları seçmeye meyleder.
Jordan Ellenberg’den yapılan alıntı gerçekten çok iyi.
Buna paradoks denmesinin nedeni, ilk sezgiye aykırı olması ve çelişki gibi görünmesidir; mutlaka gerçekten çelişkili olması gerektiği için değil.
Hatta adlandırılmış paradoksların çoğunun gerçek çelişki olmadığı ortaya çıkma olasılığı yüksektir; çünkü yanlış görünen ve gerçekten de yanlış olan şeyler ad konacak kadar ilginç olmaz.
Kuantum mekaniğinden söz ediyor gibi ama ne kuantum mekaniğini ne de özgür iradeyi doğru temsil ediyor gibi; ayrıca Epikürcülerin kuantum mekaniğini bilmiş olması da mümkün değil.
Bunları birlikte ele alan ve çoklu olasılık düşüncesiyle nasıl ilişkili olduklarını gösteren iyi bir giriş kaynağı olsa güzel olurdu.
Öncelikle ışığın kütlesi tam olarak 0’dır ve yalnızca kütlesiz parçacıklar tam olarak ışık hızında, üstelik sadece o hızda hareket edebilir.
İkincisi, ışığın dalga-parçacık ikiliğini atlıyor; bu da Simpson paradoksunu “aynı verileri düşünmenin iki farklı yolu” diye açıklamaya benzer ve bu olmadan ne ışığı ne de gözlemlediğiniz istatistiksel sistemin davranışını tam olarak anlayabilirsiniz.
Uzun zaman önce giriş düzeyinde istatistik öğretirken Simpson paradoksuna iyi bir örnek olarak konut fiyatlarını kullanmıştım
Öğrencilerden hesaplama alıştırması için gerçek verileri incelemelerini istemiştim; o zamanki veri 2008 ABD konut satış verileriydi, yani artık yaklaşık 15 yıllık
O dönemde müstakil evlerin ortalama satış fiyatı, merkezi kliması olmayan evlerde merkezi kliması olan evlere göre daha yüksekti
Ancak eyaletlere göre ayırınca her eyalette ilişki tersine dönüyor, merkezi kliması olan evler olmayanlardan daha pahalı çıkıyordu
Ulusal ortalamada merkezi kliması olmayan evlerin fiyatının yüksek görünmesinin başlıca nedeni, Kaliforniya’daki pahalı konutların çoğunda merkezi klima olmamasıydı
Bu durumda ulusal ortalama pek önemli değildir; önemli olan benim evim, benim sokağım, benim bölgemdir
Buna karşılık pazarlama gibi durumlarda ilk önemli istatistik toplam net kârdır; ardından etkenlerin içine girerken pazarlama maliyetinden önce iş hacmindeki paya bakılır
Ağ örneğinde hedef hız ya da gecikme değil, kullanım/iş hacmidir
En baştan yanlış istatistiği seçerseniz yanlış sonuca varırsınız
https://en.wikipedia.org/wiki/Berkson%27s_paradox da bilinmeye değer
Popülasyon önyargılı bir şekilde oluşturulduğunda hatanın içeri sızabileceği pek çok yol vardır
Bu iki etki, “veri odaklı” süreçlerden çıkan aptalca kararların önemli bir kısmını açıklar
Verinin gerçeğin tam tersini ima etmesi yaygın bir durumdur
Fiilen işleyen nedensel etkenleri anlamazsanız, veri ne kadar çok olursa olsun ve istatistiği kaç farklı şekilde parçalara ayırırsanız ayırın bilginiz çok sınırlı kalır
Örneğin Simpson paradoksu yazısındaki UC Berkeley örneğinde veri, kabul sürecini daha adil hale getirmek için insanların farklı ne yapması gerektiğini gösteren “önyargı” hakkında pek az işe yarar bilgi verir
Kabul sürecinin esas olarak bölüm düzeyinde mi yoksa üniversite geneli düzeyinde mi kontrol edildiği gibi bir bağlam olmadan, olası önyargıyı nerede aramanız gerektiğini bile bilemezsiniz
Wiki sayfasındaki kısa animasyon, bir görselin bin söze bedel olduğunu gösteren harika bir örnek
[https://en.wikipedia.org/wiki/File:Simpsons_paradox_-_animat...](https://en.wikipedia.org/wiki/File:Simpsons_paradox_-_animation.gif)
Lord paradoksu, Simpson paradoksuyla yakından ilişkilidir ve görsel olarak biraz daha kolay anlaşılır: https://repository-images.githubusercontent.com/597130499/46...
Yatay eksenin ilaç dozu, dikey eksenin de uyku süresi gibi bir tepki olduğunu hayal edebilirsiniz
Lisa’nın tepkisine bakınca doz arttıkça uykunun azaldığı açıkça görülür; Bart için de aynısı geçerlidir
Ama tüm veri üzerinde doğrusal regresyon yapınca kırmızı çizgide olduğu gibi doz arttıkça uykunun arttığı sonucu çıkar; bu da yanlış bir sonuçtur
Yakın zamana kadar Simpson paradoksunun nedensel çıkarım dersi olduğunu bilmiyordum
Doğru paradigmayı uygulayınca paradoks ortadan kalkıyor
Daha iyi bir yazı burada: https://plato.stanford.edu/entries/paradox-simpson/
İlk gördüğümde, The Simpsons’ta Mr. Burns’ün “birbirini dengeleyecek kadar inanılmaz çeşitlilikte hastalığa” sahip olduğu bölümden bahsedildiğini sanmıştım
Açıklaması burada: https://simpsons.fandom.com/wiki/Three_Stooges_Syndrome
Benzerlik şaşırtıcı, ama 90’ların sonlarındaki The Simpsons yazar ekibinin dehası düşünülürse bunun kasıtlı olma ihtimali yüksek
https://en.wikipedia.org/wiki/Hickam's_dictum
[0] https://www.independent.co.uk/arts-entertainment/tv/news/the...
UC Berkeley’ye kabulde cinsiyet yanlılığı varmış gibi görünen örneği okurken şöyle bir şey gördüm:
“Kadınlar, kabul oranı daha düşük olan daha rekabetçi bölümlere başvurma eğilimindeydi; nitelikli adaylar arasında da durum böyleydi. Örneğin İngilizce bölümü böyleydi. Buna karşılık erkekler, kabul oranı daha yüksek olan daha az rekabetçi bölümlere başvurma eğilimindeydi; örneğin mühendislik bölümü böyleydi.”
Beklediğimin tersi olduğu için şaşırdım.
İngilizce ve genel olarak sanat bölümlerine girmenin STEM’e göre çok daha kolay olacağını sanıyordum; Avustralya’da öyle hissediliyor.
Burada “girmek” derken sektöre girmeyi değil, üniversiteye kabulü kastediyorum.
Bu veriler lisansüstü program başvurularına ait.
Mühendislikte çok daha fazla fon var ve mühendislik doktorasına giden öğrencilerin önemli bir kısmı öğrenim ücretini kendi cebinden ödemiyor.
Beşerî bilimlerde fon çok az ve çoğu öğrenci beşerî bilimler doktorası için büyük para ödemek istemediğinden bölümler kontenjanı sıkı biçimde sınırlıyor.
Bu yüzden yeterince yetkinseniz mühendislik doktorasına girmek daha kolay oluyor.
Mühendislikte birlikte okuduğum bir arkadaşım hayal kırıklığına uğrayıp gazeteciliğe geçmek istedi ve üniversitenin Communications programına bölüm değiştirme başvurusu yaptı; yılda 10 kişiden az aldıkları için rekabet çok yoğundu ve sonunda kabul edilmedi.
Ama rekabetçiliğe kabul edilen sayısı / başvuran sayısı şeklindeki kabul oranı olarak da bakılabilir.
Çok popüler bir bölümde yüksek ATAR’lı başvuranların oranı orantısız biçimde düşükse, bu iki göstergenin aynı anda geçerli olabileceğini düşünüyorum.
Burada baktığımız şeyin kabul oranı = kabul edilen sayısı / başvuran sayısı olduğu ve bunun kavramsal anlamdaki genel zorlukla aynı olmadığı cevabı gibi görünüyor.
Matematik lisansüstü programına başvuranlar, yalnızca matematik lisansında iyi notlar almış ya da başka bir STEM bölümünde ciddi teorik matematik dersleri almış kişiler oluyor.
Sanat tarafı daha geniş geçmişlerden adayları çekiyor; ayrıca STEM’den başka alanlara geçenlerin de tersine göre çok daha fazla olacağını düşünüyorum.
Kısa öykünüzün harika olduğuna kendinizi inandırmak, başkaları katılmayabilecek olsa da kolaydır; ama matematik ispatınız nesnel olarak yanlışken doğru olduğuna kendinizi ikna etmek daha zordur.
Bu yüzden başvuru tarafında öz eleme daha az gerçekleşiyor ve kabul oranı düşüyor.
Mühendisliğe niteliksel olarak girmek daha zor olma eğilimindeyken, beşerî bilimler niceliksel olarak daha zor olma eğiliminde.
O görselleştirme o kadar etkiliydi ki wiki’yi okumama gerek kalmadı.
Sadece ona bakınca hemen anladım.