Her Şey Birbiriyle İlişkili (2014–23)
(gwern.net)- Sosyal bilimler ve yaşam bilimlerinde, neredeyse tüm değişkenler arasında belli bir düzeyde korelasyon bulunur
- Bu olgu basit bir tesadüf ya da istatistiksel hata değil, karmaşık biçimde iç içe geçmiş genetik ve çevresel etkenlerden kaynaklanan gerçek bir durumdur
- Örneklem büyüdükçe, anlamlı korelasyonlar değişken çiftlerinin çoğunda ortaya çıkar ve araştırmacılar tek tek korelasyonlardan çok korelasyon örüntüsünün kendisine odaklanmaya başlar
- “Crud factor”, neredeyse tüm değişken çiftlerinde küçük korelasyonların bulunduğu anlamına gelir; yalnızca rastgele bir teori ve değişken çifti seçerek bile yüksek olasılıkla anlamlı sonuç elde edilebilir
- Bu durumda geleneksel anlamlılık düzeyi (0.05) önemini yitirir ve sosyal bilimlerde istatistik yorumlanırken dikkat gerektirir
Genel Bakış ve Arka Plan
- Psikoloji ve sosyolojide “her şey bir ölçüde birbiriyle ilişkilidir” görüşü yaygın biçimde kabul görür
- Belirli özellikler çeşitli genetik ve çevresel etkenler tarafından belirlenir ve bu etkenlerin kendi aralarında da korelasyonlar bulunur
- Bu nedenle pratikte ölçülebilen neredeyse tüm değişkenler arasında bir düzeyde karşılıklı ilişki vardır
“Crud Factor” ve İstatistiksel Bulgular
- “Crud factor”, sosyal bilimlerde (ve kısmen yaşam bilimlerinde) araştırmalarda rastgele seçilmiş değişken çiftleri arasında bile her zaman küçük korelasyonların bulunması olgusunu ifade eder
- 1966'da Minnesota'daki 57.000 lise öğrencisi üzerinde yürütülen büyük ölçekli veride, aile, eğitim, hobi etkinlikleri, kariyer, din gibi çeşitli değişkenler arasındaki 105 çapraz tablo (crosstabulation) analizinin tamamı istatistiksel olarak anlamlı çıkmıştır
- Bunların %96'sında p<10⁻⁶ düzeyinde, son derece düşük olasılıkla tesadüf açıklaması dışlanmıştır
- Değişken sayısı 45'e çıkarıldığında toplam 990 kombinasyonun %92'si istatistiksel olarak anlamlı bulunmuştur
- Bir değişkenin diğer tüm değişkenlerle olan anlamlı ilişkilerinin medyanı (median) 44 değişken içinde 41'dir
Gerçek Değişkenler Arasındaki Örnekler
- MCAT puanları ile kardeş sayısı, doğum sırası, cinsiyet, meslek planı, dini tercih gibi değişkenler arasındaki ilişkilerde de yüksek istatistiksel anlamlılık bulunmuştur
- Örn: kız öğrencilerin erkeklerden daha yüksek puan alması, kardeş sayısı arttıkça puanların düşme eğilimi, ilk çocukların/tek çocukların en küçük kardeşlerden daha zeki olması, dini gruplar arasında belirgin farkların görülmesi gibi çok sayıda örnek vardır
- Temsilî 5 Protestan mezhebin her birinde de çeşitli değişkenlerle ilişkilerde yüksek anlamlılık gözlenmiştir
- Örn: tek çocukların Presbyterian olma olasılığı Baptist olmaya göre neredeyse 2 katıdır; mezheplere göre okul beğenisi ve meslek beklentilerinde farklar gibi çok sayıda korelasyon vardır
MMPI Madde Örneği
- MMPI (kişilik testi) içindeki 550 maddeden 507'si (%92), cinsiyete göre anlamlı fark göstermektedir
- Bazı maddeler belirgin eğilim farklarını açıkça açıklayabilse de, diğerlerinin nedenleri karmaşıktır ya da açıklanamaz
- Bu sonuçlar, örneklem sayısının çok büyük olduğu geniş ölçekli çalışmalarda ortaya çıktığı için istatistiksel hata (type I error) değil, gerçek bir olgudur
Sosyal Bilimlerde Korelasyon ve Teori Doğrulamanın Sınırları
- Rastgele bir teori ile rastgele bir değişken çifti birleştirilse bile, ortalama korelasyon (crud factor) düzeyi 0.30 ise pratikte yaklaşık her üç denemeden birinde anlamlı fark bulmak mümkündür
- Bu, sosyal bilimlerde genellikle anlamlı kabul edilen eşik olan (0.05)'ten çok daha sık ortaya çıkar
- Araştırmacının teorik olarak öngörmediği değişken çiftlerinde bile korelasyonlar kolayca ortaya çıktığı için, yalnızca istatistiksel anlamlılık gerçek nedenselliği desteklemek için yeterli değildir
- Karmaşık nedenler (gen/genel çevre) ve gözlemsel verilerin zenginliği, bu çok yönlü korelasyonları üretir
Pratik Sonuç
- Sosyal bilim verileri yorumlanırken ve teoriler test edilirken, ‘crud factor’ın yarattığı “sıradan ama gerçekten var olan korelasyonları” her zaman akılda tutmak gerekir
- Anlamlılık istatistiklerine (örn. p<0.05) körü körüne güvenmek yerine, değişkenler arasındaki gerçek nedensellik ve örüntülerin yorumuna daha çok odaklanan bir yaklaşım gereklidir
- Thorndike'ın “Tüm iyi şeyler birlikte gelme eğilimindedir” özdeyişinde olduğu gibi, gerçek dünyada fazlasıyla çok şey birbirine dolanmıştır
1 yorum
Hacker News görüşleri
En çok sinir bozucu bulduğum şeylerden birinden bahsediyor
İnsanlar "istatistiksel olarak anlamlı (statistically significant)" ifadesini "dikkate değer/anlamlı" demekmiş gibi yanlış anlıyor
Ölçülmüş bir fark bulunduğunda, istatistiğin bunun 'önemli' olduğunu söylediğini düşünüyorlar; ama bu yanlış bir yaklaşım
Aslında anlamlılık testi yalnızca gözlenen farkın 'iyi bir ölçüm' olma olasılığı hakkında bilgi verir
Yani belli bir güven düzeyiyle "fark gerçekten var" denebileceğini söyler
Ölçülen farkın değer yargısı açısından da 'anlamlı' olup olmadığına ayrıca karar vermek gerekir; bu da çoğunlukla ölçülen farkın büyüklüğüne bağlıdır
Çok bariz görünüyor ama endüstride ve birçok bilim alanında son derece yaygın bir hata
Örnek olarak: "Bu önlem [metrik] üzerinde p<0.001 düzeyinde bir değişim yarattı, ne kadar da anlamlı! Değişimin büyüklüğü 0.000001%."
Böyle bir durumda bunun gerçekten 'anlamlı' olup olmadığını yeniden düşünmek gerekir
Yine de örnek hakkında biraz ekleme yapmak istiyorum
Çok küçük bir p-value her zaman 'anlamlı' bir etki demek değildir, ama etki büyüklüğünden de tamamen bağımsız değildir
p-value'nin kendisi (etki büyüklüğü)/(gürültü/örneklem sayısının karekökü) olarak ortaya çıkar
Yani daha büyük bir test istatistiği daha küçük bir p-value anlamına gelir
Çok küçük p-value'ler genelde büyük etkilerden ya da aşırı büyük örneklem büyüklüklerinden (n) gelir
Bu yüzden ancak son derece büyük N olduğunda çok küçük bir etkiyle bile p<0.001 çıkabilir
Ama gerçek araştırmalarda, p<0.001 çıktığında örneklem büyüklüğü kısıtları nedeniyle etkinin de gerçekten büyük olma ihtimali yüksektir
İstatistiksel anlamlılığın sonuçların en az ilginç kısmı olduğunu söyleyerek, sonuçların etki büyüklüğüyle açıklanması gerektiğini vurguluyor
Sadece bir müdahalenin etkisi var mı sorusuna değil, 'ne kadar' etkisi olduğuna odaklanmak gerekir
– Gene V. Glass
Ama buna basit bir 'pet peeve' demektense, istatistik konusundaki patolojik bir yanlış anlama olarak görüyorum
Bu tür yanlış anlamalar, özellikle popüler sağlık/wellness medyasında hatalı sonuçlara yol açabiliyor
Sağlık ve beslenme araştırmaları istatistiksel olarak anlamlı diye sunuluyor, ama gerçek etki çoğu zaman çok küçük oluyor
Bu yüzden insanlar sırf bu araştırma sonuçlarına inanıp hayatlarını ve alışkanlıklarını büyük ölçüde değiştirebiliyor, oysa bunun için aslında bir dayanak yok
Daha kötüsü, önceden doğrulanacak bir hipotez belirlemeden geçmiş verileri didikleyip yalnızca 'istatistiksel olarak anlamlı' korelasyonları seçmektir
Burada anlamlılığın, olasılığı güncelleme biçimi olarak düşünülmesi gerektiğini öne sürüyor
Tek bir testin (veya çalışmanın) olasılığı X% kadar güncellediğini, bu yüzden 'anlamlı' bir yargıya varmak için çoğu zaman daha fazla deney gerektiğini savunuyor
Bu gerçekten çok tipik bir "rationalist" tarzı yazı
İstatistiksel olgular hakkında doğru gözlemler serpiştirilmiş, ama bir köşede garip siyasi ifadeler de var
Örnek cümle: "Kuramsal ve ampirik değerlendirmeler, 'algoritmik önyargı' ya da 'korunan gruplar' hakkında nedensel çıkarım şüpheleri doğurur: dışlamamak tercih edilir olmayabilir ve hatta imkansız ya da anlamsız olabilir"
Fazlasıyla garip bir cümle; hiçbir bağlam açıklaması olmadan birden ortaya çıkıyor
Sanki gizli örtük değişkenler suçluluğu belirlediği için black box (şartlı tahliye modeli) içinde "is_black" kullanılabileceğini savunuyormuş gibi geliyor; bence bu saçma
Aslında modelin nasıl çalıştığına dair ilgi, istatistiksel yorumdan daha derin bir mesele
Model seçimi sürecinde serbestlik derecesi fazla olursa, istenen her sonucu verecek şekilde tasarlamak mümkün olur
Örneğin şartlı tahliye modeline "likes_hiphop" gibi bir değişken girdiyse, bunun neden orada olduğunu ve gerçekten 'en iyi model' olup olmadığını kontrol etmek gerekir
Sonuçta toplumsal olgularda değişkenler arasında çok sayıda korelasyon bulunması, her modelin en azından kısmen siyasi bir ürün olabileceğini hatırlatıyor
"Kuramsal ve ampirik değerlendirmeler" ifadesi yukarıdaki tartışmaya atıfta bulunuyor
Yani her şey birbiriyle ilişkili olduğu için, bir korelasyon görmek bunun özsel bir anlam taşıdığından emin olmak için yeterli değil
Sosyal bilimciler karmaşık modeller kurup birçok değişkeni gözlemleyerek hipotezlerini destekleyen korelasyonlar buluyor, ama bu korelasyonlar her yerde bulunabildiğinden gerçek kanıt olarak zayıf kalıyor
Ayrıca modelin gerçekten "is_black" gibi bir değişken kullandığını da kesin olarak söyleyemeyiz
Sırf bir black box model siyahlar için olumsuz sonuçlar üretiyor diye, içinde gerçekten 'is_black' değişkeni varmış gibi davranılamaz
Özellikle genetik, IQ gibi konularda zayıf araştırma ve verilerle sonuca vardıkları çok görülüyor
Sosyal bilim modellemesinde kuramsal arka planın kesinlikle gerekli olduğunu düşünüyorum, ama TFA'nın aynı tutumu belli siyasi meselelerde de alıp almayacağını merak ediyorum
Örneğin azınlık grupları için kurulmuş bir organizasyonun işe alımında "is_white" değişkeni kullanılsa da aynı şeyi söyler miydi, merak ediyorum
Zeki görünme havası verip temelsiz tahminleri gerçekmiş gibi ortaya atma tarzı var
Özellikle scaling/AI topluluğunun gwern'i bu kadar sevmesi de ilginç
Yazının içinde The Hitchhiker's Guide to the Galaxy alıntısına değinilmemesine üzüldüm
"Evrendeki bütün madde bir şekilde birbirini etkilediği için teorik olarak yalnızca bir parça peri keki görerek tüm evreni, güneşleri, gezegenleri, yörüngeleri ve toplumsal-ekonomik tarihi çıkarsamak mümkündür" fikrini hatırlatıyor
Farklı T_zero düzenleri T_current'a (mevcut durum) bağlanır ve aynı fiziksel yapı olsa bile ondan önceki "evren-kek" durumu farklı olabilir
Ayrıca bu, tamamen deterministik bir sistem varsayımı olur
İlgili açıklama bağlantısı
Eskiden insanlar istatistik olmadan da dünyanın gerçeklerini ortaya çıkarıyordu
İstatistik ortaya çıktıktan sonra yararlı bir araç haline geldi, ama bu yöntem aşırı kullanılınca aptallığın zekaymış gibi paketlenmesi sorunu da arttı
Bu yüzden bu 'korelasyon gürültüsü' gözlemini sorgulamakta değer var
Her şeyden önce mantık ve alana dair temel bilgi gelmeli
Sadece sayıları saymanın yanlış anlamalara yol açabileceğini düşünüyorum
Yalnızca mantıkla yeni bilgi öğrenemezsiniz
Mantık sadece zaten bildiğinizi yeniden ifade eder; temel bilgi ise deneyim ya da deney gerektirir
Gerçek dünyaya dair gözlemler her zaman kusurlu olduğu için istatistiksel yorum zorunludur
İstatistikten önce ya (a) zenginler oturup dünya hakkında derin derin düşünürdü, ya (b) karizmatik biri kendi istediği gibi vaaz verirdi, ya da (c) zeki biri bazen doğruyu tuttururdu
İstatistik sayesinde artık herkes sonuçlara dayanarak kimin haklı kimin haksız olduğunu görebiliyor; bu artık sadece ayrıcalıklıların alanı değil
Elbette istatistiksel çıkarımın avantajlarından biri 'intercomparison'dır; yani sürecin kendisini anlamadan bile farklar üzerinden sonuca varabilmektir
Ama tam da bu yüzden sonuçları çarpıtmak ya da yanlış yorumlamak da kolaylaşır
İlgili video
Konudan bağımsız ama bu blogun gerçekten çok güzel olduğunu düşünüyorum
Drop cap, ekranın sağındaki satır içi yorumlar, ilerleme çubuğu gibi detaylarda projeye duyulan sevgi hissediliyor
Bu gerçekten çok kapsamlı bir yazı
Ben de böyle ciddi bir yazı yazabilmeyi isterdim
Yazarın diğer yazılarına bakınca da gerçekten makine gibi durmadan üretiyor gibi görünüyor
Tabii birilerinin maddi destek sağlaması da daha iyi olur
Bu tartışmalar onlarca yıldır var
Eleştirel bakışı kaybetmemek önemli
Ama işimde bu mantıkla ne kadar çok boğuşursam, aslında o kadar az yararlı ve daha boş hissettiriyor
'crud', istatistiksel kozmik mikrodalga arka planı gibi örüntülerin içinde bulunur; onu anlamsız diye kenara atmak yerine bazen önemli olabileceğini de kabul etmek gerekir
Değişkenler arasındaki ilişkilerin kolay açıklanamadığı durumlar var; bazen de hangi gizli karıştırıcı değişkenleri kontrol etmek gerektiğini anlamanın anahtarı bunlar oluyor
Her şey her zaman korelasyonlu değildir; gerçekten ilişkinin 0 olduğu durumlar da vardır
'0 olmayan anlamlı etki büyüklüğü'nün ne olduğuna karar vermek de oldukça keyfi ve özneldir
Bu olguya bakmak için daha üretken bir çerçeve olması gerektiğini düşünüyorum
Correlated. Başka örnekler? <i>Everything Is Correlated</i> - önceki tartışma
Deneysel bilimin gözlemsel araştırmadan farklı olmasının nedeni bu
İstatistiksel analiz, bir hipoteze daha fazla güvenmek için sadece gerekçe sağlar; bunun gerçek deneysel yaklaşımla desteklenmesi gerekir
Blogdaki örneklerin çoğu, tıp, sosyal ve davranış bilimleri gibi iyi kontrol edilmiş deneylerin zor olduğu ya da örneklem yetersizliği nedeniyle nedenselliğin açıkça kurulamadığı alanlardan geliyor
Elbette tasarımdaki başarısızlığı analizle düzeltemezsiniz (You can’t fix by analysis what you bungled by design - kaynak), ama en azından önyargıyı azaltma yönünde bir adım
Yazıdaki şu alıntı hakkında: “Bu, anlamlılık testinin anlamını belirsizleştirir; çünkü bu, a priori (önsel olarak) yanlış olduğunu bildiğimiz bir senaryoda verinin olasılığını çok hassas biçimde hesaplamaktan ibarettir”
Anlamlı sonuçlara ulaşırken modellerin basitleştirilmiş olması ve teknik olarak yanlış olduklarının kabul edilmesi bana oldukça yaygın geliyor
Örneğin Newton yasaları ya da elektrik devresi analizi de basitleştirme sayesinde mümkün; bankacılıkta da bir yılı 360 gün sayma uygulaması vardı
Gerçekte işe yarıyorsa benim kaçırdığım şey ne, merak ediyorum
Araştırmayı hakikati arama faaliyeti olarak görüyorsanız bu ciddi bir ikilem
(1 aydan kısa dönemlerde ödeme tutarının hesaplanması gibi)
Başka bir deyişle Einstein, Newton'un daha hassas bir sürümüdür
Tıpkı özel göreliliğin düşük hız limitinde Newton mekaniğine yaklaşması gibi
Aslında istatistikte 'yanlış' diye bir şey yoktur; bunu "x% olasılıkla doğru değil" şeklinde yorumlamak gerekir
x'i düşürmek istiyorsanız 'daha çok istatistik' yapmanız gerekir ve örneklem sayısını (N) artırmak en kesin yoldur
Yazının tamamen yanlış yaptığı nokta, N yeterince büyük olduğunda doğru/yanlışı mutlak şeylermiş gibi ele alabilmenizdir
Çünkü o zaman olasılık, 'evren bir milyon kez yeniden yaratılsa belki bir kez olur' seviyesine kadar iner
Ama pratikte sosyal bilimler, tıp, ekonomi vb. alanların çoğu çok küçük N ile çalışır; bu yüzden istatistik sorunları kaçınılmaz biçimde büyüktür
Bu yüzden insanlar 'daha çok istatistik' yapmaya çalışır, ama gerçekte N'yi artıramadıkları için sayılarla oynar ya da N'yi azıcık artırıp sorunu çözdüklerini iddia ederler