Marshmallow testi, yetişkinlik işlevlerini öngörmede güvenilir değil

Gecikmiş haz ve yetişkinlik sonuçları: Marshmallow testi yetişkinlik işlevlerini güvenilir biçimde öngörmüyor

• Araştırmaya genel bakış
  • Bu çalışma, gecikmiş hazzın uzun vadeli öngörü geçerliliğini incelemek için Watts et al. (2018) tarafından kullanılan analiz yaklaşımını genişletmektedir.
  • Katılımcılar (n = 702; %83 beyaz, %46 erkek) marshmallow testini 54. ayda (1995-1996) tamamladı ve anketi 26 yaşında (2017-2018) doldurdu.
  • Ön kayıtlı analizler kullanılarak, marshmallow testi performansının yetişkinlikteki başarıyı, sağlığı veya davranışı güçlü biçimde öngörmediği bulundu.
  • Eğitim başarısı (r = .17) ve beden kitle indeksi (r = - .17) ile zayıf korelasyonlar bulundu, ancak regresyonla düzeltilmiş katsayıların neredeyse tamamı anlamlı değildi.
  • Gecikmiş haz ile sosyoekonomik statü veya cinsiyet arasında belirgin bir düzenleyici örüntü bulunmadı.
  • Sonuçlar, marshmallow testi performansının yetişkinlik sonuçlarını güvenilir biçimde öngörmediğini göstermektedir.
  • Gecikmiş haz becerisinin öngörü ve yapı geçerliliği tartışılmaktadır.

Veri kullanılabilirliği beyanı

• Bu çalışma Open Science Framework'te (osf.io/67XFN) önceden kaydedildi.
• Bu çalışmada kullanılan veriler (adult wave SECCYD) kamuya açık olmadığından, analiz sözdizimi sağlanmaktadır.
• Temel değişkenlerin korelasyon matrisi ve betimsel istatistikleri sunulmaktadır.
• SECCYD örnekleminin önceki veri toplama dalgaları Inter-University Consortium for Political and Social Research'de (icpsr.umich.edu/web/ICPSR/series/233) erişilebilir durumdadır.

GN⁺ özeti

• Bu çalışma, marshmallow testinin yetişkinlikteki başarıyı, sağlığı ve davranışı öngörmede güvenilir olmadığını gösteriyor.
• Eğitim başarısı ve beden kitle indeksiyle zayıf korelasyonlar var, ancak regresyonla düzeltilmiş katsayıların çoğu anlamlı değil.
• Gecikmiş haz becerisinin öngörü ve yapı geçerliliğine ilişkin bir tartışma içeriyor.
• Bu çalışma, gecikmiş haz testinin uzun vadeli geçerliliğine dair mevcut inançları yeniden değerlendirmek için yararlı.
• Benzer kapsamda başka bir çalışma olarak Moffitt et al. (2011) öneriliyor.

[GN⁺]

Hacker News yorumları

• Özgün araştırmanın bulguları, daha büyük ölçekli 2018 çalışmasında sorgulanmıştı. Özgün araştırma 90 öğrenciyle yapılmıştı; takip çalışması ise 900 kişiyi kapsadı ve aynı korelasyonu buldu, ancak hane geliri kontrol edildiğinde bunun büyük ölçüde ortadan kalktığı söylendi.
  Doğal sonuç, hane gelirinin hem hazzı erteleme becerisinin hem de akademik başarının bir yordayıcısı olduğudur. Yoksul bir ailede büyürseniz maddi kaynaklara erişim daha az istikrarlı ve öngörülebilir olur; bu yüzden gelecekteki daha büyük bir ödül yerine eldeki fırsatı değerlendirmek rasyonel olabilir ve akademik destek de eksik olabilir. Bu yeni çalışma ise daha da ileri giderek korelasyonun kendisinin de zayıf olduğunu düşünüyor.
  [0] Watts, T. W., Duncan, G. J., & Quan, H. (2018). Revisiting the Marshmallow Test: A Conceptual Replication Investigating Links Between Early Delay of Gratification and Later Outcomes. Psychological Science, 29(7), 1159-1177. https://doi.org/10.1177/0956797618761661

  • Hane geliri pek çok şeyin yordayıcısıdır. Posta koduyla güçlü biçimde koreledir ve neredeyse aynı şekilde çalışır; buradan ırkı ya da siyasi eğilimi bile oldukça iyi tahmin edebilirsiniz.
    Pek çok kişi, açık ırk verilerini çıkarınca modelden ırkın kaybolduğunu safça düşünür; oysa gerçekte dolaylı olarak kalır. Bu yalnızca ırk ya da siyaset için değil, birçok faktör için de böyledir; bu yüzden nedensel istatistik çok daha farklı ve zor bir alan hâline gelir. Burada yordayıcı, neden anlamına değil korelasyon anlamına geliyor; ama bu kelime kafa karıştırdığı için pek hoşuma gitmiyor.
  • Çocukları bilmem ama yoksul yetişkinlerin dürtü kontrolünde daha kötü olması mantıklı. Daha çok kaygıları, bekleyecek daha az şeyleri var; 8 saat değil 12 saat çalışıyor da olabilirler.
    Aşırı çalışan zenginlerin de çok kötü alışkanlıkları vardır, ama başarılı bir kariyerleri olduğu için bunlar başa çıkma mekanizması gibi ele alınır ve hayatlarının bir parçası olarak ayrıştırılır. Bu tür araştırmalar sonunda, araştırmacılarla üst-orta sınıf nüfusun örtüşmesi nedeniyle o sınıfın konumunu rasyonalize edecek şekilde ortaya çıkıyorsa, bu yalnızca sinizmimi haklı çıkarır.
  • Hane geliri kontrol edilince korelasyonun büyük kısmının ortadan kalkması tek başına pek bir şeyi kanıtlamaz. Uzun vadeli ödüllere yönelik tutumların, aile içinde paylaşılan özgül kültürel faktörlerden etkilenmesi olasıdır; bu faktör hem geliri hem de akademik başarıyı etkileyebilir.
    Sonuca varmak için gelir farklarının tamamen dışsal olduğu ve paylaşılan faktörlerden kaynaklanmadığı bir doğal deney bulmak gerekir.
  • Tablo 3’te beyaz olup olmamak, 7 dakikadan fazla bekleyebilme açısından çok anlamlı bir yordayıcı (p=0.007); ancak Tablo 7’de ırk kalemlerinde beyaz hiç raporlanmamış. Beyaz çocuklar arasındaki farkların sosyoekonomik statü ve diğer ortak değişkenlerle tamamen açıklanıp açıklanmadığını merak ediyorum.
    Tersine, siyah olup olmamanın diğer ortak değişkenlerle açıklanmayan bir etkisi olduğu anlamına geliyorsa, bu epey tartışmalı olur.
  • Bu o kadar bariz bir sonuç değil. Örneğin öz denetimi etkileyen genetik özellikler de olabilir.

• Bu deneyin çeşitli ayrıntılarına baktıkça sosyal bilimlere olan güvenim ve ilgim büyük ölçüde azaldı. Nicel biyoloji eğitimi almış biri olarak böyle bir çalışmaya baktığımda, araştırmacının hipotezin doğru olduğu sonucuna yanlış biçimde varmasına yol açabilecek uzun bir etken listesi görüyorum.
  Bu örnekte araştırmacının yüksek kaliteli araştırma yapmaya yeterince ilgi duymadığı; ahlaki inançlardan ya da değer yargılarından yola çıkıp deneyi yürüttüğü, ardından sonuçları kendi “hipotezini” destekleyecek şekilde yorumladığı izlenimi doğuyor. Sosyal bilimin doğası gereği gerçekten dürüst bir deney yapmak çok zordur.

  • Tam da bu nedenle çoğu sosyal “bilim” hakkında 100 yılı aşkın süredir yazılmış geniş ve kapsamlı eleştirileri okuyabilirsiniz. Pek çok kişi, fizik ve kimya gibi sert bilimler ile sosyal bilimler ve biyoloji/tıbbın çeşitli alt alanları gibi yumuşak bilimler arasında kategorik bir fark olduğu öğretilerek büyüdü.
    Ancak bu ayrım Zeitgeist’tan büyük ölçüde silindi ve artık pek çok kişi “bilimsel dergide” yayımlanan her şeyi sağlam kabul ediyor. Bu, halkın bilim okuryazarlığında büyük bir gerileme ve insanların gerçek sert bilimlerin sonuçlarından bile giderek şüphe duyması için zemin hazırlıyor.
  • Psikoloji deneylerinde şeytan her zaman ayrıntılarda gibi görünüyor. Deneyi yapan kişi çocuğa ince sinyaller vermiş olabilir; yapılan şey de çocuğun bu sinyalleri ne kadar iyi okuyabildiğini test etmekten ibaret olabilir.
    Çocuğa önerilen “anlaşmanın” tam ifadesi neydi, ifade değişirse sonuçlar da değişir mi, gıda kıtlığı olan bir dönem miydi yoksa bolluk dönemi mi, o dönemde çocuğun “nasıl davranması gerektiğine” ilişkin kültürel normlar nelerdi — bunların hepsi etkili olabilir. Çocukların ortalama yaşı 6 ay daha büyük ya da küçük olsa bile sonuç değişebilir; test yerinin suyu, havası, boyası bile ilgili olabilir.
    Bu tür potansiyel karıştırıcı etkenler karşısında, elektronlara yönelik fizik çarpışma deneylerinden daha fazla istatistik ve kontrol gerekiyor gibi görünüyor. Oysa fizikçiler bile basit ve tekrarlanabilir ortamlarda keşif ölçütü olarak katı 5 sigma standardını koydu; 3 sigma aykırı değerler gelir geçer. Psikolojide böyle bir standardı gerçekçi olarak hayal etmek zor olduğundan, güvenilir bir ampirik bilim olmasının zor olduğunu düşünüyorum.
  • Bu spesifik deney hakkında hem psikologların hem de sosyologların yıllardır yazdığı eleştirileri okudum. İnternette kendini “havalı nerd” sanıp her konuda uzman kesilen insanlar arasında popülerdi ancak.
    Gerçek bilim insanlarının daha sıkıcı yazılarını okursanız, yıllardır itiraz ettiklerini görürsünüz.
  • Hatta Dunning-Kruger etkisi bile istatistiğin kötüye kullanımıdır. Rastgele oluşturulmuş örneklemlerde de bu etki ortaya çıkar; çünkü verilerde taban ve tavan vardır.
    Puan düşükse daha düşük tahmin etme alanı sınırlı olduğundan kişinin kendi becerisini abartması kolaydır; puan yüksekse daha yüksek tahmin etme alanı sınırlı olduğundan kişinin kendi becerisini küçümsemesi kolaydır.
  • Birçok bilim insanının sosyal “bilimleri” diplomatik biçimde yumuşak bilimler olarak sınıflandırmasının bir nedeni var. Daha az diplomatik bir bilim insanı olan Feynmann ise bunları sahte bilim olarak adlandırmıştı.

• İlginç olan şu: İlk araştırmayı yaparken deneyin kendi hipotezinizi karşılamasını istersiniz; mevcut araştırmanın üzerine bir şey inşa ederken de yeniden üretimin başarılı olmasını istersiniz. Ama böyle ünlü sonuçlarda insan insanın başarısız olmasını istiyor; çünkü ancak o zaman insanlar sizin sonucunuzu konuşuyor
  Bu tür deneylerin, deneycinin arzularından bilinçdışı ve incelikli biçimde etkilenebileceği sayısız yol var. Buna ek olarak marshmallow testindeki ilginç bir karıştırıcı etken, ödülün gerçekten verileceğine duyulan güveni ölçme boyutunun, ödülü bekleme becerisi kadar büyük olması. Öngörülemez bir ortamda yaşıyorsanız, en iyisi onu hemen yemektir

  • 90’larda Rusya’da öngörülemez bir ortamda yaşamış biri olarak daha doğru cümle şu olurdu: “Öngörülemez bir ortamda yaşıyorsanız, öngörülebilir bir ortama taşınmak daha iyidir”
    Gelecek için birikim yapan çok daha fazla insan gördüm; aksine daha öngörülebilir bir ortam olan Kanada’da bunun tersinin daha yaygın olmasına şaşırdım
  • Bu karıştırıcı etkenin, marshmallow testinin tekrarlanabilirlik sorununu geçiştirmek için kullanılan bir açıklama olduğunu hatırlıyorum; ama bunu gerçekten kimin doğruladığını hatırlamıyorum
    Bu yazının tamamı saçmalık olduğu için, herhangi bir karıştırıcı etken uydurup her şeyi açıklayabileceğinizi gösteriyor gibi
  • Yeniden üretim çalışmalarına ayrılacak kaynaklar sınırlı, dolayısıyla dağıtım yapmak gerekiyor. Sonuç ne kadar ünlüyse, iyi ve kuşkucu yeniden üretim girişimlerini o kadar çekme eğiliminde oluyor
    Bu yöntem bana hep oldukça makul görünmüştür. Yine de yeniden üretim zaman alır; bazı insanlar ise “kötü” sonuçların hemen düzeltilmemesini felaket gibi görüyor
  • Bazen böyle şeyler kesinlikle oluyor. Dunning-Kruger’ı “çürüttüğü” iddiasıyla sıkça alıntılanan makaleye baktığımda, metodolojinin ne kadar berbat olduğuna şaşırmıştım
    https://www.lesswrong.com/posts/6Tqm8Jet9mzo6buj9/the-dunnin...

• Lisede AP Psikoloji’de öğrendiğim araştırmaların fiilen tamamı yeniden üretilemedi; buna bu da dahil. Geriye dönüp bakınca o ders en iyi ihtimalle zaman kaybıydı, en kötü ihtimalle de hayat kararları için kötü bilgi sağladı

  • Bu tür yazarların itibarı yerle bir edilmeli. Daniel Kahneman’ın wiki sayfası onu bir dolandırıcı gibi göstermiyor; ama o, yeniden üretilememiş araştırmalardan kendinden emin biçimde söz etti ve başka dolandırıcıların sahte verilerine de onay verdi
  • Psikoloji ve psikiyatri bilim değil; osteopati ya da frenoloji gibi felsefenin sözde bilimsel kolları. Kontrollü ve yeniden üretilebilir deneyler yapmaktan, kanıta dayalı klinik tanılar koymaktan ya da tedavi ettiklerini iddia ettikleri organı ölçüp incelemekten çok, çay yapraklarından fal bakan dinsel bir topluluğa daha yakınlar

• Marshmallow testinin başka bir yorumu, özdenetim kadar güveni de ölçtüğü. Araştırmacının iki marshmallow vereceğine inanmıyorsanız beklemezsiniz

  • Araştırmacıya düşük güven, düşük akademik başarı motivasyonunu açıklar o zaman ;)
  • Bu, tekrarlı test gerektiriyor gibi. İlk birkaç turda sonradan ödül verilmeyecek şekilde denemek gerekir
  • Ya da hiçbir öngörü gücü olmayan tam bir saçmalık olduğu için, istediğiniz gibi yorumlayabiliyor olabilirsiniz
  • Ya da ikinci marshmallow o kadar cazip olmayabilir. Şimdi bir tane mi, sonra iki tane mi diye teklif edilirse, iki tane istemediği için şimdi bir taneyi seçebilir

• Söz veren yetişkinlere güvenen çocuklar, hazlarını erteleme eğiliminde oluyor
  https://pubmed.ncbi.nlm.nih.gov/26799458/
  Oyun teorisi açısından da mantıklı. Yetişkinlerin sözlerini tutmasına kadar geçen bekleme süresi için normal dağılımlı bir önsel dağılıma sahip olmanız gerektiğine dair bir iç modeliniz, yani hayattaki yetişkinlerin çoğunun sözünü tutma eğiliminde olduğu deneyiminiz varsa, beklemek rasyoneldir
  Buna karşılık deneyimleriniz bir kuvvet yasası önsel dağılımı varsaymanız gerektiğini söylüyorsa, bir noktada zararı kesmek tamamen rasyoneldir. Bu yorum, hayattaki başarının güvenilir ebeveynlerle ilişkili olduğu anlamına geldiği için bir ölçüde güzel; zaman unsuruna bakınca gerçekten nedensellik de olduğunu varsayıyorum

• Ünlü psikoloji testlerinden yeniden üretilmiş olan var mı ki?

  • Asch uyma deneyi yeniden üretilebiliyor gibi görünüyor: https://journals.plos.org/plosone/article?id=10.1371/journal...
    Ayrıca psikoloji deneyleri tartışmalı oldukları için ünlü olma eğiliminde; bu da başlı başına yeniden üretilebilirlik aleyhine bir yanlılık yaratabilir. Çok şaşırtıcı olmayan sonuçlar veren sıkıcı psikoloji deneyleri çoğu zaman sorunsuz biçimde yeniden üretilebiliyor olabilir
  • “Şöhret ya da para uğruna saçmalıkları gerçekmiş gibi yayımlayacak mısınız?” testinin çeşitli alanlarda defalarca yeniden üretildiğinden oldukça eminim
  • Seyirci ilgisizliği deneyi birçok kez yeniden üretildi; Milgram deneyi de öyle
  • https://www.bps.org.uk/research-digest/ten-famous-psychology...
    Birçok açıdan zor bir konu

• Benim çevremde, anekdot düzeyinde, bu gerçekten tutuyordu. Birlikte büyüdüğüm ve okula gittiğim insanlar arasında anlık tatmini erteleyip uzun vadeli hedefleri olanların işleri epey yolunda gitti; plansız, akışına göre yaşayanlar ise zorlanarak ancak ayakta kalan taraftaydı.
  Kendi hayatımda da bir hedefim ya da vizyonum olduğu dönemlerle sadece gelişine yaşadığım dönemler arasında performans açısından büyük fark vardı. Önemli alanların hepsinde—hobiler, partner, kariyer, aile, ilişkiler—hedeflere, vizyona ve standartlara ihtiyaç olduğunu düşünüyorum.

  • Çocukken arkadaşlarına marshmallow testi uygulamadıysan, açıkçası aynı şeyden bahsedip bahsetmediğini bile bilmiyorum. Orijinal çalışma, çok tuhaf ve spesifik bir olguya muazzam bir dışdeğerleme uygulanmış bir örnek.
    “Hayatta işlerin yolunda gitmesi”, “tatmini erteleme”, “uzun vadeli hedefler” somut olarak ölçülebilir özelliklerden epey uzak. Örneğin oyun almak için her zaman indirimi bekleyen ama gıda güvencesizliği yaşadığı için sağlıksız bedava yiyecekleri bile reddedemeyen birini nasıl değerlendirmeli? Bu tür özellikleri değerlendirmek için sayısız değişken var. Bu çalışmanın söylediği şey, küçük bir göstergeden böyle büyük genellemeler çıkarmanın muhtemelen akıllıca olmadığı.
  • Böyle bir kişilik özelliği varsa, başarı için önemli olduğu oldukça açık biçimde doğru. Ama bu özelliğin 4,5 yaşındaki bir çocuğun önüne marshmallow koyarak ölçülüp ölçülemeyeceği bambaşka bir soru.
  • Benim çevremde iki taraf da mümkündü. Biri Ivy League’e gitti ama sonunda sıradan bir teknik işe girdi; bir başkası da Ivy League’den mezun oldu ama iş bulmakta zorlandı.
    Öte yandan akışına göre yaşayanlar da aynı sıradan teknik işlere ulaştı; okulda başarısız olup community college’ı zar zor bitirenler ise sürekli kendi yollarını açtıkları için başarılı bir küçük işletme sahibi oldular.
  • Bunun illa böyle olduğunu sanmıyorum. Hedef odaklı değil, fırsatçı biçimde hareket edip hayatı gayet yolunda giden çok insan tanıyorum. Partner, aile ve ilişkiler için hedef koymak felakete giden bir reçete gibi geliyor.
  • Bu yüzden bu tür uyduruk psikoloji çalışmaları sinsice zararlı. Gerçek bir etkisi olabilir, ama bebek ve marshmallow düzeyinde bir etki olmayabilir.

• Bazı araştırma alanları her zaman bilim değil, sanat olacaktır. Edebiyat, sanat ve insan psikolojisi böyledir.
  Harika bir yazar, sanatçı ya da terapist gerçekten büyük katkı sağlayabilir; ama katı deneyler yapıp gerçeği sayılarla tesis edemez. Bunda sorun yok.
  Sorun olan, sayısal/“sert” disiplin eğitimi almadıkları için saçmaladıklarının farkında bile olmayan akademik psikologlar güruhudur. Burada “sert” derken zor değil, iyi tanımlanmış anlamında.

• Büyürken marshmallow testi benzeri durumlar yaşadığımı hatırlıyorum; bunlardan tatmini ertelemeyi değil, bekler ya da fedakârlık edersen enayi yerine konacağını öğrendim.
  “Şimdi bundan vazgeçersen sonra sana iki tane vereceğim” çoğu zaman “ikinci marshmallow yok, birincisini de geri alamazsın”a dönüştü. Diğer çocukların tatmini ertelememeyi öğrenmesi için bunun kaç kez başlarına gelmesi gerekir? Buna “dürtü kontrolü eksikliği” diye yükleniyorlar; ben ise buna deneyimden öğrenmek derim.

  • Gıda kıtlığı bunu hızlı öğretir. Alt ücret dilimindeki neredeyse tüm istihdam bu şekilde işler.
    “Bu büyük teknoloji şirketinde müşteri desteği yaparsan kurumsal departmanda bir role geçebilirsin” gibi vaatler verilir, ama bunu gerçekten başaranların işe alınanlar içindeki oranı neredeyse %0’a yakındır. Reddit’in iyi yanlarından biri, çoğu perakende ve hizmet işini döndüren tutulmayacak vaatler sistemini görünür kılmasıdır.