Michigan Üniversitesi araştırması: Soyadı alfabetik sırada daha sonra gelen öğrenciler daha düşük not alıyor

 (record.umich.edu)
1 puan yazan GN⁺ 2024-04-21 | 1 yorum | WhatsApp'ta paylaş
  • Michigan Üniversitesi araştırmacıları, 30 milyondan fazla Canvas notlandırma kaydını analiz ederek soyadı alfabede daha geride olan öğrencilerin daha düşük puan alma eğiliminde olduğunu ortaya koydu
  • Temel neden, gönderileri soyadına göre alfabetik sırada gösteren Canvas’ın varsayılan sıralaması ve not verenlerin ödevleri sırayla değerlendirirken ortaya çıkan sıralı önyargı
  • A-E soyadına sahip öğrenciler, rastgele notlandırmaya kıyasla 100 puan üzerinden 0,3 puan daha yüksek, alfabede daha gerideki soyadlarına sahip öğrenciler ise 0,3 puan daha düşük alıyor; toplamda 0,6 puanlık fark oluşuyor
  • Not verenlerin yaklaşık %5’i Z’den A’ya doğru notlandırdığında fark tersine dönüyor; bu da puan farkını soyadının kendisinden çok notlandırma sırasının yarattığı yorumunu destekliyor
  • 0,6 puanlık fark küçük görünse de ders GPA’sını ve kariyer fırsatlarını etkileyebileceğinden, rastgele notlandırmayı varsayılan yapmak ve büyük derslerde notlandırma yükünü azaltmak gerekiyor

Canvas’ın varsayılan sıralamasının yarattığı soyadı baş harfi farkı

  • Michigan Üniversitesi araştırmacıları, 2014 güz döneminden 2022 yaz dönemine kadar Canvas’ta erişilebilen tüm programlar, öğrenciler ve ödevlere ait geçmiş notlandırma verilerini topladı
  • Analiz kapsamına 30 milyondan fazla notlandırma kaydı girdi; üniversite kayıt ofisi verileriyle öğrenci geçmişi, demografi ve öğrenim yolu bilgileri tamamlandı
  • Soyadının alfabetik sırası daha geride olan öğrencilerin daha düşük puan aldığı, daha olumsuz ve daha az nazik geri bildirim aldığı ve öğrenci şikâyetleriyle ölçülen notlandırma kalitesinin de daha düşük olduğu bir örüntü görüldü
  • İlgili makale 30 Million Canvas Grading Records Reveal Widespread Sequential Bias and System-Induced Surname Initial Disparity başlığını taşıyor ve Management Science tarafından inceleniyor

Sıralı notlandırma önyargısı nasıl işliyor

  • Canvas, öğrenci gönderilerini varsayılan olarak soyadına göre alfabetik sırada sıralıyor
  • Bu varsayılan tasarım belirli bir dersle sınırlı kalmayıp öğrenim yönetim sistemi kullanan çeşitli kurum ve derslere yayılabiliyor
  • Not veren kişi daha fazla ödev değerlendirdikçe notlandırma kalitesinin düştüğü bir örüntü ortaya çıkıyor
  • Wang’a göre A, B, C, D, E ile başlayan soyadlarına sahip öğrenciler, rastgele sırayla notlandırıldıkları duruma kıyasla 100 puan üzerinden 0,3 puan daha yüksek alıyor; alfabede daha gerideki soyadlarına sahip öğrenciler ise 0,3 puan daha düşük alıyor

Ters sırayla notlandırmada görülen karşıt etki

  • Not verenlerin yaklaşık %5’i Z’den A’ya doğru notlandırıyor
  • Bu durumda fark beklendiği gibi tersine dönüyor
    • A-E soyadına sahip öğrenciler dezavantajlı oluyor
    • W-Z soyadına sahip öğrenciler rastgele notlandırmaya kıyasla daha yüksek puan alıyor
  • Bu gözlem, ilk puan farkının nedeninin soyadının kendisi değil notlandırma sırası olduğu yorumunu güçlendiriyor

Küçük puan farkının öğrenciler üzerindeki etkisi

  • 0,6 puanlık fark küçük görünebilir, ancak öğrencinin ders GPA’sını etkiliyor
  • GPA’daki değişim, her öğrencinin kariyer fırsatlarını da olumsuz etkileyebilir
  • Wang, not verenlerde bilinçsizce ortaya çıkan bir durumun gerçek toplumsal etkiye dönüşebileceğini söylüyor

Araştırma fikri ve yorgunluk faktörü

  • Araştırma fikri, Wang’ın eğitim teknolojisi araştırmaları ile Pei’nin yapay zeka araştırmalarının tartışılması sırasında ortaya çıktı
  • Pei, makine öğrenmesinin temel işlerinden biri olan veri etiketlemenin de uzun ve sıkıcı bir sıralı iş olmasına rağmen rastgeleleştirildiğine dikkat çekti
  • Bu gözlem, Canvas gibi eğitim sistemlerinde notlandırma süresi ile not farkları arasındaki ilişkiyi inceleyen bir pilot araştırmaya yol açtı
  • Uzun süreli çalışmalarda yorgunluk biriktiği, dikkat ve bilişsel yetenekler azaldığı için yorgunluk etkiyi yaratan başlıca faktörlerden biri olabilir

Önerilen iyileştirmeler

  • Canvas’ta ödevleri rastgele sırayla notlandırma seçeneği var ve bazı eğitimciler bunu kullanıyor
  • Ancak Canvas ve diğer çevrim içi öğrenim yönetim sistemlerinde varsayılan mod alfabetik sıra
  • En basit çözüm, rastgele sırayı varsayılan ayar haline getirmek
  • Akademik kurumlar için şu alternatifler de öneriliyor
    • Büyük dersler için daha fazla not veren kişi istihdam etmek
    • Notlandırma işini daha fazla kişiye dağıtmak
    • Notlandırma sırasında önyargıları fark edip azaltmaya yönelik eğitim sağlamak

İlgili okumalar

1 yorum

 
GN⁺ 2024-04-21
Hacker News yorumları

  • Akademide çalışıyorum. Sınavları notlandırırken cevap kâğıdı yığınlarının sırası, sınıfta toplandıkları sıradır; genelde bir odada 5 kişi toplanır ve tutarlılığı sağlamak için herkes yalnızca belirli bir sorudan sorumlu olur.
    Herkes yığından alıp kendi sorusu henüz notlandırılmamış cevap kâğıtlarını bulup ayırdığı için kâğıtlar epey karışır; gerçek notlandırma sırası neredeyse rastgele sayılabilir.
    Öte yandan dönem içindeki haftalık ödevler depoya commit edilir ve öğrenci klasörleri adlarının ilk harfiyle başlar. Adalet için her hafta notlandırma sırasını karıştırmak gerektiği konusunda hepimiz hemfikirdik. Başlarda daha az yorgun olursunuz; son 2 civarında ise yakında bitecek diye moraliniz düzelir. Özellikle başlarda yaygın hataları henüz yeterince görmediğiniz için neye bakacağınızı tam kavrayamaz, bazılarını kaçırırsınız; daha sonraki teslimlerde ise hemen yakalarsınız.
    Bir başka alfabe etkisi olarak, ilkokulda sınıf listesinin en üstünde olduğum için müze grup biletlerini taşımak, bir şeyleri kaydetmek, kimsenin önce yapmak istemediği bir işi herkesin önünde ilk yapmak, beden eğitimi değerlendirmesine ilk girmek gibi işleri sık sık üstlenirdim. Oldukça utangaç bir çocuktum; bu yüzden 1. sınıftan itibaren canımı sıkardı.

    • Benim stratejim, söylediğiniz gibi soru bazında notlandırma yapmaktı. Her soru için önce tam puanlık bir cevap bulur, geri kalanları da yaptıkları hataya göre yığınlara ayırırdım.
      Böylece aynı hatayı yapan öğrenciler aynı puanı alır. Bir soruyu bitirdikçe cevap kâğıtlarının sırası da doğal olarak karışma eğiliminde olur.
      Basit çoktan seçmeli sorularda buna gerek yok; uzun denemelere de pek uymaz. Ama bilgisayar bilimi ve güvenlik alanındaki teknik kısa cevaplı sorular için çok iyi çalışıyordu.
    • Öğretmen bir arkadaşım yığına her zaman iki kez bakar. İlkinde tüm hataları düzeltir, ikincisinde puanları yazar.
      Bunun nedeni, bir hatanın gerçekten ne kadar kötü olduğuna ancak tüm hataları bir kez gördükten sonra karar verilebilmesidir.
    • 2000 civarında, o gün teslim edilmesi gereken denemeyi unutmuştum ve sabah yoklamasından önce bilgisayar laboratuvarında yalnızca 10 dakika kadar vaktim vardı. Giriş ve sonuç bölümlerini yazdım, geri kalanını ise bu ikisini kopyalayıp yapıştırarak doldurdum. En azından komik olur diye düşündüm; biri gerçekten okusaydı metnin saçma olduğu apaçık ortadaydı.
      Ama hiçbir not ya da işaret olmadan %80 aldım.
      Son 25 yıldır öğrenci ödevlerinin gerçekte ne kadar incelendiğini merak edip duruyorum.
      EdTech’te çalışıyorum; öğrenci çalışmalarının öğretmen tarafından elle incelenmesini gerektiren bir özellik eklediğimiz her seferinde, bazı öğretmenlerin çok titiz olduğunu, bazılarının ise hiç dokunmadığını görüyoruz.
    • Bu başlıktaki tüm yöntemler sonuçta kimin haksız notlandırmaya uğrayacağını rastgeleleştirmekten ibaret.
    • Deneme ödevlerini veya deneme türü sınavları notlandırırken, tek tek puanlamadan önce genel yazı düzeyi hakkında bir fikir edinmek ve yığının başında ya da sonunda fazla ya da düşük puan vermemeye dikkat etmek önemlidir. Bu yüzden üç renk kalemle 3 aşamalı notlandırma yapardım.
      İlk kırmızı kalem, yazım hataları veya bariz kullanım hataları gibi tekil nokta sorunlarını işaretler. Bu süreçte genel yazı düzeyi de doğal olarak anlaşılır ve tüm metinler hızlıca gözden geçirilebilir.
      İkinci yeşil kalem, iyi bir argümanın ortaya çıktığı veya sonuca ulaşılan yerleri, sonraki aşamaya hazırlık olarak çoğunlukla kenar boşluğunda işaretler. Bu da tüm metinlere uygulanır.
      Üçüncü mavi kalemde metnin niteliğini değerlendirir ve eleştirirdim. Kenar boşluklarına kısa notlar bırakır veya denemenin sonuna yorum eklerdim.
      Öğrenciler güzel renkleri görünce bazen gülerdi ama yöntemi ve nedenini açıklayınca net biçimde anlarlardı; sanırım minnettar da olurlardı.

  • İlgili olabilir de olmayabilir de ama 80’lerde ve 90’ların başında K-12 okuluna giderken bizi her zaman soyadına göre alfabetik sırayla, önden arkaya oturturlardı. A-D civarı harflerle başlayan çocuklar hep önde, U-Z civarı hep arkadaydı; her derste böyleydi.
    Arkadaşlarım arasında soyadı benimkine yakın olanların çok olmasını da hep yakın oturmamıza bağlıyorum. Liseye gelindiğinde, A-D soyadlarına sahip yüksek başarı gösteren öğrencilerin belirgin biçimde daha fazla, U-Z tarafında ise sorunlu öğrencilerin daha çok olduğu hissediliyordu.
    Bu, öğretmene yakın oturmanın ve daha fazla ilgi görmenin sonucu muydu? Deney değil, kontrol grubu yok; bilemeyiz.

    • “Yakın oturan öğrencilerin başarısı daha yüksektir” olgusu, gözlük takan insanlara dair stereotiplerin önemli bir kısmını da açıklayabilir. Hafif miyop olduğumu fark etmem yıllar sürdü; okulun ilk yarısında tahtayı daha rahat okuyabilmek için sınıfın ön yarısında otururdum.
      Arkadaşlarım arasında da gözlük takan çok kişi vardı; gözlük görüşü tamamen düzeltmediği için ön sıraları tercih ederlerdi.
    • Şimdi öğretmenim; bunu okuyunca irkildim. Annemle babamın okul zamanında, 60’lardan 80’lere kadar Hindistan’da oturma düzeninin tam böyle olduğunu duymuştum. Ancak notlandırmanın yarı anonimleştirilmiş yoklama numarasıyla yapıldığını söylemişlerdi.
    • Döngüsel yer değiştirme basit bir çözüm. Bizim lisede her pazartesi tüm sıralar bir sıra öne geçer, en ön sıra arkaya giderdi.
      Elbette 1. haftaya önde başlayan öğrencilerin hâlâ bir avantajı olduğu söylenebilir ama muhtemelen o kadar büyük değildi.

  • Baş harflerim Z ve W olduğu için alfabetik sıralamayı sık sık fark ederim. Baş harfleri A ve B olan bir arkadaşıma sordum; bunu hiç fark etmediğini söyledi.
    Notlandırmada veya sıralamada bir fark hissetmedim ama “sıra sana gelmeden eşya/zaman vb. tükendi” sözünü çok daha sık duydum; bu yüzden planlama ve organizasyon sorunlarına karşı çok daha duyarlı hâle geldim.

    • Küçükken misket oyunu modaydı; derste misketle oynarsanız öğretmen onları büyük bir cam kavanoza koyardı. Kavanoz dolunca çocukları çağırır, herkese bir avuç geri verirdi.
      Ben alfabenin en sonundaydım; bu, okuyacak kitap seçerken bile zaten sorundu. Kitap seçebiliyorduk ama sıra hep alfabetikti; bana sıra geldiğinde birkaç kitap kalır, popüler kitapların hepsi gitmiş olurdu.
      Nihayet misket alma sıram geldiğinde de hepsi bitmişti. “Benim misketlerim nerede?” diye sorunca öğretmen omuz silkerek “Bitti” dedi. Sanırım 7 yaşındaydım; çok ağladım ve diğer çocuklardan biraz misket aldığımı hatırlıyorum ama aslında mesele misketlerin kendisi değildi.
      Böyle bir sonuç dışında ne beklenebileceğini hâlâ anlamıyorum.
    • Çoğu eşitsizlikte olduğu gibi, fayda gören taraf çoğu zaman bu ayrıcalığın farkına varmaz.
      1. ya da 5. sınıftan komik bir olay aklıma geliyor. Sınıf sıraya girdiğinde her zaman soyadına göre dizilirdik; soyadım İskandinav alfabesinin son harfi olan Ö ile başladığı için hep en sondaydım.
        Bir gün öğretmen “Bugün sırayı tersine çevirelim, ama adlara göre de sıralayalım” gibi bir şey söyledi. Adım A ile başladığı için sonuçta yine en sona düştüm ve herkes buna çok eğlendi.
    • Kültürel yükü daha az olan, ayrıcalıklı birinin ayrıcalık gördüğünü çoğu zaman fark etmemesine iyi bir örnek gibi görünüyor. Arkadaşınıza normal ve adil görünen şey, gerçekte akla bile getirilmemiş bir avantajdı.
    • Okul dışında adımın alfabetik sıraya sokulduğu tek bir durum bile aklıma gelmiyor. İkinci ad baş harfim de var; bunun sık yaşandığı durumların ne olduğunu merak ediyorum.

  • Bizim üniversitede neredeyse tüm notlandırma takma adla yapılıyordu. Her yılın başında rastgele bir sınav numarası alırdık; önemli ödevlere ve sınavlara o numarayı yazardık.
    Daha az önemli ders ödevlerinde bu kadar ileri gidilmez, çoğu zaman öğrenci numarası yazılırdı ama temel fikir aynıydı.
    Tezler ve genel nota etkisi olmayan birkaç önemsiz ödev dışında isim yazmazdık. Anonimliği kaldırmak o kadar zor değildi ama sisteme biraz daha bütünlük katıyordu.
    Uygulaması çok basit bir yöntem; neden daha sık kullanılmadığını bilmiyorum.
    Sanal öğrenme ortamımız da ödevleri herhangi bir tanımlayıcıya göre değil, teslim zamanına göre sıralıyordu sanırım.

    • Burada olası sonuç, puanları öğrenciyle ilişkili bir şekilde düşürmek yerine sadece rastgele düşürmek olmaz mı? Sorun sıralamaysa rastgele sınav numaraları da yine sıralanabilir.
      Kişiye yönelik önyargıyı çözer ama teslimlerin nasıl sıralandığıyla ilgili önyargıyı çözmez.
      Rastgele tanımlayıcı ile rastgele sıralama düzenini birlikte kullanmak doğru görünüyor.
    • Üniversite sınavları için oldukça mantıklı görünüyor. Sınav sınavdır; öğrencinin iyi konuşması ya da derse aktif katılması sınav puanıyla ilgisiz olmalı.
      Ancak kör konferans tekliflerinin iyi bir fikir olduğundan daha az eminim. Geçmiş deneyimlerime göre birinin neredeyse kesin olarak çok başarılı olacağını biliyorsam, aynı konuda belirgin bir yetkinliği olmayan rastgele birini seçmek bana daha az cazip geliyor. Elbette sadece komitedeki arkadaşları seçmek de açıkça aşırıya kaçabilir.
    • Böyle bir ders almıştım. Dönem başında her öğrenciye rastgele gibi görünen biçimde bir kullanıcı adı atanmıştı ve sonrasında tüm katılım bu kullanıcı adı üzerinden yürütülüyordu.
      Kullanıcı adları dışarıdan rastgele görünse de dersin tartışma panosunda belirli adlar itibar kazanmaya başladı ve öğrenciler de bazı adları tanır hale geldi.
      Yine de bilgisayar bilimi derslerinde notlandırma ölçütleri oldukça nesnel olduğundan anonimliğin ne kadar önemli olduğundan emin değilim.
    • Öğretmen benim kim olduğumu bildiğinde geri bildirimi daha iyi aldığımı düşünüyorum. Not ikincil.
    • Asıl mesele, Canvas gibi otomasyon sistemlerinin isimleri gizlese bile hâlâ alfabetik sırayla gösterebilmesi. Takma ad kullansanız bile karıştırmazsanız faydası olmaz.

  • “Basit çözüm, rastgele sırayı varsayılan yapmak” deniyor ama düzelmesi, önyargının rastgele hale gelmesi anlamına geliyor. Muhtemelen en son notlandırılan öğrenci yine daha düşük puan alacaktır.

    • İdeal değil ama her ödevde yeniden rastgeleleştirilirse mevcut durumdan daha iyi olur. En azından sürekli dezavantajlı olmak yerine sadece ara sıra dezavantajlı olursunuz.
    • Notlar üzerinde daha büyük etkisi olan başka unsurlar da var. Örneğin materyali anlayıp anlamadığı, çözüm sunma becerisi olup olmadığı gibi. Birçok yorumun bunu bazı öğrenciler için çok büyük bir önyargı gibi ele aldığını gördüğüm için söylüyorum.
      Eğitmenlik deneyimime göre bu önyargı kesinlikle var. Ama tamamen yanlış bir cevabı ya da çok iyi ve doğru bir cevabı başka bir şeye dönüştüremez.
      Bir süre sonra zorlanan öğrencileri ve iyi öğrencileri tanır oldum. İyi bir öğrenci yanlış yaptıysa büyük bir şey olmuş demekti; bu yüzden önce kabaca göz atar, sonra zorlanan öğrencilerin sorunlarına bakar, ardından kalanları aldığım sırayla notlandırır ve en sonda zorlanan öğrencilerle iyi öğrencilere dönerdim. En kötü cevapların gerçekten ne kadar kötü olduğunu görmek için bir referans çizgisine ihtiyacım vardı. Bazı ödev kâğıtları tesadüfi bir macera gibiydi denebilir.
      Böyle yazınca tamamen duygusuz ve soğuk geliyor ama alıştırmalarda alt üçte birlik dilime odaklanmak ve nerede takıldıklarını asistanlara ve profesöre iletmek herkes için, özellikle de o öğrenciler için çok faydalıydı. Önemli temelleri düzgün oturtmalarını sağlıyordu.
    • Tüm üniversite hayatı boyunca bakınca ortalamaya yayılır. Buna karşılık alfabetik sıra korunursa sistematik olarak dezavantajlı kalınır.

  • Birkaç ay önce ilk kez notlandırma yaptığımda ben de bunu hissettim.
    İlk notlandırdığım cevaplar belirli hataları yapmamış ya da beklediğim şekilde yanıtlamıştı; daha sonra beklenmedik cevaplar veya hatalarla karşılaşınca, daha önce notlandırdığım cevapların puanını yeniden düşünmem gerekti. Örneğin birinin cevabı yüzünden yanlış sandığım bir cevabın aslında daha az yanlış olduğunu hissettiğim durumlar oldu.
    Küçük bir sınıf olduğu için geri dönmek mümkündü ve teslim sırası zaten bir ölçüde karışık olduğundan böyle notlandırdım; ama öyle olmasaydı kesinlikle önyargı oluşurdu.

    • Programlama projelerini notlandırırken bunu özellikle hissettim. Çünkü biraz karmaşıklar.
      Bir hatanın çok yaygın olduğunu ancak birkaç kez gördükten sonra yeniden değerlendirmeye başlıyorsunuz ve meğer kolayca yapılabilecek bir hataymış.
      Ya da başta bilmediğiniz yeni bir hatanın oldukça yaygın olduğunu keşfediyorsunuz. O zaman testleri güncelleyip herkese yeniden çalıştırmanız gerekiyor.
      Ben oldukça titiz olmaya çalıştım ve sonunda tüm yığını yeniden gözden geçiriyordum ama gerçekten çok acı vericiydi. Üstünkörü de yapabilirdim ama öğrencilerin haftalarını verdiği bir çalışma olduğu için dürüst geri bildirim vermem gerektiğini hissettim.
      Bu da notlandırmanın daha hoşgörülü olma eğilimine girmesine yol açıyordu. Tembellik edip sadece birkaç hatayı kontrol ederseniz her sorun için çok puan kırarsınız; bu da beklenen hatalara tesadüfen yakalanan öğrencilere adil olmaz. Tüm hataları bulduğunuzda, herkesin notunu mahvetmemek için hata başına yalnızca birkaç puan kırmak zorunda kalırsınız.
    • Teslim sırasına göre notlandırmak da başka bir önyargı getirir.
      Ben de aynı durumdayım ve aynısını yapıyorum. Elle gerçekten rastgele bir sıralama yapacağıma güvenmediğim için teslim sırasının sağladığı çok zayıf rastgeleliğe yaslanıyorum.

  • Çocuklarımızın soyadının böyle olmasının nedeni fiilen bu.
    Benim soyadım E ile, eşimin soyadı Y ile başlıyor. Geleneğin aksine, evlenirken eşim soyadını değiştirmedi; çocuklarımız doğduğunda onlara hangi soyadını vereceğimize karar vermemiz gerekti. Tireli soyadı seçtik.
    Tarihsel olarak tireli soyadlarda sıra kadının soyadı-erkek soyadı şeklindeydi. Ama eşim büyürken soyadının alfabenin sonlarına yakın olmasından nefret etmişti.
    Bu yüzden geleneği tekrar bozup benim soyadımı öne koyduk; böylece alfabetik sıralamada çocuklar önde yer alacaktı. Ayrıca çocukların adları da A ve B ile başlıyor, bu yüzden ada göre sıralamada da öne çıkıyorlar.

    • Ben hep sonlarda olduğum için öğretmenden daha az ilgi görmeyi sevmiştim. Veriler yalnızca korelasyon gösteriyorsa, bu durum biz sondakilerin daha az baskı görmesiyle de açıklanabilir.
    • “Geleneği bozup evlenirken soyadını değiştirmedi” demişsiniz ama 90’lardan önce evlenmediyseniz, 90’ların ortalarından bu yana buna özellikle geleneği bozmak demenin zor olduğunu düşünüyorum.
      Gerçekten geleneği bozmak istiyorsanız evlenmeyip sadece birlikte yaşayıp çocuk sahibi olabilirsiniz.
      Sonuçta evlilik kadar geleneksel bir şey var mı?
    • Latin Amerika ülkelerinde ve İspanya’da baba soyadı önce, ardından anne soyadı gelir.

  • Soyadım alfabetik sıranın sonlarına yakın bir harfle başladığı için böyle şeyleri hep fark ederim. Bu yıl yaşanan bir örnek: Oğlum, uzun vadeli bir proje için öğretmenin sürekli geri bildirimine ihtiyaç duyulan bir lise dersine giriyor.
    Öğretmen projeleri soyadına göre alfabetik sırayla inceliyor; ancak yaklaşık %40 oranında sınıfın alt sıralarına kadar gelemiyor ve bir sorun varsa okuldan sonra kendisini bulmalarını söylüyor. Oysa projenin niteliği gereği öğretmenin proaktif yorumları mutlaka gerekiyor.
    Bu yüzden oğluma, bir sorun olmasa bile öğretmene gidip önceden inceleme almasını söylüyorum; ama her çocuk bunu yapmıyor ve bunun sonucunda daha düşük not alma olasılığı doğuyor.

  • Helen Wang’in bunu neden araştırma konusu olarak seçtiğini merak ediyorum.

  • Sıralamanın ciddi istenmeyen sonuçları akla geliyor.
    Aç yargıç etkisine [1] benziyor. Yargıçların mola öncesinde daha katı, moladan sonra ise daha hoşgörülü olma eğiliminde olduğunu söyleyen etki.
    [1] https://en.m.wikipedia.org/wiki/Hungry_judge_effect

    • https://nautil.us/impossibly-hungry-judges-236688/

      Bu bulguyu reddetmeliyiz. Çünkü basitçe imkânsız. Etki büyüklüğünün ne kadar imkânsız derecede büyük olduğunu yorumladığımızda, psikolojiden azıcık anlayan herkes bu veri örüntüsünün psikolojik bir mekanizmadan kaynaklanmış olmasının imkânsız olduğu sonucuna varabilmeli. Psikologlar olarak bu bulguyu öğretmemeli veya alıntılamamalıyız; karar verme süreçlerindeki psikolojik önyargılara örnek olarak politika yapımında da kullanmamalıyız.