Michigan Üniversitesi, alfabenin sonlarında yer alan soyadlarına sahip öğrencilerin daha düşük not aldığını ortaya koydu

Sıralı not verme yanlılığına dair araştırma bulguları

• Michigan Üniversitesi araştırmacıları, 30 milyondan fazla Canvas not kaydını analiz etti ve alfabede daha geride yer alan soyadlarına sahip öğrencilerin daha düşük puan alma eğiliminde olduğunu buldu
  • Bunun nedeni, sıralı not verme yanlılığı ve Canvas'ta öğrenci teslimlerinin varsayılan sıralamasının soyadlarının alfabetik sırasına dayanması
• Alfabetik sırada dezavantajlı olan öğrenciler daha olumsuz ve daha az nazik yorumlar alıyor; öğrencilerin sonradan yaptığı not itirazlarıyla ölçülen değerlendirme kalitesi de daha düşük
• Araştırmacılar, not vermenin adilliği ve doğruluğu üzerine çok düşündüklerini ancak verileri görüp sıranın fark yarattığını anlayana kadar bunu fark etmediklerini söyledi

Araştırma verileri ve sonuçları

• 2014 güz döneminden 2022 yaz dönemine kadar Canvas'taki tüm programlar, öğrenciler ve ödevlere ilişkin mevcut geçmiş veriler toplandı
  • Bunlar üniversite kayıt verileriyle tamamlanarak öğrencilerin geçmişi, demografisi ve üniversitedeki öğrenim yolculuğuna dair ayrıntılı bilgiler eklendi
• Veriler Michigan Üniversitesi'nden gelse de araştırmacılar, öğrenim yönetim sistemlerindeki yaygın tasarım sorunu nedeniyle bunun başka kurum ve derslere de genellenebileceğini söylüyor
  • Bunun nedeni, öğrenci ödevlerini isimlerin alfabetik sırasına göre dizen varsayılan ayar
• Değerlendiriciler daha fazla ödev puanladıkça not verme kalitesinin düştüğünü gösteren net bir örüntü bulundu
  • Soyadı A, B, C, D, E ile başlayan öğrenciler, rastgele puanlama yapıldığında alacaklarından 100 puan üzerinden 0,3 puan daha yüksek alıyor
  • Benzer şekilde, alfabede daha geride soyadı olan öğrenciler 0,3 puan daha düşük alıyor ve toplamda 0,6 puanlık fark oluşuyor
• 0,6 puanlık fark küçük görünebilir, ancak bu tür tutarsızlıklar öğrencilerin ders not ortalamasını etkileyerek kariyer yollarındaki fırsatları olumsuz etkiliyor

Araştırmanın arka planı ve öneriler

• Araştırma fikri, eğitim teknolojileri üzerine çalışan Wang ile yapay zeka üzerine çalışan Fei'nin araştırma hakkında tartışması sırasında ortaya çıktı
  • Makine öğrenmesinin temel işlerinden biri olan veri etiketlemenin de uzun ve sıkıcı olabilen ardışık bir iş olduğunu, ancak rastgele yapıldığına dikkat çektiler
  • Pilot çalışma üzerinden, not verme süresine bağlı not dengesizliği olup olmadığı kontrol edildi
• Araştırmacılar, yorgunluğun bu etkiyi yaratan başlıca etkenlerden biri olabileceğini düşünüyor
  • Uzun süre bir şey yaptığınızda yoruluyor, dikkatiniz azalıyor ve bilişsel yetenekleriniz düşüyor
• Canvas ve diğer çevrimiçi öğrenim yönetim sistemlerinde ödevleri rastgele sırayla değerlendirme seçeneği var ve bazı eğitimciler bunu kullanıyor, ancak varsayılan mod alfabetik sıra
  • Basit çözüm, varsayılan ayarı rastgele sıra yapmak
• Ayrıca akademik kurumların büyük sınıflar için daha fazla değerlendirici istihdam etmesi, iş yükünü daha fazla kişiye dağıtması veya yanlılığı fark edip azaltmaları için eğitim vermesi öneriliyor

GN⁺ görüşü

• Sıralı not verme yanlılığının öğrencilerin notları üzerinde gerçek bir etki yaratması, eğitimde değerlendirme sisteminin adilliği konusunda soru işaretleri doğuruyor. Notların öğrencilerin geleceği üzerinde büyük etkisi olduğu düşünüldüğünde, bu konuda iyileştirmenin acil olduğu görülüyor
• Ancak araştırma İngilizce konuşulan ülkelerle sınırlı olduğu için Türkiye'de büyük bir sorun olmayabilir. Türk alfabesi sırası ya da farklı adlandırma düzenlerinde de aynı etkinin görülüp görülmediğini inceleyen yerel araştırmalara ihtiyaç var gibi görünüyor
• Değerlendiricinin yorgunluğunun not verme kalitesini etkilemesi, eğitim sahasında değerlendirme işine uygun telafi ve desteğin gerekli olduğunu gösteriyor. Aşırı iş yükü adil değerlendirmeyi zayıflatabilir
• Yapay zeka tabanlı otomatik not verme sistemlerinin kullanıma alınması da bir alternatif olabilir. Ancak yanlılık sorununun tamamen ortadan kalkması zor olacağından, değerlendirmenin niteliksel yönünü tamamlayacak önlemler de birlikte gerekli

[GN⁺]

Hacker News görüşleri

Aşağıda Hacker News yorumlarının bir özeti yer alıyor:

• Üniversitelerde sınav kağıtları notlandırılırken, kağıtların masada birikme sırası toplandıkları sıraya göre oluyor. Notlandırıcılar, belirli bir soruyu aynı ölçütte puanlamak için kağıtları tek bir odada karıştırıyor. Bu yüzden not verme sırası fiilen rastgele sayılabilir.
• Ödev teslimleri notlandırılırken ise öğrencilerin isimlerine göre alfabetik sırayla ilerleniyor; adalet için bu sıranın karıştırılması gerektiği konusunda herkes hemfikir. Bunun nedenleri de şunlar: (1) başta daha az yorulmuş olunması, (2) sona yaklaşınca işin bitecek olmasının yarattığı iyi ruh hali ve (3) başta sık yapılan hataları ya da genel kalıbı henüz kavrayamamış olup bazı şeyleri kaçırabilme ihtimali.
• Bir yorumcu, ilkokulda soyadı sınıf listesinin en başında olduğu için bilet takibi, beden eğitimi dersinde ilk değerlendirilme gibi özel işleri sık sık üstlenmek zorunda kaldığını söylüyor. İçe dönük bir çocuk için bu can sıkıcıymış.
• 80'ler ve 90'larda okullarda oturma düzeni soyadına göre alfabetik olarak önden arkaya kuruluyordu. Lisede A~D arası soyadına sahip öğrenciler arasında daha çok başarılı öğrenci, U~Z arası soyadına sahip öğrenciler arasında ise daha çok yaramaz öğrenci olduğu anlatılıyor. Bunun nedeni öğretmene daha yakın oturup daha fazla ilgi görmek olabilir.
• Baş harfleri Z ve W olan kişiler alfabetik sıralamayı sık sık fark ettiklerini, ama A ve B ile başlayan baş harflere sahip arkadaşlarında bunun böyle olmadığını söylüyor.
• Üniversitelerde önemli sınavlar ve ödevler anonimleştirilmiş aday numaralarıyla işleniyor. Tam anlamıyla anonim olmasa da sisteme belli bir dürüstlük kazandırıyor.
• Not verirken, başta karşılaşılmayan belirli bir hata ya da beklenmedik bir cevap daha sonra görüldüğünde, önceki kağıtlara dönüp yeniden not vermek gerekebiliyor.
• Varsayılanın rastgele sıra olması önyargıyı azaltmaya yardımcı olabilir. Yine de en son notlandırılan öğrenciler daha düşük not alma riski taşıyabilir.
• Bir yorumcu, eşinin soyadı Y ile başladığı için listelerin sonlarında kalmaktan hoşlanmadığını; bu yüzden çocuklarının soyadında önce kendi soyadını (E ile başlıyor) yazıp ardından kısa çizgiyle bağladıklarını anlatıyor. İsimlerini de sıralamada öne gelsin diye A ve B ile başlatmışlar.
• Saftirik Greg'in Günlüğü kitaplarında, alfabede önde gelen soyadına sahip çocukların sınıfın ön sıralarında oturup daha fazla soru aldığı ve bu sayede daha çok şey öğrendiği yönünde bir bölüm olduğu söyleniyor.
• Soyadı alfabede gerilerde olan bir öğrencinin babası olan bir yorumcu, öğretmenin projeleri soyadına göre sırayla değerlendirdiği durumlarda çoğu zaman listenin son yüzde 40'ına hiç gelinemediğini gördüğünü söylüyor. Ancak bütün öğrenciler öğretmeni aktif biçimde gidip aramadığı için bu durum notların düşmesine yol açabiliyor.
• Bir kişi, Helen Wang'ın neden bu konuyu araştırdığını merak ediyor.