Chatbot çağında üniversite sınavı yürütmek

• Açık kaynak stratejisi dersinin sınavında, öğrencilerin kendi kendine öğrenmesini teşvik etmek için internet erişimi ve tüm kaynak kullanımının serbest olduğu geleneksel olmayan bir sınav yöntemi uygulandı
• Öğrencilerden chatbot kullanıp kullanmayacaklarını önceden seçmeleri istendi; kullananlar için kaynak belirtme, promptları açıklama ve hata analizi zorunlu tutuldu
• 60 öğrenciden 57’si chatbot kullanmadı ve notlarda genel olarak kullanmayan grubun daha başarılı olduğu eğilimi görüldü
• Öğrenciler, kopya çekme suçlamasından korktukları ve hocanın değerlendirme ölçütlerini nasıl algıladıkları nedeniyle chatbot kullanmaktan kaçınma eğilimi gösterdi
• Hoca, “bilinç akışı (stream of consciousness)” dosyası yazdırarak öğrencinin düşünme sürecini izledi ve chatbotlardan çok kendi düşünme gücünü geliştirmenin önemini vurguladı

---

Sınavın yürütülme biçimi

• Sınav; tüm kaynakların ve internetin serbest olması, süre sınırı bulunmaması, öğrenciler arasında tartışmaya izin verilmesi ve soruların kısmen öğrenciler tarafından belirlenebilmesi gibi açık kurallarla kurgulandı
  • Öğrenciler sınav kıyafetlerini de özgürce seçebildi; geleneksel kıyafetlerden mizahi kostümlere kadar farklı tercihler görüldü
• Bu yaklaşımın amacı, sınavı öğrenmenin bir uzantısına dönüştürmek ve gerginliği azaltmaktı

Chatbot kullanımını seçme sistemi

• Öğrenciler sınavdan önce chatbot kullanıp kullanmayacaklarını açıkça seçmek zorundaydı
  • Seçenek A: Chatbot kullanılmaz; kullanılırsa kopya çekme sayılır
  • Seçenek B: Chatbot kullanılabilir; ancak her kullanımda kaynak, prompt ve hata analizi sunulmalıdır
• Chatbot hataları, insan hatalarına kıyasla daha ağır puan kaybına yol açan bir unsur olarak değerlendirildi; kullanıcı sonuçtan sorumlu tutuldu

Öğrencilerin tercihleri ve not dağılımı

• 60 öğrenciden 57’si chatbot kullanmadı
  • Kişisel tercih grubu: Özerk öğrenmeyi önemseyenler, notlar 15~19 puan
  • Kullanmama grubu: Chatbot etkileşiminden hoşlanmayanlar, ortalama 13 puan
  • Pragmatik grup: Sınavın niteliği gereği gereksiz bulanlar, 12~16 puan
  • Ağır kullanıcı grubu: Chatbot bağımlılığı nedeniyle kafa karışıklığı yaşayanlar, çoğunlukla 8~11 puan
• Chatbot kullanmayı seçen 3 öğrenciden
  • 1’i chatbot kullanacağını unuttu
  • 1’i yalnızca kavram doğrulamak için çok sınırlı kullandı
  • 1’i ise karmaşık bir LLM düzeni kurarak anlayışını daha da düşürdü (bir LLM’e sorup başka bir LLM’den doğrulama isteme)
    • Chatbot olmadan konuşulduğunda kavrayışının aslında yeterli olduğu görüldü; ancak chatbot çıktıları yüzünden konuyu daha da az anladı. Yani chatbot bu öğrenci için ters etki yaptı

Kopya çekmeye dair kuşaksal algı

• Öğrencilerin çoğu chatbotlara güvenmiyor ya da kopya çekmekle suçlanmaktan korkuyordu
• Bazı öğrenciler, Google’ın otomatik oluşturulan yanıt özelliğinin bile kopya çekme sanılmasından endişe etti
• Mevcut üniversite sisteminde kopya çekme durumunda en fazla 3 yıl üniversiteye giriş yasağı gibi ağır yaptırımlar bulunuyor
• Hoca, geçmiş kuşaklardan farklı olarak öğrencilerin sınav öncesi iş birliğinden bile kaçınan bir kültüre sahip olmasına şaşırdığını ifade etti

“Bilinç akışı” dosyası deneyi

• Öğrencilerden sınav sırasında kendi düşüncelerini gerçek zamanlı olarak kaydetmeleri istendi
  • Düzenleme ve silme yasak, kopyalama yasak; yalnızca URL’ye izin var
  • Chatbot kullanımı yasak; yalnızca kendi düşüncelerini yazmaları isteniyor
• 60 öğrenciden 55’i teslim etti; 24’ü git-send-email ile başarıyla gönderdi
• Bu kayıtlar sayesinde öğrencinin stresi ve düşünme süreci izlenebildi
  • Bazı öğrenciler, yazarken problemi daha net anladıklarını ve kaygılarının azaldığını ifade etti
  • Hoca, bu dosya sayesinde gerçek anlayışı olup da bunu ifade etmekte zorlanan öğrencileri değerlendirmede kurtarabildi

Sonuç ve eğitim felsefesi

• Hoca bu yöntemi gelecek yıl da sürdürmeyi planlıyor
• Chatbotlarda önemli olan, onların araç olarak kullanılabilme becerisi; iyi kullanılabiliyorsa illa gerekli değiller
• Asıl sorun, teknoloji değil; eski kuşağın altyapıyı bozması ve verimsiz sistemler
  • Outlook’un devreye alınmasıyla e-posta deneyimi kötüleşti; öğrenciler e-postaya “rektör spam kutusu” diyor
  • Pek çok öğrenci Git ile GitHub arasındaki farkı bile bilmiyor; bu da Microsoft’a bağımlı ortamların bir sonucu
• Hoca, öğrencilere “benim kuşağımdan daha hızlı ve daha derin öğrenin” mesajını vererek,
  kuşaklar arası öğrenme ilerlemesini ve eleştirel düşüncenin aktarımını vurguluyor

[GN⁺]

Hacker News görüşleri

• 10 yıl önce sınavlar elde yazılıyordu ve internet ya da LLM gibi şeyler yoktu
  Bugün de bu yöntem gayet işe yarıyor. Öğrencinin Google’da arama becerisi ölçülmüyorsa başka bir yönteme geçmek için çok neden olmadığını düşünüyorum

  • Ben de derslerimde yeniden kağıt sınava dönüyorum. Dijital cihazları yasaklıyor, değerlendirmeyi 7 kısa quiz’e yayıyorum. Projelerin ağırlığını %50’ye indirdim. Çünkü bunları öğrencinin gerçekten kendisinin yapıp yapmadığını doğrulamak zor
  • Sorun not vermeye zaman yetmemesi. Bazen 20 sayfayı 15 dakika içinde gözden geçirmek gerekiyor. Bu yüzden sınavları çoktan seçmeli, şema ve hesaplama sorularıyla sadeleştiriyorum. El yazısı çok kötü olan öğrenci de fazla, bu yüzden basit terminal girdilerine izin vermek makul olabilir. Ayrıca öğrencinin her şeyi ezberlemesinden çok, cevabı nerede bulacağını sezgisel olarak kavraması önemli diye düşünüyorum
  • Açık kitap sınavı yeni bir şey değil. Matematikte ya da biyolojide de sık görülürdü. Temel kavramları bilmiyorsan Google aramasıyla geçemezsin. Basit ezber yerine eleştirel düşünmeyi ölçen sınav tasarımı gerekli
  • Üniversitedeyken çevrimiçi derslerin yaygınlaştırılmasının zorlandığı bir dönem vardı. Ders kalitesi düştü, diplomanın değeri de sulandı. Kamu üniversitelerinin neden kar maksimizasyonu peşinde koştuğunu sorguluyordum
  • Bunun sonuçta ezber gücünü ölçen bir teste kaydığını düşünüyorum. Benim de orta vadeli hafızam iyiydi, bu yüzden sınavlarda başarılı oldum ama bu gerçek anlayış anlamına gelmiyordu. Yalnızca hafızası güçlü olanlara avantaj sağlayan yapı adil değil

• Birçok öğrencinin “Bunu neden öğrenmeliyim” sorusuna cevap bulamadığını hissediyorum
  Mezuniyetten sonra gerçeklik, “işten atılmayacak kadarını” bilmenin yeterli olması. LLM çağında bu eşik daha da düşüyor. Bu yüzden tam tersine geleneksel sınav biçimlerine dönmemiz gerektiğini düşünüyorum. Elle yazılan kapalı sınavlar, sözlü sınavlar, ödevlerin kaldırılması; bunun yerine binlerce soru ve çözümün yayımlanarak yaratıcılığın temeli olan ezber gücünün çalıştırılması

  • Bana göre üniversitenin amacı sadece “işten atılmamak” değil, insanlığın bilgisinin genişlemesine katkıda bulunmak. Ama bugün üniversiteler piyasa mantığıyla şirketlerin istediği insanları üreten yerlere dönüştü. Üstelik birçok iş aslında ‘anlamsız işler (bullshit jobs)’ de olabilir
  • Öğrencilerin LLM’lere sürekli bağımlı kalabileceğini varsaymak da tehlikeli. Ya LLM ücretleri aylık 1000 dolara çıkarsa? O zaman da iş yapabilecekler mi?
  • Avrupa’da eskiden beri sözlü sınavlar ve el yazısıyla yapılan sınavlar yaygındı. Ödev puanlaması kültürü bana hep daha tuhaf gelmişti. LLM çağında neyin öğrenilmesi gerektiği daha da önemli hale geldi diye düşünüyorum
  • Artık eğitimde soru “nasıl öğretelim” değil, “işin ve yetkinliğin anlamı nedir” sorusuna dönüştü. Toplum yetkinlikten çok performansa değer veriyor ve AI bu eğilimi daha da güçlendiriyor
  • Benim elektromanyetizma hocam “formülleri ezberleme, ilişkileri anla” derdi. Ama bence formül ezberi, ilişkileri anlamanın başlangıç noktası. Fizik yalnızca formüllerden ibaret değil, sistemlerin evrimsel yapısını anlama disiplini

• “Çoğu öğrenci chatbot kullanmak istemiyor” sözü artık doğru görünmüyor
  Ben bir üniversite hocasıyım ve LLM’ye bağımlı öğrencilerin sayısı patlayıcı biçimde artıyor. Gelecekte LLM olmadan ders çalışamayan bir nesil çıkar mı diye kaygılanıyorum

  • Haberdeki hoca ve öğrenci muhtemelen öğrenmenin kendisine ilgi duyuyordu, bu yüzden LLM’ye ihtiyaçları olmamıştır. Ama çoğu öğrenci için amaç geçmek, dolayısıyla LLM kullanmak rasyonel. Ben de ilgimi çekmeyen bir derste olsam muhtemelen LLM kullanırdım
  • Bu örnek özel bir sınav ortamı, o yüzden genellemesi zor. “AI kullanabilirsin ama sonuçtan sen sorumlusun” şartı varsa, hazırlıklı bir öğrenci zaten AI kullanma ihtiyacı hissetmeyebilir
  • Üniversitede LLM kullanımı yasaklanırsa öğrenciler korku aracılığıyla bağımsız düşünmeyi öğrenebilir. Eleştirel düşünme, sürekli pratik gerektiren bir beceri
  • LLM’ler gerçek anlamda ücret talep etmeye başlarsa, fiyat engeli yüzünden birçok öğrenci bunlara erişemeyebilir
  • Sorun, Google’ın aramayı bozup yerine LLM kutuları koyması. Sebep öğrencilerin isteği değil, şirketlerin yönelimi de olabilir

• Bazı hocalar öğrencilerin empati ve başkalarını gözetme becerilerinin şaşırtıcı derecede yüksek olduğunu hissetmiş. AI’ye yaklaşımları da diğer eğitimcilerden farklı olarak çok insani

• “Sınav sırasında öğrencilerin kendi aralarında tartışmasına izin veriyoruz” fikri ilginç
  O zaman takım halinde diploma vermek gerekmez mi diye bir şaka yapılıyor. Gerçekten takım halinde işe alım yapan şirketler de olduğuna göre, o kadar da kötü bir fikir olmayabilir

  • Asıl gönderinin yazarı benim. Ben Open Source Strategies dersi veriyorum. İşin özü işbirliği. Problemi tanımlamak, soru sormak ve verilen cevaplarla anlayışı genişletmek zaten çok iyi bir öğrenme biçimi.
    Bir başka yöntem de şu: Öğrenci 1 bir kavramı açıklar, öğrenci 2’nin anlaması için onu 20 dakika içinde öğretir. Ardından öğrenci 1, öğrenci 2’nin verdiği yanıta göre değerlendirilir. Bu, karşılıklı sorumluluk taşıyan işbirliğini teşvik eden bir yöntem
  • İki öğrencinin de aktif katılım göstermesini şart koşan bir kural olursa daha da iyi olabilir
  • Bu tür işbirlikçi derslerin, okulun rekabetçi kültürüne karşı bir tepki olarak ortaya çıktığı düşünülebilir
  • “Tüm diplomaları doğrudan OpenAI’a gönderelim” şeklinde alaycı bir şaka da yapılıyor. Bu, eğitimin değerinin sarsılmasına yönelik bir hiciv

• Bu hocanın esnek sınav tasarımı etkileyici. Öğrenciyi anlama, beklentileri net koyma ve birlikte öğrenme isteği pek sık görülmüyor

  • Asıl gönderinin yazarı benim. Çoğu hoca, standart sınavlarda başarılı olduğu için hoca oldu. Ben ise tam tersine kötü bir öğrenciydim. En düşük geçer notlarla mezun oldum ama açık kaynak alanında kariyer kurdum ve bunun sayesinde öğretim görevlisi olarak işe alındım. Geleneksel olmayan bu yola minnettarım

• “Öğrenciler kopya çekmekten korktukları için birbirleriyle işbirliği yapmıyor” sözü şaşırtıcıydı. Eskiden tam tersine kopya çok yaygındı diye duymuştum

  • Ben yüksek lisans düzeyinde ders veriyorum ve son birkaç yılda öğrencilerin yaklaşık %15’i açıkça intihal yaptı. Hatta bir keresinde iki öğrenci bayt düzeyinde aynı cevap kağıdını teslim etti
  • Bu ders, tüm öğrencilerin genel davranışını temsil etmiyor olabilir

• Bu hocanın ders işleme biçimi gerçekten düşünceli ve dengeli bir yaklaşım gibi geliyor. Öğrenciye aynı anda hem özerklik hem sorumluluk veriyor.
  “Benim hedefim, sizin benden daha hızlı ve daha derin öğrenmeniz” sözü özellikle etkileyici