- Bu çalışma, LLM'lerin (büyük dil modelleri) kullanımının deneme yazma sürecinde insanın bilişsel maliyeti üzerindeki etkisini analiz ediyor
- Katılımcılar LLM grubu, arama motoru grubu ve sadece beyin (Brain-only) grubu olarak ayrıldı ve araç kullanıp kullanmamalarına göre deneme yazma deneyine katıldı
- EEG (beyin dalgası) analizi sonuçlarına göre, LLM kullanımı sırasında sinir ağı bağlantısallığı ve bilişsel katılım en düşük, Brain grubu ise en yüksekti
- Deneme yazımından sonra sahiplenme duygusu (ownership), alıntılama becerisi ve hafızadan geri çağırmada en düşük sonuçlar LLM grubunda görüldü
- LLM kullanımının başlangıçta verimli olsa da uzun vadede öğrenme ve bilişsel yetilerde düşüşe yol açabileceğini düşündürüyor
Özet
Günümüzde ChatGPT gibi büyük dil modeli (LLM) ürünlerinin yaygın biçimde benimsenmesiyle, hem bireyler hem de şirketler LLM'leri günlük olarak kullanıyor. Bu araçlar kendilerine özgü avantajlar ve sınırlamaları birlikte taşıyor. Bu çalışma, LLM'lerin deneme yazımı gibi eğitsel bir bağlamda kullanıldığında ortaya çıkan bilişsel maliyete, yani LLM kullanımının öğrenenin bilişsel yapısı ve beyin aktivitesi üzerindeki etkisine odaklanıyor.
Araştırma kapsamında katılımcılar LLM grubu, arama motoru grubu ve Brain grubu olarak ayrıldı ve her oturumda ilgili aracı (ya da araçsız koşulu) kullanarak deneme yazdı. Toplam 54 kişi 1-3. oturumlara katıldı, bunlardan 18'i 4. oturumu da tamamladı. 4. oturumda LLM grubu araç kullanmadan yazarken, Brain grubu LLM kullanacak şekilde roller değiştirildi (LLM-to-Brain, Brain-to-LLM). Deneme yazımı sırasında katılımcıların EEG (beyin dalgası) sinyalleri kaydedilerek bilişsel katılım, yük ve sinirsel bağlantısallık analiz edildi; ayrıca her oturum sonrasında görüşmeler, NLP (doğal dil işleme) analizi ve insan öğretmenler ile AI değerlendirme ajanlarının puanlamaları yapıldı.
Analiz sonucunda Named Entities Recognition (NER), n-gram ve konu ontolojisi açısından her grup içinde yüksek benzerlik doğrulandı. Beyin dalgası analizine göre her grup için sinirsel bağlantı kalıpları belirgin biçimde farklıydı ve dış araç desteği arttıkça beyin bağlantı ağının ölçeği ile katılım düzeyi azaldı (Brain > arama motoru > LLM). 4. oturumda LLM-to-Brain katılımcıları zayıflamış beyin bağlantısallığı, düşük alfa-beta ağ etkinliği ve düşük konu sahiplenmesi gösterdi. Buna karşılık Brain-to-LLM katılımcılarında hafızadan geri çağırma becerisinde artış ve görsel işlemeyle ilişkili beyin bölgelerinde yeniden etkinleşme gözlendi. LLM grubunun denemeleri sahiplenme duygusu, alıntılama becerisi ve hafızadan geri çağırma açısından zayıftı; arama motoru grubu bir miktar iyileşme gösterse de Brain grubunun gerisinde kaldı.
Sonuç olarak LLM kullanımı kısa vadeli üretkenlik artışı sağlasa da, aylar boyunca tekrarlandığında beyin davranışı, dilsel başarı ve puanlar bakımından Brain grubuna kıyasla sürekli olarak daha düşük performans sergiledi. Bu çalışma, AI araçlarının aşırı kullanımının öğrenme ortamlarında bilişsel ve pratik gerilemeye yol açabileceğini düşündürüyor ve uzun vadeli öğrenme tasarımında dikkatli olunması gerektiğini öne sürüyor.
Deneyin temel sonuçlarının özeti
- 4. oturumda Brain-to-LLM katılımcıları, 1-3. oturumlardaki LLM grubuna göre daha yüksek beyin bağlantısallığı gösterdi (alfa, beta, teta, delta dahil tüm bantlarda). Bu, AI yardımı olmadan önce kendi başına yazma deneyimi olan kişilerin daha sonra AI kullandığında daha geniş beyin ağlarının etkinleştiğini düşündürüyor
- LLM-to-Brain katılımcılarında, daha önce LLM kullanmış olsalar da araçsız yazım sırasında çoğu beyin dalgasında nörolojik iş birliği eksikliği (bağlantısallık düşüşü) ve LLM'ye özgü kelime önyargısı gözlendi
- Hem AI hem de insan puanlamasında LLM grubunun denemeleri NER/n-gram çeşitliliği bakımından düşüktü ve yapısal olarak benzeşiyordu
- Konu bazlı analizde LLM grubu ile Brain grubu arasında belirli konularda (HAPPINESS, PHILANTHROPY) anlamlı ölçüde farklı kullanım örüntüleri görüldü
- Gruplara göre OWNERSHIP (sahiplenme duygusu) ve alıntılama becerisi sıralaması Brain > arama motoru > LLM şeklindeydi
Makale içeriği rehberi
- Hızlı genel bakış: Discussion, Conclusion
- Deneme metni NLP analizi: NLP ANALYSIS
- Beyin dalgası verisini anlama: EEG ANALYSIS
- Konu bazlı derinlemesine analiz: TOPICS ANALYSIS
- Deneyin ayrıntılı yöntemi ve katılımcı etkinlikleri: EXPERIMENTAL DESIGN
- Ekler: ek veriler, EEG dDTF değerleri vb.
Giriş
Büyük dil modellerinin hızlı yaygınlaşması, iş, eğlence ve öğrenme gibi gündelik alanları köklü biçimde değiştirdi. LLM'ler öğrenme deneyimini kişiselleştirme, anlık geri bildirim ve eğitim materyallerini demokratikleştirme açısından eğitim alanında büyük potansiyel taşıyor. Nitekim öğrenen özerkliği, katılım artışı ve bireyselleştirilmiş öğrenme stillerinin desteklenmesi gibi olumlu etkiler raporlandı.
Bununla birlikte LLM'lerin yaygın kullanımına ilişkin bilişsel yan etkiler de gündeme geliyor. Bu araçlar anlık bilişsel yükü azaltma avantajı sunsa da, eleştirel düşünme becerisinde zayıflama, derin analiz kapasitesinde düşüş ve katılımda azalma rapor ediliyor. Özellikle AI'ye bağımlılık arttıkça beynin analiz ve yargılama yetileri körelebilir. Araştırmalar özellikle genç kuşakların AI araçlarına daha bağımlı olduğunu ve buna paralel olarak bilişsel performans puanlarının da daha düşük olma eğilimi gösterdiğini vurguluyor.
Ayrıca AI ile etkileşimin bireyin bağımsız problem çözme ve eleştirel düşünme fırsatlarını azaltabildiği de gösterildiğinden, bunun uzun vadede insanların zihinsel gelişimi ve özerkliği üzerinde olumsuz etkiler yaratabileceği endişesi doğuyor. Geleneksel arama motorlarından farklı olarak LLM'ler çeşitli bakış açıları sunmaktan çok tekilleşmiş yanıtlar ürettiği için, kullanıcıları aktif bilgi arayışından pasif tüketime kaydırma eğilimindedir; bunun bilgi işleme ve değerlendirme biçimi üzerinde de uzun vadeli etkileri olabilir.
Bu çalışma, LLM destekli deneme yazımının bilişsel maliyetini ampirik olarak ölçüyor. Deneme yazımı; yazma, bilgiyi düzenleme, alıntılama ve eleştirel düşünme gibi çok sayıda bilişsel sürecin birlikte gerektiği bir görev olduğundan, eğitim ortamlarında ve standart değerlendirmelerde sıkça kullanılıyor. Çalışma, LLM gibi AI araçları eğitime entegre edilirken uzun vadeli bilişsel etkilerin dikkatle değerlendirilmesi gerektiğini gösteriyor.
Deney tasarımı ve bazı ayrıntılar
- Her oturumda katılımcılar gruplar arasında yeniden dağıtıldı veya araç kullanım koşulları değiştirilerek LLM, arama motoru ve Brain (araçsız) koşulları karşılaştırmalı olarak ölçüldü
-
- oturumda Brain-only grubu ilk kez LLM kullandı (Braind-to-LLM), LLM grubu ise araç kullanmadan yazdı (LLM-to-Brain)
-
- Deney boyunca beyin dalgası ve NLP göstergeleri, denemelerin sahiplenme düzeyi, alıntılanabilirliği ve konu bazlı çeşitliliği sistematik biçimde değerlendirildi
- Beyin dalgası analizinde odak noktası sinir ağı bağlantısallığı (dDTF analizi) gibi işlevsel beyin bağlantılarındaki değişimdi
Deney ve analiz sonuçlarının öne çıkan özellikleri
- LLM kullanımı sırasında beyin dalgası ve dilsel çeşitlilik belirgin biçimde azaldı; çalışma üzerindeki sahiplenme duygusu, hafızadan geri çağırma ve alıntılama becerisi de zayıfladı
- Brain-only grubu, genel olarak beyin ağlarının etkinliği, dilsel çeşitlilik, sahiplenme duygusu ve alıntılanabilirlik açısından en iyi sonuçları verdi
-
- oturumda Brain-to-LLM katılımcılarında, araç kullanılmadan önceki döneme kıyasla hafızadan geri çağırmada artış ve görsel-frontal bölgelerde yeniden etkinleşme gibi güçlü sinir ağı değişimleri gözlendi
- Genel olarak AI bağımlılığı arttıkça öğrenme sürecinde bilişsel verimliliğin düşmesi ve etkin öznenin kaybı yönünde kaygılar ortaya çıktı
Sonuç olarak ne anlama geliyor
Bu makale, AI destekli öğrenme araçlarının kısa vadede verimliliği artırsa da, uzun vadede bilişsel yetiler, öğrenme motivasyonu, sahiplenme duygusu ve hafıza gibi öğrenmenin temel unsurları üzerinde olumsuz etkiler yaratabileceğini çok katmanlı verilerle gösteriyor. Ayrıca AI ve LLM gibi ileri eğitim teknolojileri tasarlanırken ve uygulanırken bu bilişsel borcun ve öğrenme kalitesindeki düşüşün dikkatle hesaba katılması, ayrıca daha fazla araştırma yapılması gerektiğini düşündürüyor.
1 yorum
Hacker News görüşü
Bana göre “cognitive debt” ifadesindense bilişsel gerileme ya da bilişsel yeti kaybı daha uygun bir açıklama; beyin gereksiz bilgiyi saklamaz. Google Maps kullanımıyla ilgili daha önce yayımlanan çalışmalara bakınca, GPS’i sık kullanmanın mekânsal hafızayı zayıflattığı, hatta harita kullanıcılarında beynin gri madde miktarını azalttığına dair sonuçlar var. Bilim alanında uzmanlık geliştirmiş herkesin bildiği gibi, bir kavramı gerçekten anlamak için onun üzerine yeterince düşünmek ve farklı fikirler arasındaki bağlantıları derinlemesine incelemek gerekir. Bir matematik kitabını üstünkörü okumakla matematik kolayca öğrenilmez; mutlaka durup derin düşünmek gerekir. Bence düşünme eyleminin kendisi, zihinde kavramları yerleştirip zaman geçse de işe yarar hale getiren süreçtir.
Bir matematik kitabını kabaca okuyup matematiği öğrenmiş olmazsın; mutlaka durup düşünmek gerekir. Ve en önemlisi mutlaka “yazmak”tır. Yazmak beynimin düşünceleri yapılandırmasına yardımcı oluyor. Yazı, benimle kendim arasında yapılandırılmış bir diyalog kuran bir araç. Farklı yolları keşfetmeyi mümkün kılıyor. Sadece düşünmenin sınırları var ama yazı, düşüncelerimi neredeyse sınırsız biçimde keşfetmemi sağlıyor. Düşünme eyleminin yazıyla çok yakından ilişkili olduğunu düşünüyorum (yazı, çizim, formül, grafik gibi hangi biçimde olursa olsun). Şimdi LLM’lerin giderek bizim yerimize yazdığı bir dönemde, bunun bilişsel yetilerime nasıl yansıyacağını merak ediyorum.
Bence cognitive debt terimi doğru. Hiç LLM ile büyük bir rapor yazdınız mı? LLM yapı kurup grafikler ve argümanları da kolayca üretmeye başladığında, ortaya çıkan şey giderek bana ait olmaktan çıkıyor. Kendi adımla teslim etsem de, benden açıklama istendiğinde çoğu zaman muğlaklaşıyor. Normalde kafamda daha üst düzeyde gerçek bir anlayış olurdu ama LLM kullanınca bu süreç atlanıyor. Ana kavramları açıklamaya çalışırken gerçekten zorlanıyorum. Sonuçta, özsel kavramları zihnimde bizzat kurup tekrar tekrar değiştirerek farklı kitlelere aktarma sürecini gerçekten yaşamam gerekiyor. Cognitive debt, LLM öncesinde mutlaka kurduğum zihinsel model ile LLM kullanırken ortaya çıkan yüzeysellik arasındaki farkı anlatıyor. Sonuçta raporda benim adım geçiyor ama zamanla insanlar yazarın yetkinliğine dair beklentilerini düşürebilir ya da açıklamayı doğrudan LLM’nin yapmasını bekleyebilir. Her LLM, farklı iç modeller ve algoritmalarla gerçekliği taklit ediyor; en isabetli öngörü için yeterli bir 'anlama derinliği' gerekiyor. LLM’ye bağımlı yazma bu derinliği oluşturmuyor. Uzun vadede bu, toplum genelinde bilişsel gerilemeye ya da beceri kaybına yol açabilir. Matbaanın ortaya çıktığı dönemde de dinî elitler sıradan insanların düzgün okuyup yorumlayamayacağından endişe etmişti ama pratikte öyle olmadı. Yazmanın düşünmenin kendisi olduğu fikrine katılıyorum (hâlâ yazıdan daha iyi bir araç bulamadığımızı düşünüyorum) ve düşünme, geleceği daha iyi tahmin edebilmek için bilgiye dayalı zihinsel modeller kurma sürecidir. Hayatta kalışımız bile buna bağlı. Bilgi kuramı açısından bakarsak, “biyoloji ancak bilginin ışığında açıklandığında anlam kazanır” YouTube bağlantısı
“Beyin gereksiz bilgiyi saklamaz” sözüne karşılık, 20 yıldan uzun süredir kullanmadığım halde DOS’ta
config.sysveautoexec.batile bellek optimizasyonu yapmayı neden hâlâ hatırladığımı merak ediyorum. Muhtemelen bu tekniği bir daha asla kullanmayacağım.“Cognitive decline” veya “brain rot” gibi terimler fazla kışkırtıcı gelebilir ve söz konusu makale de örneklem sayısının azlığı gibi sınırlamaları açıkça belirtiyor. Makalede “cognitive debt” terimi için bir dayanak ya da atıf da yok, bu yüzden başlık tuhaf hissettiriyor. Sanki en sonda sadece başlığı değiştirmişler gibi bir izlenim veriyor. Yine de MIT’den ilginç bir araştırma. Her psikoloji çalışmasında olduğu gibi sağlıklı bir şüphecilik ve bağımsız doğrulama gerekli. Beyin görüntüleme ile psikometrik yöntemleri bir araya getiren kapsamlı bir paket gibi duruyor. “LLM kullandığınızda beyniniz böyle görünüyor” türü görsellerin çoğunu eğlenceli buluyorum.
“Beyin gereksiz bilgiyi saklamaz” sözü kulağa mantıklı geliyor ama bisiklete binmek gibi, bir kez öğrenildiğinde ömür boyu unutulmayan becerilerin de var olması gerçekten ilginç.
“Cognitive debt” hakkındaki tartışma yerinde ama bence daha geniş bir bakış da gerekiyor. Bu sadece dil ya da mekânsal hafıza gibi becerilerin geçici olarak kaybolması veya unutulması meselesi değil. Mesele, bütüncül muhakemeden sorumlu sinir devrelerinin sistematik ve geri döndürülemez biçimde küçülmesi olabilir. “Debt” yani borç terimi, bunun pratikle geri ödenebileceği ya da toparlanabileceği imasını taşıyor ama asıl tehlike “cognitive tipping point”i aşmak olabilir. Aşırı miktarda yürütücü işlev, bütünleştirme ve akıl yürütme yükünü dış sistemlere, yani LLM’lere devredersek, beyin sadece kullanılmayan devreleri acımasızca budamakla kalmaz, onları yeniden kurma kapasitesini de kaybetme riski taşır. İnsan beyni sürüm kontrolü olmayan bir “use-it-or-lose-it system”. Karmaşık bilişsel yetiler bir kez kaybedildiğinde, adeta “kaynak kodun” kendisi bozulmuş olur. Çökmüş bir neural network için
git revertde yapılamaz. Bu HN yorumları deneme yazımına odaklanıyor ama gerçekte toplumun tamamı, zihinsel yetileri dışsallaştırmaya yönelik büyük ve denetimsiz bir deney yürütüyor. Uzun vadede toplumun sadece becerisizleşmesi değil, belirli düşünme biçimlerinin artık fiilen imkânsız hale geldiği yapısal sınırlara hapsolması gibi bir risk var. Bu yüzden asıl soru yalnızca “bilişsel borçtan nasıl kaçınırız?” değil. Asıl korku, “biyolojik beyin kendi kendini optimize ederken tembelliğe ölümcül biçimde uyum sağlıyorsa, zihnimizi taşıyacak yeni bir kapsayıcıya ihtiyaç duyar mıyız?” sorusu ilgili bağlantıAI, Zettelkasten’in (bağlantılı not sistemi) zıttı gibi. İnsanların bir konuya bizzat derinlemesine girip daha derin içgörüler elde etmesi yerine, AI tabanlı çıktılar üzerinde hızlı ama yüzeysel tekrarlar yapılıyor. Örneğin Orta Doğu’daki durumu anlamak için OpenAI ile birlikte Hamas ve Hizbullah’ın kökenleri üzerine 10 sayfalık bir deneme yazdım ama aklımda hiçbir şey kalmadı. Kalan birkaç şeyde bile, bunların benim düzelttiğim AI halüsinasyonları mı yoksa gerçek bilgi mi olduğundan emin değildim.
LLM’nin yararlılığı konusunda nispeten iyimserim ama yukarıdakine katılıyorum. LLM’leri iyi kullanmaya dair bir sezgi geliştirilebilir ama bu, gerçekten açıklanabilir bilgi ya da zorlayıcı düşünme kapasitesi geliştirmek demek değil. Hatta daha çok belirli çıktı örüntülerine karşı bir “kas hafızası”, istem ayarlama ve bağlam yönetimine alışmak anlamına geliyor. Bu tür “becerilerin” de model daha iyi hale geldikçe hızla değersizleşeceğini düşünüyorum. Bu durum bir ölçüde montaj hattı çalışanlarının hissettiği güçsüzlüğe benziyor.
İnsanların eliyle düzelttiği kısımlar daha akılda kalıyor gibi. Sorunsuz geçen bölümlerden ziyade, bizzat müdahale ettiğim yerleri daha iyi hatırlıyorum.
Çoğu zeki insan, yazmanın sadece bir çıktı üretme yolu değil, aynı zamanda bir “düşünme” süreci olduğunu çok iyi bilir. LLM, bu süreçte hatalarımı işaret eden, boşlukları ve yanlışları bulan ya da dünyayı anlamaya yönelik genel araştırmalarda yardımcı olan iyi bir sparring partner olabilir. Ama bu, LLM’nin yazıyı “benim yerime yazması” için değil, benim kendi düşünme sürecime yardımcı olması için kullanıldığında geçerli. Yine de ortaya çıkan sonuçlarda kaynakları mutlaka doğrulamak gerekir.
Açıkçası bu araştırma sonucu bana sürpriz gelmedi. AI ile yazı veya çeviri işlerimde yardım aldığımda, kendimi aktif biçimde dahil olmuş ya da düşünceye derinlemesine angaje olmuş gibi daha az hissediyordum. Buna karşılık AI’yi bambaşka şekillerde kullandığımda çok daha yüksek bir zihinsel dalış yaşıyorum. İki hafta boyunca Claude Code ile fikir geliştirme, araştırma ve deneme/makale otomasyonu denedim; bu süreç de baştan sona “gerçek” yazı kadar zihinsel olarak sürükleyiciydi, sadece doğası farklıydı. Denediğim çıktılar da epey iyiydi. AI’nin yazdığı bir deneme ya da makale bile doğrudan okununca yeterince ilginç olabiliyor. Yine de bunu yayımlamayı ya da makale gibi teslim etmeyi düşünmüyorum.
Buna “cognitive offloading” deniyor. Kodlama asistanlarıyla yeterince uzun çalışmış herkesin kolayca anlayacağı bir durum.
Bu, makineleşmenin insan endüstrisi üzerinde yarattığı etkiye benzer biçimde, LLM gibi yeni teknolojilerin bilişsel yapımız üzerindeki etkisini geniş çerçevede düşünmemizi gerektiriyor. Bence otomasyon, tekrarlayan ve sıkıcı işleri devralarak insanlara daha yaratıcı ve yenilikçi şeylere yönelecek enerji ve zamanı sağlar. Asıl merak ettiğim, LLM, GPS gibi araçların artan kullanımının sadece kısa vadeli değişimler değil, uzun vadede düşünme biçimimizin kendisini de değiştirip değiştirmeyeceği. Arama motorlarına alışarak büyüyen kuşakların ezber gücü azaldı ama buna karşılık bilgiyi “nasıl bulacağını” hatırlama biçiminde uyum sağladılar. Bu da gelişimin, mevcut işlevlerin doğal olarak yer değiştirdiği sürekliliği mi olacak, yoksa LLM’ye artan bağımlılık yerini hiçbir şeyin dolduramayacağı temel becerilerin kaybına mı yol açacak, bunu düşündürüyor.
Aşağıdaki alıntıda, “LLM’ler soru-cevap sürecine giriş bariyerini düşürdü ama bu kolaylığın bedeli olarak kullanıcıların LLM yanıtlarına ya da ‘görüşlerine’ (aslında eğitim verisine dayalı olasılıksal tahminler) eleştirel yaklaşma eğilimi zayıflıyor” deniyor. Sonuçta ‘echo chamber’ etkisi ortadan kalkmadı; tersine, kullanıcıların maruz kaldığı içerik artık algoritmanın öncelik verdiği ve öne çıkardığı içerikler etrafında yapısal olarak yeniden düzenleniyor. Bu “öncelik” de LLM sahibinin (hissedarlarının) değerlerini yansıtıyor.
Bu konu son zamanlarda benim de sık sık düşündüğüm bir şeydi; bu yüzden copilot’u sadece kısa süre denedim. Kariyerimin başındayım ve her gün öğreniyorum. LLM desteğiyle işleri daha hızlı bitirebilirim ama o zaman becerileri gerçekten öğrenme fırsatını kaybedeceğimi hissediyorum. “Düşük seviyeli eleştirel düşünme giderek anlamsızlaşacak, gelecekte sadece yüksek seviye/soyut planlama gerekecek” iddiasına katılamıyorum. Duygusal olarak da, bir şeyi bildiğimi ve bizzat yapabildiğimi hissetmek bana gurur ve anlam veriyor. LLM kullanmanın zor olduğunu düşünmüyorum; gerekirse en güncel aracı seçip kullanırım. Ama şimdilik kendi başıma öğrenip gelişme süreci bana daha değerli geliyor.
Bence AI’nin benimsenmesi yalnızca giriş seviyesi çalışan sayısını azaltmakla kalmıyor; geride kalan giriş seviyesindekilerin bile AI kullana kullana hiçbir şey öğrenemeyip sonsuza kadar giriş seviyesinde kalma riski var.
AI ile birlikte yazınca o anda metin akıcı biçimde ortaya çıkıyor gibi görünüyor ama fikirleri gerçekten ciddiyetle düşünmediğim hissi oluyor. Ortaya çıkan yazı da kulağa hoş geliyor ama bir süre sonra o cümleyi neden yazdığımı hatırlamıyorum. Şimdi önce ilk taslağımı kendim yazıyor, sonra AI ile parlatıyorum. Biraz daha emek istiyor ama kesinlikle daha çok şey öğreniyorum ve daha uzun süre aklımda kalıyor.