- Büyük dil modellerinin (LLM) kullanılarak makale yazımının insanın beyin aktivitesi ve bilişsel yükü üzerindeki etkisini deneysel olarak inceleyen bir araştırma
- LLM kullanıcılarının yazı üzerindeki sahiplenme duygusu daha düşüktü, kendi yazılarını doğru biçimde alıntılamakta zorlandılar ve uzun vadede dilsel, davranışsal ve sinirsel düzeylerde performans düşüşü sürdü
- Katılımcılar LLM, arama motoru ve yalnızca beyin kullanımı (Brain-only) olmak üzere üç gruba ayrılarak aynı görevi yerine getirdi; bazıları ise koşullar çapraz değiştirilerek karşılaştırıldı
- EEG (beyin dalgası ölçümü) sonuçlarında, Brain-only grubu en güçlü ve en geniş beyin bağlantı ağını gösterirken, LLM kullanıcıları en zayıf bağlantısallığı sergiledi
- Araştırma, yapay zeka bağımlılığının öğrenme sürecinde bilişsel bir maliyet doğurabileceğini gösteriyor ve eğitimsel etkilerinin derinlemesine incelenmesi gerektiğini ortaya koyuyor
Araştırmaya genel bakış
- Araştırma, kompozisyon yazarken AI destek araçlarının beyin aktivitesi ve davranış üzerindeki etkisini inceliyor
- Katılımcılar LLM (ChatGPT vb.), arama motoru ve Brain-only (araç kullanılmadan) olmak üzere üç gruba ayrıldı
- Her grup aynı koşullarda üç oturum gerçekleştirdi; dördüncü oturumda ise bazı katılımcıların koşulları çapraz değiştirildi
- LLM kullanıcıları Brain-only koşuluna geçti (LLM-to-Brain)
- Brain-only kullanıcıları LLM koşuluna geçti (Brain-to-LLM)
- Toplam 54 kişi 1–3. oturumlara katıldı, bunlardan 18’i 4. oturumu da tamamladı
Deney yöntemi
- EEG (elektroensefalografi) ile kompozisyon yazımı sırasında bilişsel yük ve beyin bağlantısallığı ölçüldü
- Yazılan kompozisyonlar için doğal dil işleme (NLP) analizi yapıldı; ayrıca insan eğitmenler ve yapay zeka değerlendiriciler tarafından puanlama gerçekleştirildi
- NER (adlandırılmış varlık tanıma), n-gram örüntüleri ve konu ontolojisi analizlerinde, grup içi benzerliğin yüksek olduğu görüldü
Başlıca bulgular
- EEG analizi gruplar arasında belirgin farklar ortaya koydu
- Brain-only grubu en güçlü ve en geniş beyin bağlantı ağını gösterdi
- Arama motoru grubu orta düzeyde katılım sergiledi
- LLM grubu en zayıf bağlantısallığı gösterdi
- Harici araç kullanımı arttıkça bilişsel etkinliğin azaldığı eğilimi gözlendi
-
- oturumda LLM-to-Brain geçişi yapanlarda alfa ve beta bant bağlantısallığında azalma, yani bilişsel olarak düşük etkinlik durumu görüldü
- Buna karşılık Brain-to-LLM geçişi yapanlar bellekten geri çağırma becerisinde artış ile oksipital-parietal ve prefrontal bölgelerde aktivasyon gösterdi; bu durum arama motoru kullanıcılarına benzerdi
Davranışsal ve dilsel gözlemler
- Kompozisyon üzerindeki sahiplik duygusu (Self-reported ownership) LLM grubunda en düşük, Brain-only grubunda en yüksekti
- LLM kullanıcıları kendi yazılarını doğru biçimde alıntılamakta zorlandı
- 4 aylık takip sonucunda, LLM kullanıcılarında sinirsel, dilsel ve davranışsal düzeylerde kalıcı düşük performans gözlendi
Sonuç ve çıkarımlar
- LLM’ler anlık kolaylık sağlasa da, uzun vadeli bilişsel maliyet (cognitive cost) yaratıyor
- Araştırma, yapay zeka bağımlılığının öğrenme ve düşünme becerileri üzerindeki olumsuz etkileri konusunda uyarıyor
- Eğitsel ve bilişsel açıdan yapay zeka kullanımında denge kurulması ve yaklaşımın yeniden değerlendirilmesi gerektiğini vurguluyor
- MIT Media Lab, bu sonuçlar üzerinden yapay zeka çağında öğrenme mekanizmalarının yeniden tasarlanması gerektiğini gündeme getiriyor
14 yorum
Araştırmayı meslek edinmiş biri olarak ben bu meseleyi sürekli dile getiriyorum. İnsanların mevcut işlevlerinin yerini alan araçlar geçmişte genelde belirli işlevleri ikame ederdi; bilişin kendisini ikame ettikleri durumlar ise nadirdi. Bilişsel işlevler yük altında kalma sürecinde işlevsel öğrenmeyle gelişir; siz de bu fırsatı kendinizden mahrum bırakmış oluyorsunuz. "Başka işlere odaklanamaz mısın?" denebilir, ama eğer bilişsel işlevin kendisi hiç gelişememişse, başka bir şey yapma fırsatı bile doğmayabilir. Elbette bu, geçiş döneminde ortaya çıkan bir olgu da olabilir; ancak son dönemde görüştüğüm junior'lara ve okuldan alt dönem arkadaşlarıma baktığımda, sorunun düşündüğümden daha ciddi olduğunu hissediyorum. Araçların nasıl kullanıldığı önemlidir, bu doğru; ama küçücük bir akıllı telefonu bile kontrol edemeyip yürürken telefona bakan smartphone zombie'lerin ortalığı sardığı bir ortamda, insanların çoğunun bunu kontrollü biçimde iyi kullanacağını beklemiyorum.
Ben de bu sorun nedeniyle LLM'lere bağımlı olmaya karşı temkinliyim. İnsanların ürettiği şeylerin çoğunda öz olan şey 'niyet'tir. Film de, yemek de, teknoloji de... Uygulamanın yalnızca yaklaşık %15 oranında önemli olduğunu hissediyorum.
LLM zaman kazandırıyorsa, kazanılan o zamanı kaliteyi artırmak için kullanmak gerekir
> Her yeni mecra ortaya çıktığında benzer tartışmalar yaşandı
> Sokrates yazının hafızayı bozduğunu söylemişti, Gutenberg çağında ise derin düşüncenin yok olup olmayacağı konusunda endişe vardı
Bence bu görüş ilginç. Referans: xkcd.com/1601 xkcd.com/1227
Hacker News görüşleri
Yapay zekayı çok sık kullanınca problem çözmeye dalma hissinin azaldığını hissediyorum
Karmaşık bir Sugiyama framework tabanlı graph layout algoritması uygularken yapay zeka sayesinde kavramları hızlıca öğrendim, ama kodu ona doğrudan yazdırınca tam tersine anlayışım tıkandı
Sonrasında Copilot IDE yerine Copilot 365 uygulamasına geçip prensipleri ona anlattırıp debug işini kendim yapınca yeniden o odak hissini kazandım
Bence yapay zekaya işi yaptırmak yerine onu etkileşimli bir ansiklopedi gibi kullanmak çok daha iyi
Artık code review ya da mimari tasarıma daha çok odaklanabildiğim için zamanımı işin özüne harcayabiliyorum
Yapay zekayı ansiklopedi gibi kullansan da bilgi arama becerisi azalacaktır, ama zaman ve enerji tasarrufu şeklindeki trade-off buna değer olabilir
Başta “LLM'e sorayım gitsin” ile başladı, sonra “ben biraz dinlenirken LLM benim yerime yapıyor” noktasına geldi, ardından “LLM fikirlerimi takip edip bana yeni ilham veriyor” aşamasına evrildi
Ama sonunda deadline'lar ve gerçek iş hayatı geliyor
Yeni bir mecra ortaya çıktığında hep benzer tartışmalar yaşandı
Sokrates yazının hafızayı bozduğunu söylemişti, Gutenberg çağında da derin düşünmenin kaybolacağından endişe ediliyordu
Bu araştırmanın örneklemi küçük ve süresi kısa olduğu için güvenilirliği düşük, ama LLM'ler hesap makinesi ya da Google'dan farklı olarak tüm bilişsel sürecin yerini alma potansiyeline sahip, bu yüzden niteliksel olarak farklı
Belki de bilişsel yetenekler yok olmuyor, sadece biçim değiştiriyor. Sonucu ancak 20 yıl kadar sonra anlayacağız gibi görünüyor
Yazı bilmeyen insanlar muazzam ezber gücüne sahipti, şimdi ise makinelere dayanıp tembelleştik
İnternetin yaygınlaşmasının üzerinden 30 yıl geçti ama verimlilikte büyük bir sıçrama görülmediğini söyleyen verimlilik paradoksu da var (https://en.wikipedia.org/wiki/Productivity_paradox)
LLM'ler bu üç aşamayı da zayıflatıyor. Bunun yerine onları kişiselleştirilmiş öğretmen gibi kullanıp bize soru sordurursak beyni geliştirebiliriz
Ama şirketler o yöne gitmeyeceği için, daha iyi bir yön için bizim mücadele etmemiz gerekiyor
Hesap makinesi de benzer biçimde karmaşık hesap yapma becerisini zayıflattı
Değişim olumluysa yeni öğrenme değerlendirme yöntemleri, olumsuzsa LLM engelleme politikaları gerekir
Her iki durumda da eğitim sisteminin yeniden tasarlanması kaçınılmaz
Junior'lar basit işlerden geçerek gelişemezse senior'lar da ortadan kalkar
Öğrenci açısından bakınca, yapay zeka destekli öğrenmenin yarardan çok zararı var
Deneme-yanılma ve öz değerlendirme süreci ortadan kalkıyor, hatta düşünmenin kendisi bile otomatik bir sisteme devrediliyor
Eskiden sadece Instagram'ı engellemek yeterliydi, şimdi ise düşüncenin kendisini engellemek gereken bir çağa girdik
Psikolog Cat Hicks ve nörobilimci Ashley Juavinett'in Change, Technically podcast'inde bu araştırmanın sorunları iyi ele alınıyor
ChatGPT insanları aptallaştırabilir, ama bunu bu tür bir araştırmayla kanıtlayamazsın
Ben ise tam tersine yapay zeka sayesinde ADHD belirtilerimin hafiflediğini hissediyorum
Fikirlerimi etkileşimli bir notebook gibi toparlayabiliyorum ve LaTeX ile uzun metin yazma süreci çok daha keyifli hâle geldi
Sanki ADHD'si olmayan biri gibi işlev görüyorum
Kendim kod yazarken akışa girebiliyorum, ama yapay zekanın yanıtını beklerken dikkatim dağılıyor
ChatGPT ile tasarım konuşmaları yapıyor, Copilot'tan kod tarafında destek alıyorum
Hatta öğrenme hızım ve kavrayışım arttı
Hiç ADHD testi yaptırmadım ama odaklanma sorunu yaşadığımı kesinlikle hissediyorum
Arkadaşım, 20'li yaşlardaki iş arkadaşının öğle yemeği hesabını ChatGPT'ye yaptırdığını anlattı
Genç kuşağın basit aritmetiği bile yapay zekaya bırakması şaşırtıcı geldi
Hatta Google Sheets'e Excel dedikleri bile oluyor
İnsan zaten aritmetikte çok iyi değil; ille de elle yapmaya gerek yok
Basit hesap yapmak problem çözmek değildir
Artık AI okuma ve yazmayı da üstlenirken, insanlar daha üst düzey düşünmeye odaklanabilir
Druidler yazıya geçirilmesine nasıl karşı çıktıysa, hafıza kaybı da hep vardı
Yine de yazı yayıldı; bizim daha mı akıllı yoksa daha mı aptal olduğumuzu ise hâlâ bilmiyoruz
Yine de kişiselleştirilmiş öğretmen gibi kullanılırsa beyni geliştirebilir
Sonuçta AI'ın yönünü bizim belirlememiz gerekiyor
Çünkü artık telefon numaralarını ya da yolları ezberlemek gerekmiyor
Ama AI bize zaman kazandırıyorsa, bunu birincil kaynakları okumaya ayırabiliriz
Sonuçta din de ilk dikkat ekonomisiydi
İronik biçimde, onun kaygı duyduğu sorunu bugün LLM'ler çözüyor
GPS bağımlılığı ile AI bağımlılığı benzer bir sorun
Kimi yolu ezberleyemiyor, kimi de körü körüne takip ediyor
Bu, şehir yapısını öğrenmeye yardımcı oluyor
LLM'de de benzer şekilde, AI cevap üretirken ben de problemi kendim çözmeye yarışarak odağımı koruyorum
Genç kuşakların GPS olmadan arabayı hareket ettirememesi endişe verici
LLM için de aynı şey geçerli; fazla bağımlılık düşünme becerisinin kendisini dış kaynak kullanmaya dönüştürüyor
Kimisi çevresini hızla öğrenir, kimisinin ise daha fazla zamana ihtiyacı olur
Bu araştırma, katılımcılara 20 dakikalık bir deneme yazdırılan bir deneydi
Böyle bir ortamda insanlar yalnızca kısa vadeli verimliliği kovalar, bu da gerçek bilişsel etkiyi ölçmekten uzaktır
Asıl bakılması gereken, LLM'lerin gerçekten anlamlı görevlerde ne tür bir etki yarattığı
Sonuçta varılan yer, “robotun tenis oynamasını izleyen kişiye kıyasla, bizzat oynayan kişi kaslarını daha çok kullandı” düzeyinde bir sonuç
Bu, çekice bakıp “evi dayanıksız yapıyor” demekle aynı seviyede.
Sorun araçta değil, onu nasıl kullandığınızda.
Örneğin:
Hesap makinesi kullanmak zihinden hesap yapmayı azaltabilir
ama bunun yerine daha karmaşık matematik yapabilmenizi sağlar
GPS kullanmak yolu ezberleme becerisini azaltabilir
ama daha geniş mekânsal stratejiler kurabilmenizi sağlar
ChatGPT için de durum aynıdır.
Bir de işin ilginç bir yanı var.
Böyle bir yazıyı okuyup da "doğru, yapay zeka kullanırsan aptallaşırsın" diye düşünmeden hemen katıldığınız anda,
o kişinin sözünü ettiği bilişsel borç zaten fiilen oluşmuş olur.
Araçlar her zaman nötrdür.
Düşünmeyi bir borca mı yoksa bir varlığa mı dönüştüreceğinize, kullanıcının tutumu karar verir.
Müdür Kim. Haddim olmayarak bir tavsiyede bulunmak istiyorum. Başka bir şey değil, AI GTP?yi çok fazla kullanmayın. Kolaylık varsa, risk de artar. Öküz kesmek için ona uygun bir bıçak vardır; tavuk kesmek için de bıçak gerekir mi? Kolay olan doğru cevap olabilir.
GitHub, Google'da arama, basit yöntemler var. Yıldız da gerekmez, zaman da gerekmez ve sonra çıplak kodlama yöntemi de vardır.
Müdür Kim'in savaş alanında bir komutan olduğunu varsayalım. Savaşta kazanmak gerektiği zaten açık değil mi? O duruma uygun strateji? Sadece kara kuvvetleriyle bastırmak mı? Hayır. Benim görüşüm, Google'da arama daha hızlı olabilir; elbette kişiden kişiye değişir ama GPT de iyi olabilir. Görüşümü, AI'ın öküz kesen bıçak gibi olduğu düşüncesiyle paylaşıyorum.
İlk kısmına katılıyorum ama son kısımdaki örneğin çok uygun olmadığını düşünüyorum.
Egzersiz ekipmanı = LLM değil, egzersiz yardımcı ekipmanı = LLM. Yani egzersiz yaparken yardımcı ekipman kullanıp vücuda binen yükü azaltırsanız kaldırılan ağırlığı artırabilirsiniz, ama bunun kendi kaslarınızı geliştirme ya da kan dolaşımını iyileştirme gibi egzersiz etkilerini azaltacağı anlamına gelir.
Uygun olmayan bir örnek yazıp ardından "Benzetmeler ve metaforlar anlaşılması kolay olsun diye kullanılır." demek çelişkili. Yazdığınız yoruma bakınca artık daha fazla yorum yazmanın anlamı kalmadığını düşünüyorum.
Ah evet. Bunu böyle anlarsanız doğru olur.