- Büyük dil modellerinin (LLM) yanıtları birer gerçek değil, kelimelerin istatistiksel tahmin sonuçlarıdır
- ChatGPT, Claude, Gemini gibi sistemler yalnızca en olası bir sonraki kelimeyi tahmin eder; bilginin kaynağını ya da doğruluğunu kavramaz
- Bunlar ikna edici cümleler kurabilir, ancak içerik doğru ya da güvenilir olmayabilir
- AI'nin yanıtlarını otoriter bir dayanak gibi kopyalayıp aktarmak, aslında sadece “sık sık birlikte kullanılan kelimelerin kombinasyonlarını” tekrarlamaktan ibarettir
- AI yanıtlarını gerçekmiş gibi alıntılama pratiği, bilgi doğrulama ve düşünme becerisinin zayıflaması riskini ortaya koyar
AI yanıtlarının doğası
- ChatGPT, Claude, Gemini gibi büyük dil modellerinin yanıtları gerçek değildir
- Bu sistemler cümlede sıradaki kelimeyi tahmin etme yöntemiyle çalışır
- Sonuç olarak makul görünen ama hatalı bilgiler üretebilirler
- Bu modeller, çok sayıda kaynağı öğrenmiş ama kaynakları hatırlayamayan bir insana benzetilebilir
- Yani bilginin dayanağını ve bağlamını kavramadan, sadece cümleleri yeniden birleştirirler
Güvenilirliğin sınırları
- AI'nin verdiği yanıtlar ya da tavsiyeler doğru olabilir, ancak dayanakları belirsizdir
- Yanıtlar “hatırlanan bir kitap” değil, sık birlikte görülen kelimelerin kombinasyonlarıdır
- Bu nedenle AI çıktısını gerçek ya da otoriter bilgi olarak alıntılamak uygun değildir
- “ChatGPT öyle dedi” iddiası, aslında yalnızca kelime tahmini sonucunun alıntılanmasıdır
Alıntılamanın riskleri
- AI'nin yanıtlarını olduğu gibi kopyalayıp paylaşmak, gerçek olmayan kelime kombinasyonlarını yaymakla eşdeğerdir
- Bu bazen faydalı olabilir ya da içgörü sağlayabilir, ancak gerçek ya da nihai karar ölçütü değildir
- Yazı, bu davranışı “zeki insanların düşünmeyi bırakması” olarak tanımlıyor
Ek referanslar
Sonuç
- AI ve makine öğrenimi teknolojilerinin kendisi olumlu değerlendirilebilir, ancak
AI yanıtlarını eleştirel süzgeçten geçirmeden alıntılama ya da onlara güvenme tutumuna karşı dikkatli olunmalıdır
- Site, “But ChatGPT Said...” diyen kişilerle bu içeriğin paylaşılmasını öneriyor
5 yorum
Bu 1 yıl önceki bir yazı mı?
Hahahahaha
https://github.com/leoherzog/stopcitingai/blob/main/index.html
Hayır, dosya değişiklik geçmişine bakarsanız taslağın 1 hafta önce hazırlandığını görürsünüz
"Kelimelerin istatistiksel tahmin sonucudur" gerçeğini fark etmek bile, yapay zekaya nasıl yaklaşmak gerektiğini gösteriyor gibi görünüyor.
Hacker News yorumu
ChatGPT, Claude, Gemini gibi LLM yanıtları gerçek değildir
Sadece sıradaki kelimeyi tahmin ederler
“Wikipedia’daki yazı da gerçek değil, sadece manyetik alan akısındaki dalgalanmalardan ibaret” türü benzetmeler anlamsızdır
Sonuçta önemli olan kaynağı belirtmektir. İster Wikipedia olsun, ister insan, ister köpek; kaynak yoksa inanmam
Çıktı, olasılıksal olarak seçilmiş kelimelerin birleşiminden ibarettir; bazı kelimeler yaygın ifadelerden, bazıları 4chan gibi yerlerden, bazıları da halüsinasyon olabilir
Böyle durumlarda “gerçeğin kaynağı” kavramının kendisi geçerli olmaz
“Gerçek”i nasıl tanımladığınıza göre tartışmanın odağı değişir
Sorun sonuçta değil, sonucu üreten sürecin güvenilirliğindedir
Zarı atıp “3+4=7” sonucunu tuttursanız bile, bu sadece tesadüfen doğru olur; süreç hâlâ yanlıştır
LLM’lerin sorunu da buna benzer bir süreç hatasına daha yakındır
Gerçekte insan tercihleri ve yaltaklanma (sycophancy) doğrultusunda eğitilirler ve okunması hoş, “yüksek fruktozlu şurup gibi” metinler üretirler
Bu yüzden beyin fırtınası ya da özetleme için bile bazen uygun değildir
Ama basit olgusal sorularda giderek daha iyi hale geliyorlar
Sonuçta LLM, basit bir tahminci değil, daha ikna edici görünmeye optimize edilmiş bir varlıktır
Küçük şirketlerde bile AI kullanımına dair beklentileri doğru belirlemek önemlidir
“AI kullansan da sonuçtan sen sorumlusun” gibi basit bir ilke bile yeterlidir
Veri doğrulama, kod testi ve yanıt kontrolü şarttır
Eskiden “Stack Overflow’dan kopyala-yapıştır yapma; oku ve anla” denirdi
Dünya değişti ama öz aynı kaldı
Büyük değişim de bu
“Binlerce kitap okumuş ama nerede okuduğunu hatırlamayan biri” benzetmesi LLM’ye benziyor gibi geliyor
Ben de bazen “Galiba Schaum serisindeydi?” diye kaynak halüsinasyonu yaşıyorum
Başta “Paris Fransa’nın başkentidir” bilgisini nereden öğrendiğinizi hatırlarsınız, ama zaman geçince kaynak kaybolur, içerik kalır
LLM’ler Garbage In, Garbage Out ilkesini aynen izler
İyi belgelenmiş alanlarda iyi çalışırlar ama belirsiz konularda saçma bilgiler üretirler
Özellikle bağlamı anlama konusunda zayıf oldukları için, açıkça belirtmezseniz yanlış cevap verirler
Teknik destek sahasında, ChatGPT’nin yanıtına olduğu gibi inanan müşterilerle sık sık tartışma çıkıyor
Düzeltme isteseniz bile yine başka bir yanlış cevap ve işe yaramaz bir özür gelir
“Hakikat sonrası (post-truth)” çağ kaygı verici olsa da, sanki insanlar daha fazla şüphe ediyor ve soru soruyor gibi geliyor
Rorty’nin dediği gibi, “gerçek, artık tartışmadığımız şeydir”; yani toplumsal uzlaşının bir ürünüdür
Hakikat tartışmasından çok, söylem toplulukları arasındaki dil çatışmasını nasıl yöneteceğimiz daha önemli
Patrona “Bu aptalca bir fikir” derseniz, bundan hoşlanmasını bekleyemezsiniz
“O konuşma kaydına birlikte bakabilir miyiz?” diye sormak daha iyi olur
Böylece LLM’nin önyargıyı nerede kattığını görebilirsiniz
Doğrulanmamış LLM çıktısını çürütmek zorunda değilim; sorumluluk alıntıyı yapan kişidedir
“Kaynak gösterme” tartışması daha derin bir sorunu gözden kaçırıyor
LLM’ler doğrulanabilir işlerde (kod, çeviri, özet) güçlü, ama doğrulanması zor alanlarda (araştırma, uzmanlık gerektiren konular) zayıf
Bu yüzden ben LLM’leri sadece uzmanın denetleyebileceği taslak üreticileri olarak kullanıyorum
Risk halüsinasyon değil; modelin akıcılığının kullanıcının uzmanlığını aştığı anda ortaya çıkan özgüven farkı
RAG ya da web araması gibi araç çağırma yöntemleri de sonuçta sadece başka hata modlarıyla yapılan bir takas
“ChatGPT benden daha güvenilirse, beni neden işe aldınız?” benim tepkim bu
Saatlerce açıklama yapabilirim ama uzmana güvenmek daha iyi değil mi?