İnsanların hâlâ LLM’ler konusunda iyimser olmasını anlamıyorum

> "I genuinely don't understand why some people are still bullish about LLMs."

• GPT, Grok, Gemini, Mistral gibi çeşitli LLM’leri her gün kullanıyorum
• Bilgi arama ve özetleme süresinden tasarruf etmeyi umarak kullanıyorum, ancak hâlâ kaynakları, alıntıları ve bağlantıları sık sık uyduruyorlar
• Bağlantılara tıklayınca 404 hatası çıkıyor ya da alıntılanan ifadeyi aratsanız bile gerçekte var olmuyor
• Bilimsel makalelere atıf yapsa bile, arayınca çoğu zaman aslında var olmadıkları görülüyor

Bir miktar iyileşme oldu ama güvenilirlik hâlâ düşük

• DeepSearch veya Chain of Thought tekniklerinin kullanılmasıyla doğruluk geçmişe göre biraz iyileşti
• Kişisel tahminime göre GPT-4o’nun DeepResearch özelliği şu anda en güvenilir olanı
• Grok, istense bile referans bağlantılarını pek vermiyor; hatta tweet bağlantılarını bile düzgün bağlayamıyor
• Gemini ise daha da kötü; kaynak bulmak yerine kullanıcıya doğrudan kendisinin arama yapmasını söylüyor

Basit hesaplamalar veya sabit aramaları faydalı, ama doğruluk hâlâ sorun

• Birim dönüşümleri veya fizik sabitleri gibi şeyleri hızlı vererek zaman kazandırabiliyor
• Ancak ölçek tahmini gibi basit hesaplamalarda sık sık hata yapıyor
• Bu tür işler için 100 milyondan fazla parametreye sahip LLM’lerin gerekli olup olmadığı şüpheli

Belge özetlemede de hayal kırıklığı yaratan sonuçlar

• Bir PDF belge yükleyip özetlemesini istedim; başlığında açıkça 2025 yazan belgeyi 2023 tarihli sanmış
• Bu tür hatalar, "zekâ" ile pek ilgisi olmayan davranışlar gibi geliyor

Bilgi grafikleri de çözüm değil

• Birçok kişi bilgi grafiklerinin LLM sorunlarını çözeceğini umuyor, ama gerçekte bu mümkün değil
• Mantıksal olarak tutarlı cümleler, gerçeklikle tamamen ilgisiz olmaya devam edebiliyor
• Bilgi grafikleri mantık hatalarını engellese bile, olgusallıkla ilgisiz cümleler üretilmeye devam edilebilir

Piyasanın aşırı değerlemesi konusundaki endişe

• Şirketler LLM’leri sürekli abartılı biçimde pazarlıyor ve bu bir risk unsuru
• LLM’leri aşan tamamen yeni bir yapay zeka modeli ortaya çıkarsa, mevcut LLM merkezli şirketlerin değeri hızla düşebilir
• O gün geldiğinde borsada büyük bir şok bekleniyor

[hhcrux]

Ben de geçen yıl civarında benzer düşünüyordum, ama gelişimin hızını görünce aksine daha iyimser oldum.

[GN⁺]

Hacker News görüşü

• LLM'ler etkileyici bir teknoloji ve uzun zamandır hayali kurulan şeyleri mümkün kılıyor. Yazım hataları ya da kötü sorulmuş sorulara rağmen anlayıp sohbet edebiliyor, harika görseller üretebiliyor ve kod yazmaya da yardımcı oluyor. Ancak bazı insanlar bunun kusursuz bir süperzekâ olmamasından şikâyet ediyor. Teknolojinin ilerleme hızı şaşırtıcı derecede hızlı. Bazıları, "20 yıllık deneyime sahip kıdemli bir mühendis gibi kod yazamıyor" diye yakınıyor

• Ağırlıklı olarak Claude kullanma deneyimi oldukça farklı. LLM'lerin iyi yapamayacağı belli olan işleri onlara yaptırmaya çalışmıyorum. AI kullananlar, başarısızlık arayanlar ve başarı arayanlar diye ikiye ayrılıyor. Basit script yazma işlerinde LLM'ler neredeyse kusursuz. AI'ın nasıl işe yaradığını bulursanız güçlü bir araç hâline gelebilir

• LLM'lerin kullanılabilirliği hâlâ yetersiz. Alıntı ya da kaynak gösterme konusunda iyi değiller. Bilgisayarın olguları doğru şekilde bulamaması, bilgisayarların geleneksel güçlü yanına ters düşüyor

• Birçok kişi LLM'leri yanlış kullanıyor. Son dönemde dil modellerinin ses transkripsiyonu için en uygun yöntem olup olmadığı üzerine çok tartışma var. 10 yıl önce gerçek zamanlı makine transkripsiyonu yoktu ama şimdi var ve gelişmeye devam ediyor. AI modellerindeki hatalara rağmen, makine transkripsiyonu birçok durumda faydalı

• Sabine'in görüşünü dinlemem gerekip gerekmediğinden emin değilim. LLM'ler dizi modelleme ve tahmin görevlerini yerine getirebiliyor. Bir problemi dizi modellemeye indirgerseniz, LLM'ler o işi yapabilir

• LLM'lere yönelik eleştirilerin ortak noktası kusursuz olmamaları. ChatGPT'yi akademik araştırmada sık kullanıyorum. Bazen kaynakça uydursa da önemli araştırma makalelerini bulmama yardımcı oluyor. Doğruluğu doğrulamak kolay, bilgiye ulaşmak zor. Sonuç olarak büyük ölçüde olumlu etki yaratıyor

• Birçok insan teknolojinin gücüyle içinde yaşadığımız balonu karıştırıyor. AI'a milyonlarca istek gönderip ihtiyaç duyduğum şeyi alıyorum. Teknoloji gelişiyor ve maliyetler de değişiyor. İnsanlar, AI'ın yapamayacağı şeyleri yapabileceğini varsayma eğiliminde

• Claude'u yoğun kullanıyorum ve sağlıkla ilgili sorular için programlar üretiyorum. Karmaşık soruları mantıklı biçimde açıklayıp analizi düzeltebilme yeteneği çok değerli. Doktorla kıyaslandığında sorumluluk kullanıcıda

• Birçok insan "kusurlu" araçlarla çalışmakta iyi değil. LLM, başarı olasılığı %100 olmayan bir araç ve farklı bir yaklaşım gerektiriyor. Olasılıksal bir kâhin hayal ederseniz, kullanışlılığı başarı olasılığına göre değişir

• İnsanlarla arası iyi olmayan çok arkadaşım var ama ben herkesle iyi geçinirim. AI da aynı şekilde: kusursuz değil ama inanılmaz bir araç. AI'ın avantajları hatalarını açık ara geride bırakıyor. AI'ı ve insanları nasıl yöneteceğini öğrenmek, 21. yüzyılda gereken en büyük beceri