- LLM'lerin yalnızca olasılıksal papağanlar olduğu iddiası 2025'e gelindiğinde neredeyse tamamen ortadan kalktı; artık çoğu kişi, prompt'un anlamına ve yanıtın yönüne dair içsel temsillerin var olduğunu kabul ediyor
- Chain of Thought (CoT), model temsillerindeki örnekleme ile pekiştirmeli öğrenme üzerinden token'ların sıralı öğreniminin birleşimi olarak, LLM çıktı kalitesini artıran temel teknik haline geldi
- Doğrulanabilir ödülleri kullanan pekiştirmeli öğrenme, token sayısı sınırlarının ötesine geçen ölçeklenebilirliğin önünü açtı ve bu alanın yapay zekadaki bir sonraki temel gelişim yönü olması bekleniyor
- LLM tabanlı programlama desteğine yönelik direnç büyük ölçüde azaldı; kullanım biçimleri web arayüzü üzerinden işbirliği yapılan yöntem ile bağımsız kodlama ajanı yöntemi arasında ayrıştı
- Transformer alternatifleri araştırmaları ve AGI olasılığı eşzamanlı ilerlerken, farklı mimarilerin birbirinden bağımsız biçimde genel zekaya ulaşabileceği görüşü öne çıkıyor
- Uzun süre boyunca LLM'lerin, anlamı kavrayamayan, iki özelliğe sahip olasılıksal makineler (stochastic parrots) olduğu yönünde bir iddia vardı
- 1. Prompt'un anlamına dair hiçbir bilgi taşımıyorlar
- 2. Ne söyleyeceklerine dair de hiçbir bilgi taşımıyorlar
- İşlevsel başarılar ve bilimsel ipuçları sürekli birikince bu bakış açısı giderek ikna gücünü kaybetti ve 2025'e gelindiğinde bu iddia neredeyse tamamen ortadan kalktı
- Chain of Thought (CoT), bugün LLM performansını iyileştiren temel teknik olarak yerleşti
- CoT'nin etkisi, ilgili bilgi ve kavramları bağlama taşıyarak modelin iç temsil uzayında örnekleme, yani içsel aramayı mümkün kılmasıdır
- Pekiştirmeli öğrenmeyle birleştiğinde, token'ları birer birer yerleştirip model durumunu değiştirerek yararlı yanıtlara yakınsayan süreci öğrenmesini sağlar
- Ölçeklenmenin sınırlarının token sayısıyla belirlendiği yönündeki eski görüş artık geçerli değil
- Doğrulanabilir ödül temelli pekiştirmeli öğrenmenin (RLVR) devreye girmesiyle ölçeklenmenin kapsamı genişledi
- Program hızını iyileştirme gibi açık ödül sinyalinin bulunduğu işlerde, teorik olarak uzun süreli ve sürekli iyileştirme olanağı var
- LLM'lere uygulanan pekiştirmeli öğrenmedeki ilerlemeler, yeni nesil yapay zekanın temel teknolojisi olacak
- Geliştiricilerin AI destekli programlamaya yönelik direnci gözle görülür biçimde azaldı
- LLM'ler hata yapsa bile yararlı kod ve ipuçları sunma yeteneği büyük ölçüde gelişti
- Yatırım karşılığı elde edilen fayda netleşince, daha önce kuşkucu olan geliştiriciler bile kullanmaya başladı
- LLM'leri web arayüzü tabanlı bir ekip arkadaşı gibi kullanma biçimi ile bağımsız kodlama ajanı olarak kullanma biçimi bir arada varlığını sürdürüyor
- Transformer sonrasında da başka bir atılımın mümkün olabileceği düşüncesi, bazı önde gelen yapay zeka bilim insanları arasında yayılmaya başladı
- Transformer alternatiflerini, açık sembolik gösterimi (symbolic representation) ve dünya modelini (world model) araştıran ekipler ve şirketler ortaya çıktı
- LLM'lerin, ayrık akıl yürütme adımlarını yaklaşık olarak ifade edebilen bir uzayda eğitilmiş diferansiyellenebilir makineler olduğu düşünülüyor
- Temelden yeni bir paradigma olmadan da LLM'ler aracılığıyla AGI'ye ulaşmanın mümkün olabileceği düşünülüyor
- Farklı mimariler üzerinden bağımsız şekilde yapay genel zekaya (AGI) ulaşma olasılığı bulunuyor
- Chain of Thought'un LLM'nin özünü değiştirdiği yönünde iddialar da ortaya atılıyor
- Geçmişte LLM'leri sınırlı bulan kişilerin, CoT sonrasında tutum değiştirdiği görülüyor
- Bu kişiler CoT yüzünden LLM'lerin tamamen değiştiğini söylüyor, ancak bu doğru değil
- Hâlâ aynı mimariye ve sonraki token hedefine sahipler; CoT de token'ların tek tek üretilmesi biçiminin aynısı
- Geçmişte LLM'lerin sınırlarını doğrulamak için kullanılan ARC testi, artık LLM performansını kanıtlayan bir göstergeye dönüşmüş durumda
- ARC testi, ilk dönemlerde olduğunun aksine artık aşılamaz bir görev gibi görünmüyor
- Belirli görevlere optimize edilmiş küçük modeller, ARC-AGI-1'de anlamlı sonuçlar üretti
- Pek çok kişinin sonuç veremeyeceğini düşündüğü bir mimariyle, büyük LLM'ler ve kapsamlı CoT kullanılarak ARC-AGI-2'de etkileyici sonuçlar elde edildi
- Önümüzdeki 20 yılda yapay zekanın karşı karşıya olduğu en temel meydan okuma, insanlığın yok oluşunu önleme meselesi olacak
2 yorum
Andrej Karpathy'nin 2025 LLM yıllık incelemesi ile birlikte okumak iyi olur.
Hacker News görüşleri
LLM'ler yazılım mühendisleri için çok faydalı hale gelmiş olsa da, toplumun genelinin bu çıktılarına ne kadar güvendiği korkutucu
Geliştiriciler kodu çalıştırıp faydasını hemen doğrulayabilir, ancak sıradan insanlar tıbbi ya da hayat tavsiyesi gibi doğrulaması zor alanlarda halüsinasyonları (hallucination) gerçeğe inanma eğiliminde
Sahte alıntıların ya da uydurma haberlerin gerçek kararları etkilediğini gördükçe, herkesin hesap verebilirlik (accountability) sorununu görmezden geldiği hissi oluşuyor
Gerçekte insanlar günde on kez doktora soru soramaz ve LLM'ler anında %80–90 seviyesinde yanıt sunuyor
Google aramasından daha iyi ve en önemlisi LLM'ler dolandırıcılık yapmıyor ya da kendi çıkarını kovalamıyor
Kusursuz değil ama yeterince kullanılabilir bir alternatif
Ancak çoğu insanın gerçek bir uzmanla konuşma şansı neredeyse hiç yok ve bloglar ya da forumlarla kıyaslandığında LLM'ler çoğu zaman bir seviye daha iyi olabiliyor
Tıbbi tavsiye de benzer; uzman erişiminin düşük olduğu gerçeği düşünülürse LLM kullanımı sadece kötü bir şey değil
LLM'ler şimdilik nispeten güvenilir bilgi vermeye çalışıyor ama dünyanın gittikçe daha kaotik hale gelmesi ve gerçek durumu anlamanın zorlaşması ürkütücü
Haber bağlantısı
Olay bir özürle kapandı ama ne kadar çok yanlış bilginin gerçek kararları çoktan etkilediği soru işareti
Geleneksel arama motorları bu açıdan LLM'lerden farklı; size “PR'ı birleştir” diye baskı yapmaz
30 bin saatten fazla kod yazmış biri olarak, LLM'lerin sık sık kötü kod ürettiğini ama yine de çok faydalı olduğunu düşünüyorum
İşin püf noktası, LLM olmadan da ne yapılması gerektiğini biliyor olmak
Sonunda işin gerçekçi maliyet yapısıyla uyumlu hale gelmesi gerekecek
Sorunu verip başka iş yapıyor, sonra dönüp sonucu inceliyorsunuz
Girdi tarafında büyük emek gerekseydi bu kadar faydalı olmazdı
Sonuçta varsayılan durumda zayıflar ama problemi iyi tanımlarsanız müthiş bir tasarımcıya dönüşüyorlar
İşverenlerin yeni mezun geliştiriciler hakkındaki değerlendirmelerini şimdiden merak ediyorum
“Programcıların AI direnci azaldı” ifadesi hoşuma gitmiyor
“Direnç” ya da “şüpheci” gibi kelimeler, onların haksız olduğu imasını taşıyor
Değişim insanlardan değil, teknolojinin ilerlemiş olmasından kaynaklanıyor
Ben LLM'leri kod üretimi ve doküman aramada çok faydalı buluyorum ama zekaya sahip olduklarına inanmıyorum
Python Java'nın yerini almadığı gibi, LLM'ler de işleri ortadan kaldırmayacak
“AI insan zekasını aşacak” türü uç iddialar da henüz kanıtlanmış değil
“AI'yi sevmezsen kovulabilirsin” havasında herkes sevdiğini söylemek zorunda kalıyor
2026'da bile “LLM'ler işe yaramaz” yorumları bitmiyor
Ben ayda yaklaşık 20 dolarla hafif şekilde kullanıyorum ama kullanım ipuçları paylaşınca “AI pazarlamacısı” muamelesi görüyorum
Böyle düşünenler gerçekten hatalı düşünüyor
Bugün ise teknoloji ilerledi ve programcıların zevkine daha uygun hale geldi
LLM'lerin 2022~2023 dönemindeki üstel gelişim vaatlerini yerine getiremediğini düşünüyorum
2025 ile 2023 arasındaki fark, 2023 ile 2021 arasındaki fark kadar büyük değil
Buna rağmen hâlâ faydalılar ve yazılım yazma biçimini değiştirdiler
Ama insanlar yine de LLM'lerin daha fazlası olmasına dair bir takıntı taşıyor
Hatta bazılarının AI psikozuna (psychosis) kapılıp insan ilişkilerini kaybettiğini ya da AI'yi kalıcı danışman haline getirdiğini gördüm
Örneğin sadece bağlam boyutu açısından bile GPT‑4'ün 8K'sinden milyonlarca kelimeye çıkıldı
Akıl yürütme ve multimodal yetenekler de eklenince gelişim seviyesi muazzam
Neden AGI geleceği hep felaket olmak zorunda?
Belki de yalnızca “kötü AGI”, teknoloji elitlerinin gücünü meşrulaştırdığı için
LLM'ler insan psikolojisine ince şekilde nüfuz eden bir teknoloji gibi geliyor
İnsanlar bu teknolojiyi kaldıracak zihinsel hazırlığa sahip değil
Kullanıcıyı durmadan övüp gözüne girmeye çalışıyorlar
Chatbot'lar eleştirmeyip yağ çektiği için çok hızlı şekilde kişisel danışman konumuna yükseliyor
Adeta teknoloji çağının Sauron'un Gözü gibi hissettiriyor
“Hız optimizasyonu” gibi net ödül sinyali olan işlerde LLM'lerin ilerlemeye devam edebileceği söylenince aklıma Goodhart yasası geldi
Goodhart’s law'a göre, bir ölçüm metriği hedefe dönüşünce çarpıtma ortaya çıkar
Hızlı ama anlaşılması zor kod üretilebilir
LLM'lerin de benzer sonuçlar üretme ihtimali yüksek
Superoptimization 1987'den beri var ve anlaşılmaz ama hızlı kod üretiyor
“Kod bedavadır” sözüne katılmıyorum
LLM'lerin ürettiği kodun arkasında enerji, su ve kaynak tüketen veri merkezleri var
Bu “ücretsiz kodlama” kültürü gezegene somut zarar veriyor
Bağlam önemli
Sayılara göreli bakmak gerekiyor
Gerçekte paraya çevrilmeyen maliyetler var
“Bu sadece temelsiz iddialar yığını” eleştirisi de vardı
Her yazının akademik makale olması gerekmez
Burası sadece fikir paylaşma alanı
“LLM'ler anlam ifade etmez” iddiasına katılmıyorum
Transformer attention mekanizması zaten çok katmanlı anlam temsilleri üreten bir yapı
Parametre sayısı arttıkça daha fazla temsil (representation) depolanabiliyor
Bu temel prensibi inkâr edenler muhtemelen araştırmacılar değildir
Ben de yeni bir paradigma olmadan bile AGI'ye ulaşmanın mümkün olabileceğini düşünüyorum
“Sadece doğrulanamaz iddialar sıralanmış” eleştirisine karşılık,
bu sadece görüş bildiren bir yazı
Bloglar zaten bunun için var ve bazen böyle düşünceler yeni bakış açıları açabiliyor