Yann LeCun'un LLM'ler konusunda haklı olduğunu düşünüyorum (tesadüf de olabilir)

• Son birkaç yılda AGI (Artificial General Intelligence, genel yapay zeka) etrafındaki tartışmalar hızla arttı
• AGI'nin kesin tanımı belirsiz ve oldukça tartışmalı; bu yüzden AGI zaman çizelgesi belirlemek yaygın bir tartışma biçimi haline geldi
  • "Uzun zaman çizelgesi": AGI'nin 10-20 yıl sonra geleceği görüşü
  • "Kısa zaman çizelgesi": AGI'nin çok yakında ortaya çıkacağı iddiası
• Ancak yapay zekadaki ilerlemeyi bu şekilde tartışmak verimsiz
  • Bunu AGI adlı bir varış noktasına gitmekten çok, yapay zekanın üretkenliğinin artma süreci olarak görmek daha doğru
  • Yapay zeka, giderek daha az insan müdahalesiyle daha fazla işi yerine getirebilecek şekilde gelişiyor
    • Örnek: veri etiketleme, kod yazma, matematik problemi çözme, otonom sürüş, otomatik uçuş
  • Ancak yapay zekanın sonsuza kadar insan müdahalesi olmadan çalışabileceği bir noktaya ulaşıp ulaşmayacağı belirsiz
  • Ölçmemiz gereken şey, yapay zekanın verilen girdiye karşılık ne kadar değer üretebildiği
• Yapay zekadaki ilerleme, insanın harcadığı emeğe kıyasla yapay zekanın ürettiği ekonomik değerin artışı olarak görülebilir
• Önemli soru şu:
  • Yapay zeka sınırsız biçimde gelişip insan müdahalesi olmadan ekonomik değer üretebilir mi?
  • Yoksa belli bir seviyede teknik sınırlara mı ulaşır?
• Eğer yapay zeka tamamen insan müdahalesi olmadan ekonomik değer üretebilirse, bu oldukça riskli bir sonuç da olabilir

Bunu daha önce zaten gördük (otonom araçlar)

• Yapay zeka sektöründe dil modeli patlamasından önce, 2017 civarında otonom araç furyası vardı
  • O dönemde birçok şirket, tam otonom sürüş (Full Self-Driving, FSD) araçlarını 1 yıl içinde çıkaracağını ilan ederek milyarlarca dolarlık yatırım topladı
  • Milyonlarca mil sürüş yapıldı, çok sayıda şirket kuruldu, ancak bazıları sonunda iflas etti
• Hâlâ tam anlamıyla FSD gerçekleşmiş değil
  • Tesla hâlâ tam otonom sürüş sağlayamıyor; Waymo ise yalnızca önceden haritalanmış belirli bölgelerde kısmen çalışabiliyor
  • Hâlâ ara sıra insan müdahalesi gerekiyor
    > 2016'da Tesla CEO'su Elon Musk'ın tahmini:
    > "Bu yıl içinde bir Tesla, Los Angeles'tan New York'a tamamen otonom şekilde gidecek."
    > → Ancak 2024 itibarıyla bu hâlâ gerçekleşmedi (Tesla hâlâ "Full Self-Driving" abonelik seçeneğini satıyor)
• Artık mesele, otonom sürüşün tamamen mümkün olup olmadığını tartışmak yerine, "müdahale başına mil" (miles-per-intervention) metriğini ölçmek oldu
  • Yani, aracın tek bir insan müdahalesi olmadan ne kadar uzağa gidebildiğini ölçmek
• Son raporlara göre Tesla ortalama her 13 milde bir insan müdahalesine ihtiyaç duyuyor
  • Daha büyük yapay zeka modelleri, daha hızlı çıkarım, daha fazla veri ve daha iyi mühendislik devreye girdikçe bu sayının artması muhtemel
  • Ancak mevcut teknolojiyle bu sayının sonsuza kadar artıp artamayacağı belirsiz
• Yani, otonom sürüş modellerinin sınırsız gelişip insan müdahalesini tamamen gereksiz hale getirip getirmeyeceğini ya da belli bir noktada sınıra dayanıp dayanmayacağını henüz bilmiyoruz

Yann LeCun neden yanılıyordu (kısmen)

• Meta'nın baş yapay zeka bilim insanı Yann LeCun, geçmişte dil modellerinin insan seviyesinde zekâya ulaşamayacağını savunmuştu
• Gerekçesi şuydu: dil modelleri çıktıyı token düzeyinde üretir; her tokenda hata oluşma ihtimali vardır ve bu hatalar birikirse performans sonunda düşer
• Bu hata birikimi problemini, dil modellerinin ölümcül bir sınırı olarak görüyordu ve bunu çözmek için mevcut autoregressive yaklaşımın terk edilmesi gerektiğini savunuyordu
• Ancak gerçek farklı çıktı
  • En yeni yapay zeka sistemleri (OpenAI o1/o3, DeepSeek R1 vb.) bu hipoteze doğrudan karşı çıkıyor
  • Bunlar hâlâ autoregressive, ancak daha uzun çıktılar ürettikçe performansları artıyor
  • DeepSeek R1 araştırmasında, model daha uzun düşündükçe doğru cevabı bulma olasılığının arttığı bir desen görülüyor
    > DeepSeek R1 raporundaki grafikte, model daha uzun çıktı ürettikçe performansın arttığı görülüyor → bu, Yann LeCun'un hipoteziyle doğrudan çelişiyor
• Modelin hatalarını kendi kendine düzeltme yolu
  • Önceki mantık, hataların token token kaçınılmaz biçimde birikeceği varsayımına dayanıyordu
  • Ancak yeni araştırmalar, modelin kendi hatalarını düzeltebilen mekanizmalara sahip olduğunu gösteriyor
  • Örneğin belirli token kalıpları üretildiğinde, modelin süreç içinde olasılıksal olarak daha iyi bir cevaba yönelme eğilimi gözlemleniyor
    > DeepSeek R1 örneği: modelin belirli bir noktada "daha iyi cevap" bulmaya yöneldiği süreç → Yann LeCun'un imkânsız olduğunu söylediği şey
• Şu anda bazı araştırmacılar bu self-correction mekanizmasını inceliyor ve bunun daha etkili nasıl tetiklenebileceğini araştırıyor
• Yine de bunun yalnızca kodlama, matematik problemleri gibi belirli problem türlerinde mi geçerli olduğu henüz net değil

Yann LeCun neden haklıydı (kısmen)

• Yann LeCun'un hipotezi tamamen yanlış değil
• En yeni araştırmalar onun "hata birikimi" hipotezine itiraz etse de, dil modellerinin sınırsız doğrulukta çıktı üretemeyeceği hâlâ doğru olabilir
• Yani yapay zeka sonsuza dek bağımsız çalışamaz
• Tam otonom ajanların (FAA) sınırları
  • Birçok araştırmacı uzun süreli görevleri yerine getirebilen yapay zeka ajanları (Agents) geliştirmeye çalışıyor
  • Ancak bu, tam otonom sürüş (FSD) aracı geliştirmeye benzer bir problem taşıyor
  • Yani mevcut teknoloji yığınıyla tamamen otonom yapay zeka sistemleri mümkün olmayabilir
• İnsan girdisinin önemi
  • En güvenilir bilgi, insan tarafından doğrudan verilen prompt'lardan geliyor
  • Bazı araçlar sayesinde (ör. uçuş arama, hava durumu kontrolü vb.) yapay zeka ek veri alabiliyor, ancak sadece daha uzun çıktı üretmek doğru cevap olasılığını sonsuza kadar artırmıyor
  • Yapay zekanın insan müdahalesi olmadan sınırsız ölçüde faydalı çıktı üretmesi pek olası görünmüyor

Yapay zeka araştırmalarında neden AGI tartışmasından kaçınmalıyız

• Dil modellerindeki ilerlemeyi AGI zaman çizelgesiyle ölçmek yanlış bir yöntem
• Daha iyi soru şu olmalı: "Yapay zeka, insan müdahalesi olmadan ne kadar süre etkili biçimde çalışabilir?"
• Otonom sürüşteki "müdahale başına mil" metriği gibi, dil modellerinde de "insan müdahalesi olmadan ne kadar süre doğru çıktı üretebildiğini" ölçmek daha pratik bir yaklaşım
• Tamamen insan müdahalesi olmadan çalışan yapay zekayı (FAA, Fully Autonomous Agent) beklemek yerine, bugünkü "yararlı yapay zeka iş yükündeki artış" şeklindeki sürekli gelişim sürecini kabul etmek önemli
• Tam AGI olmasa bile, mevcut teknolojinin sunduğu ekonomik değer yeterince anlamlı
• Bu nedenle, AGI'ye ne zaman ulaşılacağını tartışmaktansa yapay zekanın gerçek üretkenliğini artırmaya odaklanmak daha doğru bir yön

[princox]

"Yapay zeka asla sonsuza kadar bağımsız olarak çalışamaz"

Bu kısım etkileyici.

[GN⁺]

Hacker News görüşü

• Satya Nadella AGI hakkında konuşuyor

  • Microsoft’un gelirinden daha önemli olan şey, AGI’ye dair aşırı beklentileri yönetmek
  • Gelişmiş ülkelerin ekonomik büyüme oranı yalnızca %2 ve enflasyon hesaba katıldığında neredeyse %0
  • 2025’te ekonomik büyüme açısından zorluklar olacak
  • Sanayi Devrimi’ne benzer bir büyüme sağlanmalı
  • Kazananlar teknoloji şirketleri değil, AGI’yi kullanan sektörler olacak
  • Üretkenlik arttığında ve ekonomi hızla büyüdüğünde sektörler de gelişecek
  • AGI’nin başarılarını kendi kendine övmek anlamsız; asıl ölçüt dünya ekonomisinin %10 büyümesi

• İnsanlara iş sağlayacak yollar bulmak önemli

  • AGI’den ASI’ye pazarlama geçişi bir tuzak
  • "gig" ekonomisine yönelik eleştirilere rağmen, birçok insan Uber veya DoorDash sayesinde daha iyi bir yaşam sürüyor
  • Uber ve DoorDash günlük hayatta değer yaratıyor
  • Kuryelere bahşiş verilerek asgari ücretten daha fazla kazanmaları sağlanıyor
  • Herkes kendi kendine öğrenerek yazılım mühendisi ya da girişimci olamaz
  • İnsanlara iş sağlamak önemli

• LLM’lerin "akıl yürütmesi" konusundaki şüphecilik artıyor

  • DeepSeek ve Grok’un sonuçları üzerinden LLM’lerin sınırları görülebildi
  • Bazen model verimsiz ya da yanlış bir yola sapabiliyor
  • Örneğin, Grok 3 belirli bir kart adını tekrar tekrar doğrulamak için 10 dakika harcadı
  • Model bazen kendi kendini besleyen verimsiz davranış döngülerine girebiliyor

• Otonom araçlar üzerine tartışma

  • Tesla hâlâ tam otonom sürüşe ulaşamadı, Waymo ise bunu yalnızca belirli bölgelerde sağlayabiliyor
  • Bazı yapay zeka sistemleri daha uzun çıktılar ürettikçe daha iyi hale geliyor
  • Ancak uzun çıktı üretmek modeli mutlaka daha iyi yapmıyor
  • LeCun’un iddiası, dil modellerindeki hata birikimi sorununa işaret ediyor

• AGI ve insansı robotlara dair aşırı beklentiler

  • Odak AGI’den çok ekonomik fayda üzerinde olmalı
  • AGI’nin hedefi insanların %99,99’undan daha iyi olmak

• İnsanların AGI’den beklentisi

  • İnsanlar aslında AGI’den farklı bir şey istiyor
  • AGI özerklik kazanırsa kontrol edilemez hale gelir
  • İnsanlar teknik olarak çok yetkin ama verilen talimatları izleyen uzmanlar istiyor

• Dil yayılım modellerinin başarısı

  • Hata birikimi sorununu çözmek için yeniden maskeleme stratejisi kullanılıyor
  • Birden fazla token’ı aynı anda tahmin etmede başarılı

• Yapay zekanın ekonomik değeri üzerine soru

  • Yapay zeka insan üretkenliğini artırdığında, ortaya çıkan ekonomik değer kime aktarılacak
  • İnsan istihdamı azalırsa ekonomik değerin dağıtımına dair bir plan gerekli

• Yapay zeka ile insan rüyalarının karşılaştırılması

  • Yapay zekanın gerçeklik modeline dayanarak senaryolar üretip genişletme biçimi rüyalara benziyor olabilir
  • LLM’e gerçek zamanlı girdi eklenerek onun "uyandırılıp uyandırılamayacağı" merak ediliyor