Ilya Sutskever: Ölçekleme Çağından Araştırma Çağına Geçiyoruz

• AI modellerinin genelleme sınırlarına ve pekiştirmeli öğrenme (RL) merkezli eğitimin önyargılarına dikkat çekerek, mevcut sistemlerin neden insanlar gibi esnek düşünemediğini açıklıyor
• Ön eğitim (pre-training) çok büyük veri yığınlarından doğal bilgi edinmeyi sağlıyor, ancak gerçek dünyadaki ortamlara uyum yeteneği açısından yetersiz kalıyor
• Ölçekleme çağının (2012~2025) sona erdiğini ve artık yeni öğrenme ilkeleri ile araştırma odaklı inovasyona ihtiyaç duyulan bir döneme girildiğini savunuyor
• SSI, sürekli öğrenme (continual learning) ile gerçek dünyaya dağıtım üzerinden öğrenmeyi birleştirerek insan seviyesinde öğrenme yeteneğine sahip modelleri hedefliyor
• Yapay zekanın “duygu ve değer fonksiyonu”, “genelleme yeteneği” ve “etik hizalama (alignment)” unsurlarını birleştirmesi gerektiği görüşüyle, gelecekteki AI araştırmalarının yönünü ortaya koyuyor

---

Modellerde kararsızlık ve genelleme sorunu

• Mevcut AI modelleri değerlendirmelerde (evals) çok başarılı görünse de, gerçek ortamda tekrarlayan hatalar sergileyen bir “pürüzlülük/jaggedness” problemi taşıyor
  • Örnek olarak, kod düzeltme isteğinde bir hatayı giderirken başka bir hatayı yeniden üretmeleri veriliyor
• RL eğitiminin belirli değerlendirme metriklerine aşırı uyum sağlayarak genelleme yeteneğinde düşüşe yol açtığı analiz ediliyor
• İnsan öğrenmesiyle karşılaştırıldığında, modellerin gerçek uygulama becerisi düşük ama belirli problemlere aşırı uyumlu “yarışma programlaması öğrencisi” gibi davrandığı benzetmesi yapılıyor

Duygular ve değer fonksiyonu (Value Function)

• İnsandaki duygu sistemi, karar vermede temel bir rol oynuyor ve bunun değer fonksiyonunun biyolojik karşılığı olduğu yorumlanıyor
• Duygulardan yoksun insan vakaları üzerinden, duyguların verimli yargı ve öğrenme için zorunlu bir unsur olduğu vurgulanıyor
• Bugünkü pekiştirmeli öğrenme çoğunlukla nihai ödüle dayanırken, değer fonksiyonu ara adımlarda geri bildirim sağlayarak öğrenme verimliliğini artırıyor
• Gelecekte AI sistemlerinin, duygusal düzenleme yapabilen bir değer fonksiyonu yapısı benimsemesi gerektiği ima ediliyor

Ölçekleme çağından araştırma çağına

• 2012~2020 dönemi araştırma odaklı gelişim, 2020~2025 dönemi ise ölçekleme odaklı gelişim olarak ayrılıyor
• Veri, parametre ve hesaplama gücünün basitçe büyütülmesi yaklaşımı sınırına ulaştı; artık yeni öğrenme reçeteleri aramak gerekiyor
• RL yeni bir ölçekleme ekseni olarak yükselmiş olsa da, bir sonraki aşamanın ana konusu kaynakların verimli kullanımı ve yeni öğrenme ilkeleri olacak
• “Artık yeniden araştırma çağındayız” ifadesiyle, salt ölçeklemenin ötesine geçen köklü inovasyon ihtiyacını vurguluyor

İnsanın genelleme yeteneği ve öğrenme verimliliği

• İnsanların az veriyle hızlı öğrenebildiği, bunun da evrimsel önbilgi (prior) ve verimli değer fonksiyonları sayesinde olduğu açıklanıyor
• Dil, matematik ve kodlama gibi evrimle doğrudan ilişkili olmayan alanlarda da insanların güçlü öğrenme kapasitesi göstermesi, temel öğrenme ilkelerinin varlığına işaret ediyor
• İnsanlar öz geri bildirim (self-correction) ile öğreniyor; bunun arkasında da içkin değer fonksiyonunun sağlamlığı bulunuyor
• Sutskever, insan seviyesinde öğrenme ilkelerini uygulamanın bir yolu olduğunu söylese de, ayrıntıları paylaşmıyor

SSI’nin stratejisi ve süperzekâ yaklaşımı

• SSI, $3B büyüklüğünde fonla araştırma odaklı biçimde çalışıyor ve üründen çok temel araştırmaya yoğunlaşıyor
• “Doğrudan süperzekâya gitme (superintelligence straight shot)” stratejisini korurken, kademeli yayınlama ve dağıtım üzerinden öğrenme yaklaşımını birlikte yürütmeyi planlıyor
• Hedef, “her işi öğrenebilen bir AI”; yani tamamlanmış bir bilgi deposu değil, sürekli öğrenen bir sistem (super learner)
• Böyle bir modelin ekonomi geneline yayılması durumunda çok hızlı ekonomik büyüme olasılığından söz ediliyor

Hizalama (Alignment) ve güvenlik

• AI’daki temel sorun “güç (power)”; sistemler ne kadar güçlüyse, kademeli dağıtım ve gerçek zamanlı geri bildirim o kadar önemli hale geliyor
• Gelecekte AI şirketleri arasında işbirlikçi güvenlik araştırmaları ve devlet müdahalesinin artması kaçınılmaz görülüyor
• SSI, “duyarlı yaşamı (sentient life) gözeten AI” hedeflediğini söylüyor; bunun insan merkezli hizalamadan daha uygulanabilir olduğunu savunuyor
• Süperzekânın gücünü sınırlamak ya da karşılıklı anlaşmalarla denetlemek gerektiği öneriliyor

İnsan-AI birlikte evrimi ve uzun vadeli denge

• Uzun vadede, insanların AI ile birleşmesi (Neuralink++) gerektiği; ancak böylece anlayış ve denetimin mümkün olabileceği yönünde bir senaryo sunuluyor
• İnsanların toplumsal arzuları ve duygularının evrimsel süreçte nasıl yüksek düzeyde kodlandığına dair bir sinirbilim gizemine değiniliyor
• Bu yüksek düzeyli arzu yapısının, AI hizalama araştırmaları için ipucu olabileceği belirtiliyor

SSI’nin kimliği ve teknik farklılığı

• SSI, “araştırma odaklı şirket” olarak kendini tanımlıyor ve ana hedefini genelleme ilkelerini keşfetmek olarak belirliyor
• Diğer şirketlerden farklı olarak yeni teknik yaklaşımlar izliyor ve gelecekte hizalama stratejilerinde yakınsama (convergence) bekliyor
• 5~20 yıl içinde insan seviyesinde öğrenen sistemlerin ortaya çıkacağını öngörüyor; sonrasında ise piyasa rekabetiyle uzmanlaşma ve ayrışma yaşanacağını tahmin ediyor

Self-play ve çok ajanlı yapı

• Self-play, veri olmadan yalnızca hesaplama gücüyle öğrenmeye imkân verebilen ilginç bir yöntem olarak değerlendiriliyor
• Ancak bunun, müzakere ve strateji gibi sosyal becerilerle sınırlı bir öğrenme biçimi olduğu yönünde bir sınırlama da belirtiliyor
• Son dönemde Prover–Verifier yapısı veya LLM-as-a-Judge biçiminde gelişerek, ajanlar arası rekabet yoluyla çeşitlilik sağlama potansiyeli sunduğu ifade ediliyor

Araştırma sezgisi (Research Taste)

• İyi araştırmanın aynı anda “güzellik, sadelik ve zihinde doğru ilham” taşıması gerektiği söyleniyor
• İnsan beyninden ilham alınmalı, ancak önemli olan özsel yapıyı doğru biçimde taklit etmek
• Aşağıdan yukarı deney sonuçlarından çok, üst düzey kavramsal inanç (top-down belief) araştırmayı sürdürmenin itici gücü olarak açıklanıyor

---

Özet: Ilya Sutskever, “ölçekleme odaklı çağ sona erdi; artık genelleme, sürekli öğrenme ve hizalama merkezli bir araştırma çağı başladı” diyerek, SSI’nin bu dönüşümün merkezinde durduğunu vurguluyor.

[GN⁺]

Hacker News görüşleri

• Bu aralar modellerin gerçek ekonomik etkilerine kıyasla çok daha akıllı görünmesi kafa karıştırıcı
  Son 20 yıldır insanların iş akışlarına AI ve algoritmaları entegre ediyorum; bu tür değişimler zaman alıyor
  Araçların nasıl kullanılacağını ve mevcut sistemlere nasıl yedirileceğini öğrenme süreci gerekiyor
  Modeller bugünkünden daha akıllı hâle gelmese bile, birkaç yıl içinde kesin sonuçlar göreceğimizi düşünüyorum

  • Sorun AI’ın kendisi değil, modern ekonomi yapısına dair anlayış eksikliği olabilir
    Çalışanlar zaten verimli çalışıyorsa, AI iş hızını artırsa bile üretkenlik çok fazla yükselmeyebilir
    Hatta birçok kuruluş, “meşgul işleri” doldurmak için fazla personel bulundurduğundan, gerçek iş miktarı azalsa bile çıktı aynı kalabilir
  • AI, işimin daha az zaman alan kısımlarını çok hızlandırdı, ama en çok zaman harcadığım kısımlar üzerinde neredeyse hiç etkisi olmadı
    Bunun teknik bir sınır mı yoksa organizasyonel bir sınır mı olduğunu bilmiyorum
    Zamanın çoğu teknik sorunlara değil, insanlar arasında önceliklerin hizalanması ya da uzlaşma oluşturma gibi insani meseleleri çözmeye gidiyor
  • ERP gibi sistemleri tasarlarken, başta basit görünse de gerçekte sayısız istisna durumu, onay, log ve veri entegrasyonu yüzünden iş 10 katına çıkıyor
    Üniversitedeyken bir hocam “Tüm sistemler zamanlarının %90’ını %90 tamamlanmış hâlde geçirir” derdi; gerçekten doğruymuş
  • Ama sonuçta piyasada yalnızca tek bir modelin kalması asıl sorun
    Örneğin “Dave” diye bir model olduğunu varsayalım; Microsoft, OpenAI, Meta, Oracle, hatta ABD hükümeti bile Dave’i işe alıyor
    Sonunda dünyanın her yanını onlarca kopyalanmış düşünme biçimi dolduruyor; çeşitliliğin yok olması asıl risk
  • Sonuçta OpenAI gibi ürün şirketleri, akademik başarıların parasal getirisini alıyor
    Araştırmadan çok bağlantı ağı ve iş sezgisi önem kazanıyor
    Halk, Ilya ya da Andrej gibi araştırmacılardan çok ChatGPT veya Copilot gibi markaları tanıyacak
    Wikipedia, OCR, bulut bilişim gibi sayısız temel teknoloji birikerek bugünkü LLM’leri mümkün kıldı; bu da sadece daha büyük bir şeyin ara aşaması

• Eğer “Era of Scaling”, yatırım çekmenin kolay olduğu öngörülebilir performans artışları çağı demekse, kulağa “AI summer” gibi geliyor
  O zaman “Era of Research”, belki de “AI winter” için daha yumuşak bir ifade olabilir

  • Bundan sonra araştırma laboratuvarları fikirlerini büyük AI şirketlerine satacak
    Tıpkı yaratıcıların Hollywood’a fikir sunması gibi, bug bounty yerine research bounty ortaya çıkacak
  • “Era of Research” ifadesi sanki “AI winter”ın zıddı anlamında kullanılmış
    Başlığın kendisi de bilerek böyle paradoksal kurulmuş gibi duruyor
  • Ticarileştirmede, basit performans artışlarından çok kullanım çerçevesi önemli
    Modeller zaten yeterince akıllı; şimdi “araştırma çağı” ve “mühendislik çağı” geliyor
    Geçmişteki AI kışları ilerleme olmadığı için değil, ticari ürünleştirme yapılamadığı için yaşandı
  • Hâlâ yakılacak trilyonlarca dolar var
    LLM eğitimini ve inference’ı milyon kat hızlandıracak donanımlar çıkabilir, ama AGI’ye hâlâ uzağız
    AI’ın kendi başına duygulara ya da arzulara sahip olması için hangi koşulların gerektiğini düşündürüyor
  • Bir gün AI sermaye dağılımını kendi başına kontrol edebilir
    Yatırımcıların AI’ın bir aracına dönüştüğü bir durumla karşılaşabiliriz
    “Bilgi denizinde doğmuş bir yaşam formu” sözü gibi, insan hafızasıyla AI hafızasının ayırt edilemediği bir çağı hayal ettiriyor

• İnsanın örnek verimliliği, evrimin bir sonucu
  Evrim muazzam miktarda öğrenme gerçekleştirdi ve biz o “önceden eğitilmiş” yapı sayesinde hızlı öğreniyoruz
  İnsanlık, nesiller boyunca bilgiyi sıkıştırıp aktardı; yapay modeller ise henüz o düzeyde sentetik veri kalitesine sahip değil

  • Evrim bize bir veri seti vermedi; öğrenme yolunu optimize etti
    İnsan doğar doğmaz duyularıyla veri alıyor ve bunu uyku sırasında sıkıştırıyor
    LLM’lerin aldığı veri miktar olarak büyük görünse de, insanın 20 yılda deneyimlediği bilgiyle kıyaslandığında çok daha az
    İnsan beyni girdinin yalnızca çok küçük bir kısmını bilinçli olarak işlerken bile karmaşık bir sıkıştırma hattından geçiriyor
  • Nesilleri bilgiyi DNA’ya sıkıştırma süreci olarak görürsek, yaklaşık 1 milyon yıl boyunca 50 bin sıkıştırma adımı yaşandı
    Yine de bu, modern makine öğrenmesindeki yinelemeli eğitim ölçeğine ulaşmıyor
  • Sonuçta evrim, devasa veriyi en kullanışlı biçime sıkıştırdı ve doğanın sıkıştırma becerisi ML araştırmacılarından çok daha üstün
  • Biyolojik sistemlerle LLM’leri karşılaştırmak anlamsız
    İki sistemin yapısal olarak neredeyse hiç ortak noktası yok

• “Dünyanın en çok fonlanan sektörünün düşünsel lideri, tasarım aşamasına doğru büyük sıçramayı ilan etti” gibi bir slogan yakışırdı

  • O şaka gerçekten komikti

• Bugünlerde AI’daki gerçek yenilik, sadece modeli büyütmekten çıkmıyor
  Benchmark puanları yükselse de kullanıcı açısından hissedilen iyileşme çok büyük olmuyor
  Hâlâ basit problemleri bile (ör. bir kelimedeki harf sayısını saymak) yanlış yapıyor ve çoğu insan doktora düzeyinde araştırma yeteneği gerektiren modeller istemiyor
  Artık ölçeklemeden çok araştırma, ayrıca ürünle modelin entegrasyonu daha önemli hâle geliyor

  • Sorun, bizim zekâyı tanımlayamıyor ya da ölçemiyor olmamız
    İnsanlara yönelik test puanları, makinelerin zekâsını yansıtmayabilir
    Çünkü insan beyni ile modellerin overfitting özellikleri farklı
  • Bundan sonraki ölçekleme, AI’ın daha gelişmiş simülasyonlar üzerinden kendi başına deney yapıp veri topladığı yöne gidecek
    Pretraining neredeyse bitti ve hesaplama maliyetleri bugünkünden çok daha yüksek olacak
  • Akıllı olan model değil; verideki zekâyı açığa çıkarıyor
    Model, o zekâyı çıkarıp kullanmaya yarayan bir araç sadece
  • LLM’lerin harf saymakta zorlanmasının nedeni, harflerle değil token düzeyinde çalışmaları
    İnsanların gördüğü karakter akışı yerine, model cümleyi sayısal token dizileri olarak algılıyor
  • Modeller hâlâ uydurma kaynakçalar ya da var olmayan akademik alanlar üretmeye devam ediyor

• Şu anki durum, sanki 1996’da herkesin bir anda 1Gbps internet sahibi olmasına benziyor
  Paralar altyapıya akıyor ama YouTube ya da Dropbox gibi killer app’ler olmadığı için potansiyel boşa gidiyormuş gibi hissettiriyor

• Bu podcast serisi gerçekten çok iyiydi
  Özellikle sunucunun Sarah Paine ile yaptığı jeopolitik serisi YouTube’da da izlenebiliyor ve harikaydı

• “Yeniden tasarım masasına dönelim” sözü aklıma geliyor
  Trilyonlarca dolarlık yatırım geri dönmese bile, sonunda vergi mükellefleri kurtarma yapacak

• İnsan zekâsı, yalnızca bireysel deneyimlerden değil atalarının deneyimlerinden de öğrenmiş olabilir
  Örneğin bir babanın yaşadığı korkunun torun nesline kadar aktarılabildiğini gösteren araştırmalar var
  (Nature makalesi bağlantısı)
  Bu yüzden insanlar az veriyle bile iyi genelleme yapıyor olabilir

  • LLM’ler beyinden tamamen farklı bir öğrenme yapısına sahip
    İnsanlar hayatta kalmak için geleceği öngörmek ve genelleme yapmak zorundaydı; bu yüzden evrimsel olarak örnek verimlilikleri yükseldi

• Eğer ölçekleme, insandan daha iyi araştırma yapabilecek seviyeye ulaşırsa, ölçekleme ile araştırma sonunda aynı anlama gelecektir
  Ama Ilya’nın bu seviyeye henüz ulaşılmadığını söylemesi, yatırım toplamak için stratejik bir açıklama da olabilir

  • Sonuca katılıyorum ama öncüle katılmıyorum
    Tek bir dahiden çok, insanlığın kolektif zekâsı daha önemli
    Ne kadar akıllı olursa olsun hiçbir AI’ın binlerce araştırmacıdan daha iyi olacağı garanti değil
  • Ölçeklemeye yönelik körü körüne inanç tehlikeli
    S-eğrisinin sonsuza kadar üstel biçimde genişletilebileceği sanılıyor