Rich Sutton’ın yapay zeka yaratıcılığı ve keşif üzerine görüşleri
(twitter.com/RichardSSutton)- Gözetimli öğrenmeyle eğitilen üretken yapay zeka, örneklere benzer davranan bir taklit modelidir; faydalı olsa da bilim ve matematikte yeni keşifler yapma konusunda sınırlıdır
- İnternetten yanıt verme ya da belge özetleme gibi işlerde yenilik, aksine halüsinasyon haline gelir; iyi yanıtlar kaynak materyalin kalitesinden doğar
- Roman ya da görsel üretimi gibi yeniliğin gerektiği durumlarda bile çıktının eğitim verisine ne kadar yakın olduğunu bilmek zordur; rastgelelik yenilik üretir ama değerlendirme olmadan iyi bir keşfe dönüşemez
- AlphaGo, AlphaZero, GT-Sophy, AlphaFold, AlphaProof, Claude-Code, RL-Lyft gibi sistemler değerlendirme ve seçici koruma yoluyla yeni ve iyi sonuçlar bulur
- Tam teşekküllü bir yapay zeka bilim insanı isteniyorsa, açık hedefler paylaşılmalı; böylece yapay zeka üretip değerlendirebilir, keşfedebilir ve yaratıcılık ile keşfin otomasyonu mümkün hale gelir
Üretken yapay zekanın sınırları ve faydası
- Üretken yapay zeka, büyük miktarda örnek alıp insan gibi metin üreten, sanatçı ya da doğa gibi görseller oluşturan, ya da internet videolarına benzer videolar üreten bir taklit modelidir
- Üretken yapay zeka çok faydalı olabilir, ancak “iyi olan kısımlar yeni değildir, yeni olan kısımlar iyi değildir” şeklindeki eski espri büyük ölçüde burada da geçerlidir
- İnternette cevap ararken ya da belgeleri özetlerken yapay zekanın yeni bir şey üretmesi gerekmez; yanıtın kalitesi belge yazarları ya da internet yazıları gibi kaynak materyallerden gelir
- Yapay zeka yanıtı kaynak materyalin ötesine geçip bir şeyler eklerse, bu halüsinasyon olur ve çoğu durumda kullanıcı yapay zekanın bir şey uydurmasını istemez
Yenilik, rastgelelik ve değerlendirme sorunu
- Kullanıcı gerçekler ya da gerçek dünya yerine kurgu ve eğlence istediğinde, yenilik istisnai olarak gerekli hale gelir
- Çocuğa anlatılacak bir uyku hikayesi ya da mevcut internet görsellerinden farklı ama onlara dayanan bir görsel üretmesi için üretken yapay zekaya istek verilebilir
- İnternet çok büyük ve olası kaynaklar çok fazla olduğu için, yapay zekanın hikâye, şiir ya da görsellerinin gerçekte ne kadar yaratıcı olduğunu pratik olarak bilmek zordur
- Üretken yapay zekanın işleyişi kısmen olasılıksaldır; bu nedenle her karar birden fazla yöne gidebilir ve her seferinde farklı bir yörünge oluşturabilir
- Yörünge rastgeleliğe dayanırsa yeni olabilir, eğitim verisine dayanırsa veri kalitesi sayesinde iyi olabilir; ancak aynı anda hem yeni hem iyi olmakta zorlanır
Bilim ve matematik için gereken keşif
- Üretken yapay zeka aynı anda hem iyi hem yeni olamasa bile, çoğu kullanım alanında bu ölümcül bir sorun değildir; hızlı, ucuz, küçük, özelleştirilebilir ve çoğaltılabilir olduğu sürece dönüştürücü bir teknoloji olabilir
- Bilim ve matematikte yalnızca basit taklit yapan yapay zeka yeterli değildir; gerçek yaratıcılık ve keşif gerekir
- AlphaGo’nun 37. hamlesi, AlphaZero’nun özgün satranç stili ve GT-Sophy’nin simülasyon yarış performansı, yeni ve iyi olanı bulmaya örnek gösterilir
- AlphaFold, AlphaProof ve Claude-Code; bilim, matematik ve programlamada gerçek ilerleme sağlayan örnekler olarak sunulur
- RL-Lyft, araç çağırma işinde yolculara araç atama biçimini optimize eden bir sistemdir
- Bazı dil modelleri, gözetimli öğrenme temelli üretken yapay zekanın ötesine geçen yöntemlerle güçlendirilmiştir
Keşfin üç aşaması
- Keşif, birçok şeyi denemek, neyin işe yaradığını görmek ve en iyi çalışanı korumak sürecidir
- Doğal seçilim yoluyla evrim, bilimsel yöntem, gündelik yaşam ve öğrenme; hepsi deneme yapıp işe yarayanı hatırlama biçiminde işler
- Psikolojide buna araçsal öğrenme ya da edimsel koşullanma, makine öğrenmesinde ise pekiştirmeli öğrenme denir
- Planlama ve birleşimsel aramada da “üret ve test et” şeklindeki keşif fikri çalışır
- Keşfin özü, varyasyon, değerlendirme ve seçici koruma olmak üzere üç aşamanın birleşimidir
- Yalnızca gözetimli öğrenmeyle çalışma anında üretileni değerlendirecek bir yöntem yoktur; değerlendirme yoksa seçici koruma da yoktur, dolayısıyla keşif de olmaz
- Yenilik kısa süreliğine ortaya çıkabilir, ancak değeri fark edilmezse kaybolur ve yitirilir
Değerlendirme, hedefler ve özerklik
- İnsan bir üretken yapay zeka ile birçok görsel üretip beğendiği birini seçtiğinde, keşfi tamamlayan insan+yapay zeka sistemi olur
- Net hedefler olduğunda değerlendirme de mümkündür; bazı hamleler şah mata götürür, bazı adımlar ispatla sonuçlanır, bazı eylemler yüksek ödüle götürür
- Bazı genotipler daha fazla kopya üretir, bazı teoriler veriyi daha iyi açıklar
- Varyasyonun tamamen rastgele olması gerekmez; iyi bir bilim insanı test edeceği teorileri rastgele seçmez
- Cevabın nerede olduğu tamamen belirlenmişse bu keşif değildir; keşif için belirsizlik gerekir
- Geri yayılımın ağırlık güncellemeleri belirleyicidir, ancak ağırlıklar küçük rastgele değerlerle başlatıldığı için varyasyon vardır
- Rastgele başlatma, iyi performans elde etmek için doğru şekilde yapılması gereken gerekli bir varyasyon biçimidir
- Geri yayılımda varyasyon yalnızca ağın ilk başlatılmasında bir kez gerçekleştiği için etkisi geçicidir ve daha sonra ağ öğrenme yeteneğini kaybedebilir
- “continual backpropagation”, daha az kullanılan nöronları zaman zaman küçük rastgele ağırlıklarla yeniden başlatarak varyasyonun sürmesini ve plastisitenin korunmasını sağlar
- Keşif, insandan ya da açık hedeflerden gelen değerlendirmeye ihtiyaç duyar; tam özerklik, açık hedefler değerlendirme sağladığında mümkündür
- Bir yapay zeka bilim insanının tüm yetenekleri isteniyorsa, hedefler paylaşılmalı; böylece yapay zeka üretir, değerlendirir, keşfeder ve hedefe ulaşmaya katılır
1 yorum
Hacker News yorumları
Kodlamada olduğu gibi en başarılı uygulamalar, saf LLM/üretici modellemenin sonucu olmaktan ziyade, döngüyü ajan tarzı bir harness ile kapatmasından doğuyor
üret-test-et-seçici biçimde iyileştir döngüsü bilimsel çalışmanın temel kalıbıdır ve LLM + doğrulanabilir ödülle pekiştirmeli öğrenme + derleyici/terminal çalıştırma geri bildirimi bu süreci oldukça iyi taklit eder
Bu, modern hesaplama sistemleri üzerinde uygulanmış bir Fisher/Box geri bildirim döngüsüne (https://www-sop.inria.fr/members/Ian.Jermyn/philosophy/writi...) daha yakındır ve LLM sadece bileşenlerden biridir
Keşke Sutton mevcut genel tablo hakkında konuşsaydı da sadece LLM/geri yayılım tarafına odaklanmasaydı; bu eksik kalmış. Bu tür döngülerin keşfi en azından kısmen otomatikleştirip otomatikleştiremeyeceğini gerçekten merak ediyorum
Keşifte daha fazla unsur var ve ilk çalışan modelin/hipotezin nereden geldiği ya da güncellemelerin nasıl seçildiği hâlâ belirsiz. Hanson’ın son dönemdeki Patterns of Discovery kitabının bu yöne değindiğini gördüm; henüz okumadım ama mekanik ipuçları içerip içermediğini merak ediyorum
Sadece pekiştirmeli öğrenmede ödüle ulaşmak zor olduğu için, görevleri saf pekiştirmeyle öğrenmekte büyük bir sorun var. İnsanlar da keşif problemlerini kitaplardaki denetleyici sinyalleri ve problem çözme arayışını birleştirerek çözüyor; matematik konusunda hiçbir başlangıç eğitimi olmayan biri ne kadar zeki olursa olsun kayda değer sonuçlar üretmekte zorlanır. Bootstrap, geçmişte bedeli zaten ödenmiş bir arayıştı
Yine de bunun, evrimsel algoritmaların yaşadığı türden bir sorunu taşıdığını görüyorum. Paran bitene kadar aday çözümler üretebilirsin ama yine de bu çözümleri değerlendirmen gerekir. Bir uygunluk fonksiyonuna ihtiyaç var; bu da en azından çözümün kabaca neye benzediğini bilmek demek. Daha açık uçlu uygunluk fonksiyonları üzerine çalışma bilen varsa okumak isterim
Bu matematiksel sınırlamalar nedeniyle LLM, gerçek AGI’ye giden yol olmayabilir ama şu an için dürüst olmak gerekirse bunun çok da önemli göründüğünü düşünmüyorum
“Üretilen yeni şeyler değerlendirilmelidir ki yaratıcılık ortaya çıkabilsin. Değerlendirme ve en iyi sonuçların korunması olmadan hiçbir şey yaratılmaz. Yenilik kısa bir an görünür ama değeri fark edilmezse kaybolur ve yitip gider” şeklindeki çerçeveleme gerçekten hoşuma gitti
Twitter yorumlarındaki pek çok kişi, muhtemelen burada bazıları da, girişten sonrasını okumamış gibi. O, AI sistemlerinin yaratıcılık ve keşif yapamayacağını söylemiyor; harness’siz üretici AI’ın yaratıcılık ve keşif yapamayacağını savunuyor
Yani yeni fikirlerin değerini tanıyıp hatırlayan başka bir sisteme ihtiyaç var. Hatta bu değer tanıma aşamasının otomatikleştirildiğini ve kendi tanımı gereği tamamen otomatik sistemlerde yaratıcılık ve keşfin başarılabildiğine dair örnekler veriyor
Yanlış anlamadıysam bu argüman yalnızca özgün ön eğitim dönemine (ör. GPT 1~4) uygulanıyor gibi görünüyor. Sonradan eğitim ve pekiştirmeli öğrenme paradigması açıkça varyasyon, değerlendirme ve seçici koruma yapmıyor mu?
Bunun Keen Tech’in David Silver’ın Ineffable Intelligence yaklaşımına yönelmesinin habercisi olup olmadığını merak ediyorum
Yani değerlendirme ve koruma var ama mutasyon ya da “planlama” yok
Bu, LLM’lerin kullanılamayacağı anlamına gelmiyor. AlphaEvolve tam olarak bunu yapıyor. Sadece dışarıda basit bir evrimsel planlayıcı kullanıyor. Onun söylediği daha büyük nokta, bizim planlayıcımızın hâlâ “aptal” olduğu ve buraya daha fazla yatırım yapmamız gerektiği
Claude Code’da LLM’i yinelemeli biçimde yönlendirdiğinde kullanıcı dış planlayıcı rolünü üstlenmiş oluyor ve bu da gayet iyi çalışıyor
AlphaGo ve bu tür üretken yapay zeka modellerinin karşılaştığı sorunlar üzerinden yapılan problem kurulumunun tuhaf göründüğünü düşünüyorum
AlphaGo, dışarıdan verilmiş katı bir değerlendirmeye tabi tutuldu; bunu kendisi üretmedi
Üretken yapay zeka modelleri de dışarıdan katı bir değerlendirmeye tabi tutulduğunda birçok alanda başarılı olabilir. Basit programlama görevlerinden en ileri matematiğe (yakın zamanda bir sanıya karşı örnek sunulması), daha optimize kernel kodu yazmaya kadar çeşitli alanlarda başarılı olmaları özellikle dikkat çekici
Çözüm son derece karmaşık olsa da değerlendirmenin görece daha az karmaşık olduğu alanlarda pek çok pekiştirmeli öğrenme örneği var; keşif ve “evrime benzer” yörünge seçimi de gerçekten yaşanıyor
Bu yüzden AlphaGo ile karşılaştırmak garip geliyor. AlphaGo, dar bir alanda insan denen dış kaynağın verdiği, kendisinden bağımsız katı bir değerlendirmeye tabi tutuldu. Üretken yapay zeka da böyle bir değerlendirme verildiğinde oldukça şaşırtıcı sonuçlar gösterebilir
Daha da tuhaf olan, birçok durumda yenilik ve ilerlemenin gerçekten yeni fikirler gerektirmemesi; farklı yöntem, taktik ve fikirlerin yüksek kalitede katman katman uygulanmasından doğmasıdır. Birçok alanda kolektif bilgimiz son derece seyrek ve karmaşık olduğundan, araçları, modelleri ve fikirleri seçici biçimde yüksek kalitede yeniden birleştirebilmek çok güçlüdür
Sonlu bir arama ufkunda (zaman, kaynaklar) “iyi seçim” oranının %1 olmasıyla %3 olması tamamen farklı dünyalardır
En önemlisi, yukarıdaki tartışma zeka hakkında değil; elimizdeki önemli ve değerli problemlere yönelik kurak çözüm tarımı hakkındadır. AGI ve zeka tartışmalarının çoğu bu basit gerçeği kaçırıyor gibi görünüyor. Uçağın kuş gibi uçamaması ya da denizaltının yüzememesi benzetmesinde olduğu gibi, bunun faydayla ilgisi yok
Son olarak, bu sistemlerin sıradan insanların hayatları boyunca karşılaştığı problemlerde ortalama olarak daha iyi olamayacağını gerçekten düşünüyor musunuz? Bilim ya da tıp alanındaki genel problem sınavlarında %60-70 puanla diploma verilen bir dünyada, insan zekasını nasıl tanımlamalıyız?
Albatros gibi kanatlarını neredeyse hiç çırpmadan uçan kuşlar da var
Derin öğrenmenin önemli bir kısmını bileşimsel genelleme olarak görüyorum. Model, yeniden kullanılabilir parçaları, yani soyutlamaları, stilleri, prosedürleri, kısıtları vb. öğreniyor ve bunları eğitim verisinde bütün halinde hiç görünmemiş biçimlerde yeniden birleştiriyor
Dolayısıyla malzeme geçmiş veriden gelmiş olsa bile, nihai bileşim anlamlı bir açıdan yeni olabilir
Onun asıl demek istediğini pek takip edemiyorum. a) hedefi, yani “tercihi”, eğitim aşamasına doğrudan entegre eden yeni bir temel algoritmaya ihtiyaç olduğunu mu söylüyor, yoksa b) eğitilmiş modelin yineleme sırasında hedefe yöneltilmesi gerektiğini mi?
Eğer a) ise, böyle bir algoritma önermedi ve bu kadar düşük seviyede soyut hedeflerin nasıl nicelleştirileceğini de bilmiyorum. Böyle bir algoritma önerdi de ben mi yanlış okudum? Eğer b) ise, bu zaten var. AlphaEvolve ya da onun sözünü ettiği çeşitli örnekler böyle; biraz alaycı söylemek gerekirse sadece
/goalgirip çalıştırmanız yeterliAyrıca LLM'lerin iyi ve yeni şeyler yapamayacağını söylemenin kategorik olarak yanlış olduğunu düşünüyorum. Yapabiliyorsa “bu yeni değil, sadece türev” denebilir ama örneğin bir LLM ile bir programlama dili oluşturduysam ve bu dil benim amacıma çok iyi uyuyorsa, bu yeni ve iyi bir şey değil midir? FORTRAN dışındaki tüm diller yeni değil mi demek istiyoruz?
Her şey türevseldir ve LLM'yi, LLM'nin denediği şeyleri değerlendiren döngünün içine koyabilirsiniz. Onun bu kadar yanılacak kadar sığ biri olduğunu sanmıyorum; sanırım ben bir şeyi yanlış anlıyorum
AlphaGo, olası hamleleri değerlendirirken ve yineleme yaparken keşfi kullanıyor
Claude Code da script ürettikten sonra çalışıp çalışmadığını değerlendirirken keşfi kullanıyor
Onun söylediği, bilim ve mühendislikte de kodda yaptığımız gibi yapay zeka sistemlerinin kendi değerlendirme ve yinelemelerini yapmasını sağlamamız gerektiği
Temelde bu, mühendislik için harness mühendisliği
https://youtu.be/ThFq87Rp21s?si=SrKj72_X8bjnB6ED
Yaklaşık 35. dakikada
Yapay zeka için “yaratıcı” gibi kelimeler kullanırken çok spesifik olmak gerekir
Yapay zeka sanat üretebilir mi? Duyusal olarak keyif veren bir şey üretebilir. Ancak sanat sonuçta insan duygularını ve hislerini aktarmaktır. İnsanlar arasında bile sanat anlayışı evrensel değildir. “Duygular ve hisler”; dolayısıyla sanat, belirli bir grubun paylaşılan inanç ve deneyimlerine derinden bağlı olabilir
Matematik ya da bilim gibi öznel olmayan alanlarda yaratıcı olabilir mi? Einstein yaratıcı düşünce deneyleriyle genel görelilik teorisini ortaya koydu. Yapay zeka, deneylerle ortaya çıkan bir problemi çözmek için çeşitli matematiksel çerçeveleri test ederken genel göreliliğin alan denklemlerini ortaya koyarsa bu yaratıcı mıdır? Muhtemelen olabilir, ama kesinlikle aynı şekilde değildir
Soru, bir makinenin sanat yapıp yapamayacağıysa, sonuçta birilerinin o makineyi açması ve sanat üretmesi için tasarlaması gerekmiştir; bu açıdan bakıldığında sanatı yapanın o kişi ya da kişiler olduğu da söylenebilir
Tarihsel olarak “x sanat mıdır?” sorusunun cevabı sonunda hep “evet” olmuştur. İnsanların neden aynı tuzağa tekrar tekrar düştüğünü bilmiyorum
Wikipedia’daki sanat maddesi şöyle başlıyor
“Art is a diverse range of cultural activity centered around works utilizing creative or imaginative talents, which are expected to evoke a worthwhile experience”
https://en.wikipedia.org/wiki/Art
Dolayısıyla yapay zeka da sanat yapabilir. Çünkü alımlayıcıda duygusal bir tepki oluşturması yeterlidir
Asıl pratik sorun, modelin prompt’a uyma kabiliyetinin çok sınırlı olmasıdır. Sahne tasarımında belirtebileceğiniz detay seviyesi fazla kabadır. Bu yüzden çok sayıda boşluk doldurma türü pastiş detayı içeren bir “slop” etkisi çıkabilir, ama her bir yan unsurun mesajı güçlendirecek şekilde bilinçli olarak yerleştirildiği bu tür eserler üretilemez
https://en.wikipedia.org/wiki/The_Awakening_Conscience
Temelde bu, “bana bisiklete binen bir pelikan çiz” probleminin uzman versiyonudur
Bazı durumlarda bu düzeyde yaratıcı kontrol gerekir ve mevcut görüntü üreticileri buna yaklaşamıyor
Ayrıca bu kontrol olmadan, ünlü sanatçıların yaptığı ve hâlâ yapmakta olduğu gibi, kültürel dönüm noktası haline gelen yeni estetikler yaratma düzeyindeki meta yaratıcılığa ulaşılamaz
Sadece dopamin istiyorlar. Düşünmek acı verdiği için düşünmek istemiyorlar
Makine öğreniminin yaratıcı olamayacağını ya da keşif yapamayacağını düşünmüyorum. Yaratıcılık ve keşif, sonuçta görünüşte birbiriyle ilgisiz doğru kavramları aynı anda düşünebilmektir; algoritmik düşünme ise daha bariz biçimde ilişkili kavramlarla uğraşmaktır
LLM olmasa bile bazı modeller rastgele fikirler üretebilir, bunları sıralayabilir ve ardından en iyi sonucu verebilir
Yine de insanların bu tür işlerde daha iyi, makine öğreniminin ise algoritmik düşünmede daha iyi olduğunu düşünüyorum. Buradaki “daha iyi”, daha verimli olması ve bizim bunu daha çok seviyor olmamız anlamına geliyor; özellikle de kendimiz dahil insanlar için öznel olarak çekici olan şeyleri, yani zevki, daha doğru değerlendirebilmemiz bakımından
Makine öğrenimi programlamadan daha fazla genelleme gerektirir, ama yine de çoğunlukla mantıksal işlere optimize edilmesi gerektiğini düşünüyorum. Yazılım geliştirme, çeviri, sanat ve keşif için araçlar gibi
Sorun değil. LLM’ler şu anki halleriyle de faydalı. Bir sonraki nesil matematiği ya da fiziği asla ortaya koyamasalar bile
İnsanlar arasında bile düşüncede sıçrama yaratan beyinler o kadar nadirdir ki, onları isimleriyle hatırlarız
Alternatif bağlantı: <https://xcancel.com/RichardSSutton/status/206121608774494665...>
Şu anda bende 502 “Bad Gateway” hatası veriyor ama muhtemelen bir noktada düzelir