Doug Lenat hayatını kaybetti
(substack.com/garymarcus)- Yapay zeka araştırmacısı Doug Lenat, açık ifadeleri ele alan sembolik yapay zekayı gerçek bir sisteme dönüştürmeye çalışan kilit isimlerden biriydi; Gary Marcus onu “yapay zekanın kaybettiği bir dev” olarak nitelendiriyor
- Lenat, hayatının son 40 yılını Cyc'e adadı ve sağduyuyu makinelerin yorumlayabileceği bir biçimde kodlamaya çalıştı; Cycorp büyük bir ticari başarı elde edemese de 40 yıl boyunca varlığını sürdürdü
- Cyc'nin girişimi, bugün büyük dil modellerinin (LLM) hâlâ zorlandığı sağduyunun temsili ve akıl yürütme sorununu doğrudan hedef alıyordu
- Ken Forbus ve Muktha Ananda, Cyc'nin sembolik temsil, akıl yürütme ve bilgi grafiği/web araştırmalarına bıraktığı etkiyi çok yüksek değerlendiriyor
- Lenat'ın son makalelerinden biri olan Getting from Generative AI to Trustworthy AI, Cyc'nin derslerini modern LLM'lerle ilişkilendirme girişimiydi
Doug Lenat ve Cyc'nin yeri
- Doug Lenat, Marvin Minsky, John McCarthy, Allen Newell ve diğerlerinin araştırdığı sembolik yapay zekayı gerçekten çalışır hâle getirmeye çalışan bir araştırmacıydı
- Gary Marcus, sinir ağları ile sembolik yapay zekanın entegrasyonunu hayat boyu süren teması olarak görse de, saf sembolik yapay zeka alanında Lenat'ın çok daha derine indiğini düşünüyor
- Lenat, son 40 yılında Cyc projesini başlattı ve yönetti
- Cyc, dünyaya dair sağduyuyu makinelerin yorumlayabileceği bir biçimde kodlama girişimiydi
- Cyc ve onu barındırmak için kurulan Cycorp büyük bir ticari başarı elde edemedi
- Buna rağmen Cycorp'un 40 yıl sonra da faaliyetini sürdürmesi, yapay zeka şirketleri arasında nadir görülen bir durum
- Marcus'a göre Cyc, basitçe başarı ya da başarısızlık diye ayrıştırılması zor bir öncü deney
- Cyc tamamen yerleşik hâle gelmemiş olsa da, yapay genel zekâ alanında gerçek ilerleme kaydedildikçe önemi daha da artıyor gibi görünebilir
Sağduyulu akıl yürütme sorunu ve son makale
- Genç yapay zeka araştırmacılarının önemli bir kısmı Cyc'yi iyi bilmiyor, ancak Cyc'nin neyi denediğini bilmeleri gerektiği düşüncesi öne çıkıyor
- Bu, Cyc'nin büyük dil modellerinin doğrudan yerine geçirilmesi gerektiği anlamına gelmiyor
- Makinelere sağduyuyu temsil ettirme ve onunla akıl yürütme hedefi hâlâ ortada duruyor
- Yejin Choi'nin 2023 TED konuşması Why AI is incredibly smart and shockingly stupid, bugünkü yapay zeka sistemlerinin görünürdeki başarılara rağmen sağduyudan yoksun olduğu yönündeki çizgiyi sürdürüyor
- Marcus ve Ernie Davis'in 2019 tarihli kitabı Rebooting AI da aynı konuyu ele alıyor
- Büyük dil modelleri, sorunun ifade edilişine ya da eğitim verilerindeki rastlantısallığa bağlı olarak bazı durumlarda doğru, bazılarında ise yanlış cevap vererek sağduyu yanılsaması yaratabiliyor
- Belirli hatalar yamansa bile, benzer türde başka örnekler ortaya çıkmaya devam edebilir
- Cyc ise daha derin ve daha sağlam bir yanıt bulma girişimiydi
- Northwestern University'den yapay zeka araştırmacısı Ken Forbus, Cyc'yi sembolik temsil ve akıl yürütmenin sağduyunun önemli bir bölümünü taşıyabildiğini ilk gösteren örnek olarak değerlendiriyor
- Endüstride milyarlarca olguyu içeren bilgi tabanları yaygın olsa da, Forbus'a göre Cyc ifade gücü bakımından hâlâ en ileri örnek
- Forbus'un araştırma grubu onlarca yıldır Cyc'nin temsillerini kullanıyor
- Google Learning Platform Director Muktha Ananda, Lenat'ın vizyonunu, sebatını ve inatçı ısrarını çok yüksek değerlendiriyor; Cyc üzerindeki çalışmanın kendi bilgi grafiği/web araştırma yolculuğu için büyük ilham olduğunu söylüyor
- Marcus ve Lenat, son bir yılda Cyc'den çıkarılan dersleri toparlayan uzun bir makaleyi birlikte yazmaya çalıştı
- Taslak neredeyse 40,000 kelimeye ulaşıyordu ve bilim ile sözlü tarihin karışımı niteliğindeydi
- Cyc kapsam açısından olağanüstüydü, ancak uygulaması kullanımı zor bir yapıdaydı; akademik açıdan en büyük sorun ise tescilli bir sistem olmasıydı
- Lenat hastalanıp zaman daralınca, daha kısa ve daha yoğun bir makaleyi ayrıca kaleme aldı
- 31 Temmuz 2023'te arXiv'de Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc yayımlandı
- Cyc'nin yapmaya çalıştığı şeyi geriye dönük olarak ele alıyor
- Gerçek yapay zekadan beklenmesi gereken unsurları yoğunlaştırılmış biçimde sunuyor
- Lenat'ın içinde yer aldığı derin sembolik yapay zeka geleneği ile modern LLM'ler arasında bir uzlaşma çağrısı yapıyor
1 yorum
Hacker News yorumları
Doug zaman zaman dobra biriydi, ama temelde nazik ve cömert bir insandı; vizyonuna ve birlikte çalıştığı insanlara bağlılığı saygıyı hak ediyordu.
2016~2020 arasında Cycorp’ta çalıştım; ofis büyük olmadığı için Doug’ı sık sık görebiliyordum.
Bir keresinde haftalık tüm ekip öğle yemeğinde yeni bir araba alacağını söyleyip eski ama iyi bakılmış mevcut arabasına ihtiyacı olan biri olup olmadığını sordu; bir çalışan, kızının yakında araba kullanmaya başlayacağını söyleyerek çekingen biçimde elini kaldırınca arabayı oracıkta ona hediye etti.
Masa oyunlarını da severdi ve şirketteki insanlarla bir D&D grubu vardı; duyduğuma göre hep lawful good karakterler oynarmış. Başka türlüsünü bilmeyen biriydi denirdi.
17 yaşında bir lise öğrencisiyken Doug Lenat ile mülakata girdim ve Cycorp’ta yaz stajyeri olarak işe alınıp ilk gerçek programlama işime başlamış oldum.
O staj hayatımı değiştirdi; kelimenin tam anlamıyla bir çocuğa cesurca şans veren Doug’a her zaman minnettarım.
Doug seçkin bir bilgisayar bilimci ve yapay zekâ öncüsüydü; Cycorp küçük bir şirket olduğu için birçok toplantıya katılırdım ve teknolojinin tüm ayrıntılarını anladığı çok açıktı.
Cycorp zamanının 30 yıl ilerisindeydi ama gerçekte çalışmıyordu; bilmeyenlere anlatmak gerekirse genel yapay zekâ inşa etmeye yönelik ilk büyük ölçekli ticari girişimdi, fiilen ilk OpenAI gibiydi.
Doug’dan akıl almaz derecede büyük hayaller kurmayı ve pes etmemeyi çok öğrendim; Cycorp’a onlarca yıl tutunup finansmanı sürdürerek harika insanları işe alan ve sorunu sürekli ileri taşıyan çok az insan gördüm.
Ayrıca 17 yaşındaki bir stajyer olarak tam olarak ne yaptığını ve hangi becerilere sahip olduğunu da merak ediyorum.
1985~1989 civarında Doug ile Cyc üzerinde birlikte çalıştım. PARC’ta da yollarımız kesişti ama orada pek etkileşimimiz olmadı.
İlk yaptığım iş, mevcut uygulamayı atıp en baştan başlayarak hiyerarşi sistemini ve tüm bootstrap kodunu tasarlamaktı.
Küçük çekirdek ekip, çoğunlukla ben, Guha ve Doug ile birlikte eğlenceli bir dönemdi; ama zaman geçtikçe bilgi tabanının keyfîliğinden rahatsız olmaya başladım.
Kişisel nedenlerle Cyc projesinden ayrıldığım sıralarda, yakın ilişkim olmasına ve proje benim kodumun üzerinde çalışmasına rağmen projenin temellerine karşı epey olumsuzdum.
Zaman geçip daha akıllanınca değerini yeniden takdir etmeye başladım; o dönemde sanırım meseleye fazla saf matematiksel bir bakış açısıyla bakıyordum.
Sonrasında başka işler yaparken Doug ve Mary ile bağlantım koptu; buna üzülüyorum.
Doug Lenat’ın ruhu şad olsun. 2000~2006 arasında Austin’deki Cycorp’ta çalıştım.
Çok erken ayrıldı ama Doug, ABD’nin askerî ve istihbarat kurumlarındaki bilgisayar bilimi araştırmalarının gelişimine katkıda bulunma fırsatı yakaladı.
Bir gün LLM’ler yoluyla yapay zekâdaki hızlı ilerleme yavaşladığında, ilgi yeniden Cyc Project ve Cycorp’a, üyelerine, Dr. Doug Lenat’ın zorladığı mantıksal akıl yürütme ve bilgi temsiline dönecek.
Çünkü sinir ağı çıkarımı o kadar hızlı olsaydı, C programlarını derleyicinin verimli çalıştırdığı tümdengelimli mantık çıkarımına derlemek yerine sinir ağlarına derlerdik.
Aksine LLM’ler sayesinde her zamankinden daha güncel.
Sinir ağı yapay zekâsı ile sembolik yapay zekâ eninde sonunda birleşecek; sembolik model de normalizasyon yoluyla mutlaka gereken verimliliği ve sağlamlığı getirir.
Bunca verinin tozlanıp pek bir sonuç vermeden öylece durmasının ne anlamı var, diye düşünüyorum.
Sinir ağı çıkarımının tüm hesaplamaları yürütmenin en hızlı yolu olduğunu kim iddia ediyor?
Başka bir teknoloji olan sinir ağlarını küçümsemek yerine, sembolik yöntemlerle gerçek dünya sorunlarını çözülebilir hâle getirmeye odaklanmak daha iyi olur. Örneğin sembolik yöntemlerle sağlam bir e-posta spam tespit sistemi nasıl kurabiliriz?
Doug’ın çalışmaları ve düşünceleri hakkında daha fazlasını duymak istiyorsanız, geçen yıl Lex Fridman’ın Doug ile yaptığı epey uzun bir röportaj var
https://www.youtube.com/watch?v=3wMKoSRbGVs&pp=ygUabGV4IGZya...
Doug, yaklaşık 5 yıl sonra bu tahminin bir mertebe hatalı olduğunu, gerçekte yaklaşık 10 milyona daha yakın olduğunu öğrendiğini söylüyor
Bununla ilgili literatür veya yayın var mı merak ediyorum. Neden 100 milyon olmadığını nasıl bildikleri, neden sonlu kabul edilebileceği ve neden kombinatoryal patlama yaşanmadığı kafamı kurcalıyor
Elbette 38 yıl boyunca sürdürmek için sürekli değerlendirme metrikleri olmuştur, ama bu mantığı pek anlayamadığımdan kaynakça ya da eleştiri bağlantıları merak ediyorum
1990’larda Cyc’i duymuştum ama hâlâ yaşadığını bilmiyordum; bu kadar uzun süre ayakta tutmuş olmaları etkileyici
Wikipedia maddesi de oldukça iyi: https://en.wikipedia.org/wiki/Cyc#Criticisms
Yine de 1 milyon ya da 10 milyon iddiası, onlarca yıl boyunca sürdürmek için güçlü bir iddia; gerçekten güçlü metriklerle desteklenip desteklenmediğini merak ediyorum
Bağlantısı verilen makaleyi okumayı ilginç kılan şey, onların bilgisayarın içinde olması gerektiğini düşündükleri ilkeleri topluluk dış yapısı hâline getirme fikrinin bana hep çekici gelmiş olması
İnsanlar argümanlar ve sonuçlardan oluşan bir derlemi keşfedip üzerinde işbirliği yapabilse, argüman grafiğinin bazı kısımlarına katılmayıp eklemeler yaparak zamanla zenginleştirebilse çok faydalı olurdu gibi geliyor
Böylece başkaları da aynı akıl yürütmeyi okuyup benimseyebilir
Ara sıra üzerinde çalıştığım http://concludia.org/’da bu tür fikirleri deniyorum; şu anda daha çok kavramı kurcalamak ve Akka(Pekko) programlamasını daha iyi öğrenmek için bir bahane gibi
Bir gün kullanıcı hesapları ve düzenlenebilir argümanlar ekleyip onu gerçek bir web sitesi hâline getirmeyi düşünüyorum
Argümanlar kanıtlara, kavramlar ilgili kavramlara bağlanır gibi
https://en.m.wikipedia.org/wiki/Zettelkasten
Beyin fırtınası için iyi olur gibi
Siyasi kutuplaşmanın yüksek olduğu bir ülkede kamusal tartışmayı yakınlaştırmanın bir yolunu hayal ederken aklıma gelmişti
Bir tür yapılandırılmış açık tartışma forumu olarak, insanların hiyerarşinin neresinde fikir ayrılığına düştüğünü ve daha önemlisi aslında ne kadar çok konuda uzlaştığını daha iyi görmesini sağlayabilir gibi
Cyc’i hep Russell ve Whitehead’in Principia’sının yapay zeka versiyonu gibi düşündüm
Teknik olarak iddialı ve kendi başına ilginç, ama nihayetinde bağımsız bir yöntem olarak ne kadar uzun çalışılırsa çalışılsın ve sürekli kural eklense de düzgün çalışmayacak yanlış bir yaklaşım olduğu hissini veriyor
Yine de sinir ağı modellerini test etmek ve eğitmek için faydalı olabileceğini düşünüyorum
Lenat’ın Cyc’e başladığı dönemde, bugün insanların “sağduyu akıl yürütmesi” diyeceği düzeyi gösteren sinir ağı modellerini çalıştıracak hesaplama kaynakları yoktu; o yoldan başlaması bu yüzden gayet anlaşılır
“Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc”
Lenat’ın son makalesi; 31 Temmuz’da Gary Marcus ile birlikte yayımladı
https://news.ycombinator.com/item?id=37354601
Bu makaleyi görünce iki düşünceniz sarsılabilir: Günümüz sinir ağı modellerinin, yani LLM’lerin sağduyu akıl yürütmesi sergilediği düşüncesi ve Cyc’in temsil ettiği yaklaşımla LLM’lerin temsil ettiği yaklaşımın birbirini dışladığı düşüncesi
Yazının son kısmını görünce, yaptığım ve düşündüğüm şeyleri daha fazla kamuya açmam gerektiğini düşündüm
Doug Lenat değilim ve içeriklerimin internetteki gürültüye sadece katkıda bulunma ihtimali yüksek, ama yine de insan fikirlerinin kendisiyle birlikte ölmesine ya da çıkar sahiplerinden oluşan bir kurul tarafından kontrol edilmesine izin vermemeli
Açık kaynak fanatiği değilim ama açık kaynak, başkalarının benim başlattığım işi sürdürebilmesi için iyi bir yol
Geçen yıl Gary Marcus ve Doug, bir türlü tamamlayamadıkları uzun ve karmaşık bir makale yazmaya çalıştı; Cyc kapsam açısından muazzamdı ama uygulaması yönetmesi zor bir şeydi
Akademik açıdan Cyc’in en büyük sorunu tescilli yazılım olmasıydı
Doug, Cyc’ten öğrendiği dersleri daha çok kişinin anlaması için sonraki nesil araştırmacılara aktarmaya çalıştı. Nelerin iyi işlediği ve neden işlediği, ne zaman ve neden başarısız olduğu, uygulamada nelerin zor olduğu, neleri farklı yapmış olmayı isteyeceği gibi şeyler
Son e-postalarından biri makaleyi mümkün olduğunca çabuk yayımlama ricasıydı ve türlü aksaklıkların ardından 31 Temmuz’da arXiv’e Getting from Generative AI to Trustworthy AI: What LLMs might learn from Cyc (https://arxiv.org/ftp/arxiv/papers/2308/2308.04445.pdf) yüklendi
Kısa bir yazı ama Cyc’in yapmaya çalıştığı işin bir değerlendirmesi, gerçek yapay zekadan ne beklememiz gerektiğinin bir özeti ve onun içinde yer aldığı derin sembolcü gelenek ile modern büyük dil modelleri arasında uzlaşma çağrısı niteliğinde
Önemli olduğunu düşündüğünüz şeyi paylaşmanız yeterli
Küçük, ihtimali düşük görünen bir bilgi iyileştirmesi bile anlamlı olabilir. Bunlar yeterince çoğaldığında istatistiksel olarak ibreyi oynatabilir
Elbette ilgili içeriğin bulunabilir olması gerekir; bu da başlı başına büyük bir sorun
Şahsen hiç tanışmadım ama Doug’ın çalışmaları bilişimde benim için en büyük ilham kaynaklarından biriydi
2018’de yazdığım bir blog yazısını linklemek uygun görünüyor. Lenat’ın çalışmasının Cyc’e uzanan seyrini kısaca özetleyen ve makale bağlantılarını bir araya getiren bir yazı
http://blog.funcall.org//lisp/2018/11/03/am-eurisko-lenat-do...
Cyc, telaffuzu “Syke”, uzun zamandır belli belirsiz ilgimi çeken bir projeydi ama düzgünce inceleyecek zamanım ve enerjim olmadı
Kapsamlı bir ontoloji ve bilgi tabanına dayalı bir yapay zeka projesi
Wikipedia özeti: <https://en.wikipedia.org/wiki/Cyc>
Proje/şirket ana sayfası: <https://cyc.com/>
Yapay zekayı “temiz” bir yöntemle yapmaya dönük son büyük girişimdi; bu başarısızlık bugün büyük başarı kazanan “dağınık” yapay zeka yaklaşımının doğmasına yardımcı oldu
Bu başarısızlık Doug’ı küçültmez. Birilerinin denemesi gerekiyordu ve bunun en zeki insanlardan biri olması iyi oldu
Çalışmayacağı belli olduktan sonra bile buna uzun süre tutunduğunu düşünüyorum, ama atılımlar gerçekten de olabiliyor
Bugünkü makine öğrenmesi patlamasının kendisi de bir zamanlar terk edilmiş tekniklerin yeniden doğuşu; yine de bunlara tutunan insanlar, çalıştırmanın püf noktalarını keşfetti
Birkaç yıl önce yapay zekaya girmeye çalışan bir danışmanlık şirketiyle çalıştım; şirket, çoğunlukla finans müşterilerine satacağı platform olarak Cyc’i seçmişti
Ama gerçek bir projenin bile başlamış gibi görünmediğini ve ne satılabileceğine dair net bir tablo olmadığını gördüm
Lenat’ı dolandırıcı olarak görmek istemiyorum. Çünkü samimi ve parlak biri gibi görünüyordu
Ancak Cyc’in yararlı işleri neredeyse hiç başaramamasına rağmen aşırı abartılarak satıldığını düşünüyorum. Web sitesi teknik ifadelerle dolu ama 40 yıllık iş geçmişinden sonra bile tek bir vaka çalışması yok