Cyc için ölüm ilanı
(yuxi-liu-wired.github.io)- Cyc, Douglas Lenat'ın 1984'te başlattığı, sağduyu bilgi tabanına dayalı bir AGI projesiydi; 30 milyon assertion, 200 milyon dolar ve 2.000 insan-yılı ölçeğine rağmen genel zekaya ulaştığını gösteren bir kanıt bırakamadı
- Lenat, AM ve EURISKO'nun erken heuristikleri tükettiğini görerek, knowledge pump'ı çalıştırmak için önce milyonlarca sağduyu olgusu ve kuralının insanlar tarafından girilmesini hedefledi
- Cyc; CycL, microtheory, yaklaşık 1.100 çıkarım motoru ve sınırlı doğal dil ayrıştırma yeteneğine sahipti, ancak doğal dil metinlerini okuyup otonom biçimde öğrenen aşamaya ulaşamadı
- Kamuya açık olarak doğrulanabilen devlet ve ticari uygulamaları arasında Terrorism Knowledge Base, Cleveland Clinic örneği, ağ güvenliği ve veri entegrasyonu vardı; bunlar mevcut uzman sistem ve bilgi erişimi yaklaşımlarından büyük ölçüde farklı değildi
- Cycorp uzun vadeli mali istikrar ve bazı ticari başarılar elde etti, ancak kapalılık, benchmark eksikliği ve OpenCyc'in sona ermesi nedeniyle dış AI araştırmaları ve bilgi erişimi alanındaki etkisi sınırlı kaldı
Cyc'nin temel değerlendirmesi
- Cyc, Douglas Lenat'ın 40 yıl boyunca peşinden gittiği sembolik AI tabanlı AGI projesiydi
- Amaç, insan sağduyu bilgisini mantıksal bir dilde büyük ölçekte kodlamak ve bunun üzerinde çıkarım ile öğrenme yapan bir sistem kurmaktı
- Proje yaklaşık 30 milyon assertion, 200 milyon dolar ve 2.000 insan-yılı ölçeğine kadar büyüdü
- Lenat'ın tekrar tekrar haber verdiği atılım hiçbir zaman gelmedi
- Lenat 2016'da Cyc'nin “done” durumuna yaklaştığını söylemişti, ancak otonom öğrenme ya da AGI'ye dair bir kanıt görülmedi
- 2025 itibarıyla knowledge pump'ın primed hale gelmesinin üzerinden 9 yıl geçtiği varsayımında bile general intelligence başarısına işaret eden bir belirti yok
- Cyc ile ilgili ek arşiv materyalleri cyc-archive içinde yayımlanmış durumda
AM ve EURISKO'dan Cyc'ye uzanan mantık
- Lenat'ın çıkış noktası, 1976 tarihli doktora tezi projesi Automated Mathematician(AM) idi
- AM, küme kuramındaki 115 concept ve yaklaşık 250 heuristic rule ile başlayıp doğal sayılar, asal sayılar ve Goldbach conjecture'ı yeniden keşfettiğiyle tanınır
- Ancak AM yeni heuristikler üretemedi ve ilk heuristikleri tüketince “die of boredom” sınırına dayandı
- Ardıl sistem EURISKO, heuristiklerin kendisini keşfetmeyi amaçlayan bir denemeydi
- Traveller'ın The Trillion Credit Squadron tournament'ında alışılmadık filo tasarımıyla 1981 ve 1982'de kazandı
- Lenat'ın tahminine göre son EURISKO, Xerox 1100 Lisp machine üzerinde toplam 1.300 CPU-hours çalıştı ve Traveller zaferi “%60/%40 Lenat/EURISKO” idi
- Sonuçta EURISKO da kendi kendini tüketme sorunundan kaçamadı
- heuristic rule'ların kendi kendini keşfi meta-heuristic rule'lara dayanıyordu ve bu meta-heuristikler de birkaç kullanımdan sonra etkisini yitiriyordu
- Lenat, insanların yaptığı gibi sürekli yeni analojiler ve fikirler üretmek için çok büyük bir sağduyu bilgisi gerektiği sonucuna vardı
Cyc'nin tasarımı ve knowledge pump
- Cyc 1984'te MCC içinde başladı, ardından Cycorp Inc.'e dönüştü
- İlk plan, 1985–1988 arasında 400 ansiklopedi maddesini elle kodlamak, 1988–1993 arasında ise 30.000 maddeyi kodladıktan sonra bunları AI problemleri ve ticari uygulamalarda kullanmaktı
- İlk tahmine göre 1. ve 2. aşamalar için 150 insan-yılı gerekiyordu
- Projenin odağı, ansiklopedinin “siyah mürekkebini” olduğu gibi kodlamaktan, ansiklopedinin varsayıp yazmadığı white space yani sağduyuyu kodlamaya kaydı
- “Napoleon died in 1821. Wellington was greatly saddened.” gibi cümleleri anlamak için ölüm, zaman, savaş, Fransa ve insan duygularına dair sağduyu bilgisi gerektiği düşünülüyordu
- Lenat'ın knowledge pump metaforu Cyc'nin temel stratejisi haline geldi
- Başlangıçta insanlar bilgiyi doğrudan spoon-feed edecekti
- Bilgi arttıkça doğal dil cümlelerini mantığa daha iyi ayrıştıracağı ve ontologist müdahalesinin azalacağı umuluyordu
- Belli bir noktadan sonra ise Cyc'nin metin okuyup insanlarla konuşarak bilgisini kendi kendine artırması bekleniyordu
CycL, microtheory ve çıkarım yapısı
- Cyc'nin ana bileşenleri CycL, bilgi tabanı ve çıkarım motoruydu
- CycL, SubLisp tabanlıdır ve insanın okuyup yazabildiği üst düzey bir dil olan Epistemological Level(EL) ile çıkarım verimliliği için kullanılan Heuristic Level(HL) çevirisine sahiptir
- EL cümleleri birden fazla HL cümlesine çevrilebilir ve bunlar farklı çıkarım motorları tarafından işlenebilir
- CycL ifadeleri Lisp'e benzer biçimde
(#$relation <arg1> … <argn>)şeklini kullanır#$relationbir function ise term, bir predicate ise assertion veya sentence olur#$implies,#$forAll,#$thereExistsgibi özel relation'lar çıkarım kuralları olarak kullanılır
- Cyc, assertion'ları microtheory(Mt) ya da context içine paketler
- “Socrates is alive” ifadesi MÖ 500 bağlamında doğru olabilir, fakat 1995 bağlamında doğru değildir
#$ChristianMtve#$IslamMtgibi birbiriyle bağdaşmayan inançlar farklı context'lere yerleştirilebilir- 2010 itibarıyla Cyc'de 20.000'den fazla microtheory hiyerarşik olarak düzenlenmişti ve bazıları 50 levels derinliğe ulaşıyordu
- Çıkarım motorlarının sayısı yaklaşık 1.100 düzeyine çıktı
- general inference engine çok yavaş kaldığından, belirli kalıplara ve microtheory'lere özelleşmiş heuristic modüller sürekli eklendi
- Lenat et al. 2007'ye göre yapı 1 strategist, 4 tacticians ve 1.097 workers biçiminde raporlandı
- 2010'da en genel çıkarım motorunu kapalı tutmanın daha hızlı olduğu, bu yüzden tamamen devre dışı bırakıldığı anlatıldı
Doğal dil anlamanın bıraktığı darboğaz
- CycL'den doğal dile dönüşüm sorunu 1990'ların sonlarından itibaren büyük ölçüde kurulmuştu
(#$genls #$Dog #$Mammal)ifadesi “Dogs are mammals.” gibi dönüştürülebiliyordu- sözcük concept'leri ve denotation assertion'ları üzerinden English word'ler ile Cyc concept'leri eşleştiriliyordu
- Ters yönde, doğal dili CycL'ye ayrıştıran English → CycL sorunu zor bir görev olarak kaldı
- Cyc NLP; keyword matching, extraction templates, syntax templates ve full syntax tree parsing gibi katmanlı bir sistem kullanıyordu
- sözlükte yaklaşık 200.000 words and phrases ile daha da fazla assertion yer alıyordu
- Kamuya açık English → CycL örnekleri çok azdı ve oldukça kolay cümlelere yakındı
- “A girl is on a white lounge chair”
- “Bill Clinton sleeps.”
- “An AI researcher is a kind of computer scientist.”
- “Did you touch a blue object located in the capital of France on September 25th, 2022?”
- Lenat ile Gary Marcus'un son ortak çalışmasında da son darboğaz doğal dil anlama(NLU) olarak kaldı
- Her axiom, default correctness, generality ve microtheory yerleşimi için insanlarca kontrol edildikten sonra bilgi tabanına giriyordu
- Cyc, CycL adlı bir interlingua'yı okuyabiliyordu, ancak English'i CycL'ye ayrıştırmak sürekli zor kaldı
Açık uygulamalar ve ticari kullanım
- Cycorp, askeri kurumlar, istihbarat teşkilatları ve ticari müşteriler için uzun süre faaliyet gösterdi
- 2002'ye kadar toplam maliyet 60 milyon dolardı ve bunun 25 milyon doları ordudan geldi
- 2005 tarihli bir alıntıya göre, 1996'daki ilk büyük devlet sözleşmesinden sonra Cycorp gelirinin yaklaşık yarısı ABD devlet kurumlarından, kalanı şirketlerden geliyordu
- Kamuya açık biçimde görece ayrıntılı uygulama örnekleri Terrorism Knowledge Base(TKB) ile Cleveland Clinic vakasıdır
- TKB 2004'te oluşturuldu ve 2008'de sona erdi
- 2.000'den fazla terörist, 700'den fazla terör örgütü, 6.500'den fazla terör saldırısı ve 200.000'den fazla assertion içeriyordu
- Kullanıcılar biçimsel İngilizce sorgu giriyor, Cyc CycL parçaları öneriyor ve kullanıcı bunları seçerek tam sorguyu kuruyordu
- Cleveland Clinic'in Semantic Research Assistant(SRA) sistemi 2007–2010 arasında doğrulandı
- cardiothoracic surgery, cardiac catheterization ve percutaneous coronary intervention ile ilgili sorguları yanıtlayan bir sistemdi
- 2012 tarihli devam projesi SemanticDB'de 120 milyon semantic triples veritabanı ve SPARQL sorguları yer aldı
- Lenat, 2019'daki bir sunumunda Cleveland projesi için 120.000 yeni assertion gerektiğini, bunun da tüm bilgi tabanının %0,5'i olduğunu söyledi
- Doğrulanan diğer örnekler arasında ağ güvenliği, veri entegrasyonu, tıbbi ve ilaç terminolojisi thesaurus'ları, içeriden öğrenenlerin ticareti tespiti, üretim verim nedeni analizi, IT destek ve envanter yönetimi ile petrol pompa tesislerinde arıza tahmini yer alıyor
- Bu kullanımlar, expert systems, data integration ve information retrieval için standart yöntemlere daha yakındı
OpenCyc, Semantic Web ve türev projeler
- Cycorp, 2001'de Cyc'nin küçük bir subset'i olan OpenCyc'i yayımladı
- OpenCyc'nin gerçek Cyc'nin 24–30 ay gerisinden gelmesi planlanıyordu
- Son sürüm 2012'de çıktı ve 2017 Mart civarında özel bir duyuru olmadan sona ermiş görünüyor
- ResearchCyc de vardı, ancak araştırma amaçlı kullanımla sınırlıydı ve 2019 civarında bir açıklama olmadan kapatıldı
- Cycorp, 2000'lerde Semantic Web initiatives içinde de yer aldı
- DAML, RDF, OWL ve XML ile Cyc bilgisini entegre etmeye çalışan makaleler vardı
- Standard Upper Ontology Working Group, The Cyc Foundation, FACTory, OpenCyc for the Semantic Web ve LarKC gibi girişimler kayda değer bir başarı göstermeden sona erdi
- 2014–2016 arasında Cyc ile ilgili açık bilginin büyük kısmının internetten kaybolduğu bir “massive extinction event” yaşandı
- OpenCyc, tutorials, references, vocabulary lists ve The Ontological Engineer’s Handbook version 0.7 ortadan kayboldu
- Bu dönem, 2016'daki commercial applications yönelimiyle de çakıştı
Kapalılık ve dış değerlendirme
- Cyc projesi akademik ölçütlere göre son derece kapalıydı
- Cyc ile ilgili yayınlar çoğunlukla bilginin Cyc içine nasıl girileceğine odaklandı; Cyc'den çıkan uygulamalar ise nadiren ele alındı
- inference engine'in nasıl çalıştığı ve commercial application ayrıntıları neredeyse hiç açıklanmadı
- AM ve EURISKO'nun source code'u da yayımlanmadı
- Lenat, kodun çok önce kaybolduğunu sık sık savundu, ancak yakın zamanda Stanford AI Laboratory backup data içindeki DBL folder'da bulundu
- Lenat'ın kodu korumaya çalışıp çalışmadığı sorusu açık kaldı
- Dış araştırmalarda Cyc kullanımı çok sınırlıydı
- Cyc, AI araştırmalarında ya da knowledge retrieval alanında neredeyse hiç kullanılmadı ve hiçbir açık benchmark'ta performans göstermedi
- Davis and Marcus 2015, dışarıdan birinin Cyc'nin neyi başardığını değerlendirmesinin çok zor olduğunu söylüyordu
- Davis 2016 ise AI topluluğunun genel olarak Cyc'yi “çok sofistike bir başarısızlık” olarak gördüğünü belirtti
Lenat'ın AI felsefesi ve tekrarlanan eleştiriler
- Lenat, 40 yıl boyunca tek bir AI felsefesini korudu
- Yüksek düzey zekanın, sistemin kullanabildiği bilgiden çıktığını savunan Knowledge Principle bunun merkezindeydi
- Bu bilgi; concept, facts, representations, methods, models, metaphors ve heuristics'i kapsıyordu
- Birçok alternatif yolu açıkça reddetti
- Simon ve Newell tarzı logical AI'nın oyuncak problemleri aşamadığını düşünüyordu
- physical embodiment ya da robotics'in AGI için zorunlu olmadığını, “mystical worship of physical embodiment” yaklaşımının AGI'yi geciktirdiğini savunuyordu
- genetic algorithms ile evolutionary algorithms'in local minima'ya takıldığını ve yavaş olduğunu düşünüyordu
- statistical machine learning, neural networks ve self-organization methods'u, büyük bir başlangıç bilgi tabanı olmadan aranan bir “free lunch” girişimi diye eleştiriyordu
- Lenat, deep learning ve LLM çağında da aynı mantığı tekrarladı
- neural networks'ün yalnızca “remembering and espousing” yaptığını, “understanding and inferring” yapmadığını düşünüyordu
- Cyc'nin “left brain”, neural networks'ün ise “right brain” rolünde birleştirilebileceğini öne sürüyordu
- Son makalesi olan Lenat and Marcus 2023, LLM'ler dahil free lunch arayışını eleştirip symbolic representation and reasoning ihtiyacını vurguluyordu
Cycorp'un iç yapısı ve pratik sonuç
- Cycorp, küçük bir teknoloji şirketi için nadir görülen uzun vadeli mali istikrarı sağladı
- Kuruluşundan beri kârlı olduğu, borcu bulunmadığı ve çalışanlara ait olduğu yönündeki açıklamalar tekrarlandı
- Çalışan sayısı yaklaşık 50–200 aralığında verildi
- Eski Cyclist'lerin Hacker News yorumlarında hem olumlu hem olumsuz değerlendirmeler vardı
- Olumlu tarafta zeki ve felsefi bir kültür, large scale inference alanındaki teknik sorunların çözümü, kârlılık ve bazı başarılı ticari uygulamalar anıldı
- Olumsuz tarafta ise 30 yıllık teknik borç, yinelenen uygulamalar, kapalılık, true believer mentality ve dışarıya açılmayan teknik çözümler ile ticari uygulamalar öne çıktı
- Bazı eski çalışanlar, Cyc'nin gerçekten common sense reasoning yapıp yapmadığının ya da yalnızca expert systems geliştirmek için özellikle iyi bir temel olup olmadığının belirsiz olduğunu düşünüyordu
- Başarılı ticari projelerde common sense reasoning'in gerçekten gerekli olup olmadığı da net değildi
- Birçok projede “AI”nin tam olarak nerede gerçekleştiğini göstermenin zor olduğu da söylendi
- Sonuç olarak Cyc, bir AGI projesinden çok hayatta kalmış son büyük expert system company görünümünde kaldı
- Cycorp'un güçlü knowledge engineers, SubLisp ve higher-order statements gerektiren niş expert systems alanında farklılaşmış olabileceği kabul ediliyor
- Ancak bu farklılaşmanın AGI'ye giden bir yol olduğuna dair bir kanıt ortaya konmadı
1 yorum
Hacker News yorumları
Bunun, sanki bilinç sahibi bir yapay zekânın “Burada görülecek bir şey yok, bakmayı bırakıp geçin” diye yazdığı bir cümle olduğu gibi komik bir düşünceye kapıldım.
vannevar gibi ben de Cyc’in yararlı bir yöne gittiğini hissetmiyordum; bir fikir vardı ama bu fikri hayata geçirecek bir sistemin nasıl kurulabileceğine dair inandırıcı bir varsayıma temel olacak kadar tutarlı görünmüyordu.
McCarthy’nin blok dünyası demosundan epey etkilenmiştim; daha sonra o ve öğrencisi, yapay zekânın çalışacağı bağlamı (context) oluşturan kuralların bir bölümünü biçimselleştirdi. LLM’lerin yarattığı karmaşayı çözmede bunun hâlâ önemli olduğunu düşünüyorum.
Örneğin LLM’lerin salatayı çıtır yapmak için içine taş koymayı önermesi gibi erken dönem başarısızlıklar tipik bir bağlam hatasıydı; “mizah” bağlamındaki verilerle “tarif” bağlamındaki verilerin birbirine karışmasının sonucuydu. Mevcut modellerde eğitim sırasında bağlam olmadığı için, çıktıyı bağlama göre ayarlayan bir unsur modelin içinde bulunmuyor ve sonuçta salataya taş giriyor.
https://citeseerx.ist.psu.edu/document?repid=rep1&type=pdf&d...
Sembolik AI’ın, büyük miktarda veriyle eğitilmiş LLM’ler kadar ölçeklenemediğini herkes biliyor; ama aynı zamanda LLM’lerin hâlâ iyi çözemediği birçok problemi ele almaya çalıştığı da doğru.
Gerçekten mükemmel bir yazı; bu yıl HN’de gördüklerim arasında en üst düzeylerden biri.
Çocukken bir yapay zekâ belgeselinde Cyc’i ilk kez öğrenmiştim; elektrikli tıraş makinesiyle tıraş olan bir adam örneği verilmişti. Cyc, tıraş olan adamın insan olmadığı sonucuna varmıştı; çünkü tıraş makinesi elektrikli bir cihazdı ve elektrikli cihazlar insan değildi.
Çocuk aklımla bu hayal gücümü çok tetiklemiş ve yapay zekâ çalışmak istememe yol açmıştı; sonradan Cyc’in Prolog tarzı ilişkilerle çalıştığını öğrenince büyülü hissi biraz azaldı. Sonunda yapay zekâ yerine bilgisayar bilimi okudum, ama ilk ilgimi ateşleyen şeyin hâlâ Cyc olduğunu düşünüyorum.
Lenat tuhaf biri gibi görünür, ama birkaç AI kışını atlatmak için böyle saplantılı gerçek inananlara ihtiyaç vardır. İstatistiksel öğrenmede halüsinasyonları ortadan kaldırma sürecinde Cyc gibi bilgi grafiklerinin gelecekte yeniden önem kazanıp kazanmayacağını bilemeyiz.
Sezgisel olarak, bu yaklaşımda üretken yapay zekânın güvenilir biçimde çalışması için gereken bir şey olduğunu düşünüyorum. Beyinde çağrışım işlevi var, ama sinyali saçmalıktan ayıran ve içeriği anlamayı sağlayan bir filtre yoksa pek işe yaramıyor.
Cyc’in anlamlı bir şekilde kendi başına içerik üretebildiği bir dönem olup olmadığını merak ediyorum. Böyle bir sistem, sonunda birçok ayrıntıyı kendi çıkarıp giderek daha az hazır bilgiyle beslenmeye ihtiyaç duyabilir gibi geliyor.
Ne yazık ki birkaç yıl önce hayatını kaybetti ve bunu şimdiye kadar bilmemiş olmak üzücü.
Çok ilginç ve okunmaya değer bir yazı; buradaki yorumların havasından çok daha iyi.
Yine de yazarın bu projenin başarısız olduğu varsayımına fazla ağırlık vermesi biraz üzücü. Bir çözüm bulmanın 40 yıl sürmüş olması, yaklaşımın basitçe başarısız olduğu anlamına gelmez.
Sinir ağlarının gerçekten yararlı hâle gelmesi de 40 yıldan fazla sürdü ve maliyeti de az değildi; ama sırf bu yüzden ona başarısız bir proje demeyiz. Bugünkü LLM’leri de hâlâ o kadar zeki saymak zor.
Bir gün Cycorp’un bilgi tabanı halka açılıp LLM eğitiminde kullanılabilirse, o verinin daha büyük değeri ortaya çıkabilir.
Wikipedia tarafında insanların düzenleyebileceği, açık geliştirme için bir ara dil gibi bir şey oluşturuluyor; bununla az temsil edilen dillerdeki Wikipedia’lara temel ansiklopedi cümleleri eklenmeye çalışılıyor. Ayrıntıların çoğu hâlâ belirsiz, ama https://en.wikipedia.org/wiki/Abstract_Wikipedia ve https://meta.wikimedia.org/wiki/Abstract_Wikipedia adreslerine bakılabilir.
Bu, yazıda varsayılan; uygun “sağduyu” verildiğinde İngilizce ve Japonca metin üretebilen sisteme benzer bir seviyeye kadar gidebilir. Bu tür cümleler üzerinde mantıksal akıl yürütmenin tam olarak ne kadar yararlı olacağı belirsiz, ama gerçekten değeri varsa böyle bir olasılık da kesinlikle mevcut.
“Sinir ağları”yla karşılaştırılacaksa, doğrusu geniş anlamda sembolik AI ile karşılaştırmak olur. Sembolik AI bazı alanlarda oldukça iyi çalıştı; ama sağduyu akıl yürütmesi ya da AGI’ye yakın alanlarda hiç de öyle olmadı.
Karşılaştırma nesnesini “Cyc” olarak tutarsak, karşılaştırmanın kendisinin imkânsız olduğunu düşünüyorum. Abartısız, 2020’den önce Cyc kadar pahalı bir yapay zekâ projesi yoktu. Maliyetlerin milyon doları aşmaya başlaması GPT-2 civarındaydı; AlphaGo ve Deep Blue için de kesin rakamlar yok ama milyonlarca dolara mal olmuş olabilirler, yine de en azından açıkça çalışıyorlardı.
40 yıl sürdü demek de doğru değil. Örneğin LeNet-5 1998’de zaten çalışıyordu ve ATM’lerde gerçek çekleri okumak için kullanılıyordu. Başlıca maliyet, Bell Labs’teki LeCun araştırma grubunun 10 yıl boyunca ortaya koyduğu mühendislik azmiydi; tamamlanmış sürümün MNIST üzerinde “yaklaşık 20 epoch” eğitilmesi, tek bir 200MHz R10000 işlemci kullanan Silicon Graphics Origin 2000 sunucusunda 2-3 gün CPU zamanı alıyordu.
1998, teknik olarak 1950’lerdeki perceptron başlangıcından yaklaşık 40 yıl sonrası olabilir; ama bu ölçütü sinir ağlarına uygularsak Cyc için de aynı şekilde 1950’lerdeki mantıksal AI başlangıcından saymak gerekir. Ayrıca 1998’de Cyc’in sanayide ne işe yaradığı da şüpheli.
Web sitesine göre Cyc gayet iyi gidiyor. “The Next Generation of Enterprise AI” diyor
Lenat’ın kendisi 2023’te ölmüş olmasına rağmen, liderlik ekibinde tek üye olarak o görünüyor
https://cyc.com/
İmkânsız olduğunu kanıtlamış olsa bile, denediği için gerçekten minnettarım
Çevrimiçi olarak yayımlanmış OpenCyc sürümünü çalıştırmayı deneyebilirsiniz: https://github.com/asanchez75/opencyc
Bu, sistemin bir sürümünün SourceForge’a yüklendiği zamandan kalma materyal; GitHub’da veri kümesi, bilgi tabanı ve çıkarım motoru var. Ancak eski bir Java sürümüyle yazıldığını akılda tutmak gerek
Uzun zaman önce AM ve EURISKO hakkında bulabildiğim kadar çok materyal okumaya çalışmıştım
Ne yazık ki Lenat kendi çalışmalarını çok özel, neredeyse gizli tuttu; üst düzey makaleler ve yazılar dışında okunacak pek az şey vardı. Bu yüzden başkaları Lenat’ın yaptıklarının üzerine bir şeyler inşa edemedi; bence bu büyük bir kayıptı
Bu yazı yalnızca Cyc’in değil, sembolik yapay zekânın genelinin de epey iyi bir değerlendirmesi
Eskiden OpenCyc ile çok uğraşmıştım ama son 10 yıldır elimi sürmedim
Sembolik yapay zekânın üretken bir geleceği varsa, bunun LLM’leri kullanarak yapılandırılmamış veriden bilgi grafikleri ve sembolik ilişkiler vb. kurmak şeklinde olacağını düşünüyorum
Bu iddia gerçeklerle uyuşmuyor. SAT çözme, otomatik teorem ispatı, planlama ve çizelgeleme gibi başlıca sembolik yapay zekâ alanları hâlâ güçlü biçimde yaşıyor ve gerçek sonuçlar da üretti. Hatta SAT çözme, planlama, program doğrulama ve otomatik teorem ispatı artık o kadar iyi çalışıyor ki artık “AI” olarak bile görülmüyor
Lenat’ın en azından, verinin ezici ölçeğinin sonunda işe yarar zekâ elde etmenin anahtarı olduğu konusunda doğru yönde olduğunu düşünüyorum
Eskiden Cyc projesini giderek daha büyük bir bok yığını yapıp içinden bir midilli çıkmasını beklemekle eleştirmiştim; LLM’lerde bunun bir ölçüde gerçekten gerçekleştiği söylenebilir
Muhtemelen, sinir ağları için GPU’ların yaptığına benzer şekilde, çok büyük miktarda olguyu işlemek üzere bu sistemleri donanımla hızlandırmakla ilgili olacaktır
Bu veri, gerçek bağlamlar içindeki gerçek insan ifadeleri; midilli boku değil, midillinin kendisi
LLM’lerde zekâ yok. Sorgular için sayısız insan ifadesiyle örüntü eşleştirerek o insanların zekâsını bir kanal gibi aktarıyorlar sadece. İstatistiksel mekanizma son derece iyi çalıştığı için faydalı olduğu kanıtlandı; ancak LLM’lerin bilişsel durumu olmadığı gerçeği, bu teknolojinin ulaşabileceği alanı ciddi biçimde sınırlar
Buna karşılık Cyc’ten ne elde edilebileceği bile net değil. LLM’lerle birleştirilirse faydalı olabilir, ama hâlâ sıkı sıkıya kapalı
Yazarın bu tek sistem ve yaklaşımdan yola çıkarak sembolik yapay zekâ hakkında vardığı büyük sonuçlar haklı değil. Yazarın kendisi de “sembolik AI yaklaşımına çok sıcak bakan Ernest Davis ve Gary Marcus bile Cyc’in başarısına dair çok az kanıt bulabildi; bunun nedeni Cyc’in kanıtlanabilir biçimde başarısız olması değil, başarı ya da başarısızlık yönünde kanıtın aşırı az olmasıydı” diye yazmış
Reddit yorumları, Twitter mesajları, libgen ve arXiv PDF’leri büyük bir yığın hâlinde girmiş olmalı
Yani içinde bok da vardır elbette; ama özenle kodlanmış bilgi, yani yazılar da var ve LLM’lerin bu kadar sık doğru yanıt vermesi gerçekten mucizevi
Bilimkurgu gibi geliyor ama matris çarpımıyla konuşmak da bilimkurgu gibi bir şey
GOFAI’nin benzer bir başarısızlığı olarak, Rus şirketi ABBYY’nin yalnızca karmaşık biçimsel dilbilgisi ayrıştırmasına dayanarak gelişmiş çeviri yazılımı yapmaya yönelik onlarca yıllık dev bir girişimi var. ABBYY uzun süre OCR yazılımı pazarının lideriydi
Bu arka plan hikâyesi oldukça ilginç; yazıyı ABBYY’de çalışmış biri yazmış: https://sysblok.ru/blog/gorkij-urok-abbyy-kak-lingvisty-proi...
Yazı Rusça, ama ironik biçimde Chrome’un Google Translate özelliği vb. ile iyi bir İngilizceyle okunabiliyor. Ve o özellik elbette tamamen makine öğrenimi temelli
Hikâye özünde Cyc’e benziyor. Sembolik yapay zekâ, mantıksal yapay zekâ ve GOFAI başlangıçta etkileyici sonuçlar verebilir; ABBYY de ilk dönem Google Translate’ten çok daha iyiydi, ama sembolik yaklaşım iyi ölçeklenmiyor. Sonunda büyük veri + makine öğrenimi kazanıyor
Yukarıdaki yazı, Google’ın 2009’da bu argümanı ortaya koyduğu “The Unreasonable Effectiveness of Data”yı ele alıyor: https://static.googleusercontent.com/media/research.google.c...
2009’un büyük dil modellerinden, Transformer’lardan, hatta AlexNet’ten bile epey önce olduğunu belirtmek önemli
Yaklaşık 1 yıl önce Cyc hakkında büyük bir başlık da vardı: https://news.ycombinator.com/item?id=40069298