- Büyük dil modellerinin (LLM) basit kelime tahmininin ötesine geçerek gerçek bir anlama ve düşünme biçimi sergilediğine dair tartışmalar yayılıyor
- Sinirbilimci Doris Tsao, makine öğreniminin son 100 yıldaki sinirbilimden zekanın doğası hakkında daha fazlasını ortaya çıkardığını değerlendiriyor
- Derin öğrenme ve sinir ağı mimarileri, insan beyninin çalışma prensiplerini taklit ediyor ve bu durum "anlama = sıkıştırma" kavramıyla açıklanıyor
- Douglas Hofstadter ve Pentti Kanerva'nın çalışmaları, LLM'lerin 'seeing as' bilişsel yapısıyla ilişkilendiriliyor
- İnsan benzeri öğrenme verimliliğinin, deneyimin ve bilincin yokluğu gibi yapay zekanın sınırlamaları ve etik riskleri hâlâ temel meseleler olarak duruyor
Yapay zeka performansındaki kutuplaşma
- Anthropic CEO'su Dario Amodei, 2027'ye kadar biyoloji, matematik, mühendislik ve yazarlık alanlarında Nobel ödüllülerden daha zeki bir yapay zekanın ortaya çıkacağını öngörüyor
- Veri merkezlerinde, "dehalar ülkesi" gibi kendi başına araştırma yürüten milyonlarca model kopyasından oluşan bir vizyon sunuyor
- OpenAI'dan Sam Altman, sektörün "dijital süperzekâ" inşa etmenin eşiğinde olduğunu ve 2030'ların öncekilerden tamamen farklı bir dönem olacağını savunuyor
- Bugün çoğu insanın günlük hayatta kullandığı yapay zeka araçları ise geçmişteki Microsoft Office Clippy kadar sınırlı
- Zoom AI, yalnızca "Toplantı için buz kırıcı ne olabilir?" gibi basit öneriler sunuyor
- Siri, hatırlatıcı ayarlamanın ötesinde yetersiz kalıyor
- Gmail'in yapay zekası, kullanıcının hiç gitmediği bir Türkiye seyahati hikâyesi uyduruyor
- Aceleci ve dengesiz yapay zeka lansmanları, her şeyin abartıdan ibaret olduğu yönünde bir sis perdesi oluşturdu; ancak gerçekte kayda değer ilerleme var
Programlama alanında yapay zeka devrimi
- Başlangıçta yapay zekanın gerçek zekâ ya da anlamayla ilgisi olmadığı düşünülse de, programcı olarak çalışırken yapay zekayı kullanmaya başladıktan sonra bu bakış değişiyor
- Kod yazmak, yapay zekanın en iyi yaptığı işlerden biri; çünkü düzyazıya göre yapısı daha nettir ve otomatik doğrulanabilir
- Önce bilgi aramak yerine yapay zekaya danışılırken, zamanla küçük ve bağımsız sorunlar devrediliyor, sonunda da bir ömür boyu eğitim alınarak yapılan gerçek işler yapay zekaya bırakılıyor
- Yapay zeka modeli, binlerce satırlık kodun karmaşık ayrıntılarını saniyeler içinde kavrıyor
- İnce hataları buluyor ve karmaşık yeni özellikleri koordine ediyor
- Yapay zeka araçlarını daha iyi kullanmaya odaklanan, hızla büyüyen bir ekibe geçiliyor
- Yapay zeka ajanları tatil rezervasyonu ya da vergi beyanında başarısız olsa da, iş arkadaşlarının çoğu kodun büyük bölümünü yapay zekayla yazıyor ve bazen birden fazla kodlama ajanını aynı anda çalıştırıyor
- Etkili kullanım yöntemleri öğrenildikçe, artık eskiden bir ay süren işler bir akşamda tamamlanabiliyor
- iOS uygulaması yapmayı bilmeden iki iOS uygulaması geliştiriliyor
Büyük dil modellerinin güçlü ve zayıf yönleri
- Yöneticimin "mülakatlarda zayıflıkların yokluğunu değil, güçlü yanları aramak gerekir" demesi gibi, LLM'lerin de birçok zayıflığı var
- İkna edici ama yanlış bilgiler üretme, yani halüsinasyon
- Kullanıcı yanlış olduğunda bile aşırı uyumlu davranma
- Basit bulmacalara aldanma
- Geçmişte akıcılık, esneklik ve konuşmanın bağlamını kavrama yeteneği kutsal kâse sayılan güçlü yönlerdi
- Bu güçlü yanları doğrudan deneyimleyince, "Anlama yanılsaması ne kadar ikna edici olursa artık ona yanılsama demeyi bırakırız?" sorusu ortaya çıkıyor
- Max örneği: oyun alanındaki sprinkler sistemini onarmak
- Yüzleri kızarmış çocukların önünde, bakım kulübesinde borular ve vanalardan oluşan karmaşık bir labirentle karşılaşıyor
- ChatGPT-4o'ya fotoğraf ve sorun açıklaması giriyor
- Yapay zeka bunun sulama sisteminin geri akış önleme sistemi olduğunu düşünüp alttaki sarı küresel vananın çevrilmesini öneriyor
- Su yeniden akınca oyun alanında sevinç çığlıkları yükseliyor
Sinirbilim ile yapay zekanın yakınsaması
- UC Berkeley sinirbilim profesörü Doris Tsao: "Makine öğrenimindeki gelişmeler, son 100 yılda sinirbilimin bulduklarından daha fazlasını zekanın doğası hakkında bize öğretti"
- Maymunların yüzleri nasıl tanıdığını çözen çalışmalarıyla tanınıyor
- Bir maymun belirli bir yüzü gördüğünde hangi nöronların ateşleneceğini tahmin edebiliyor
- Yalnızca ateşlenen nöron örüntüsünden yüzü yeniden oluşturabiliyor
- Bu çalışmalar, yüzlerin yapay zeka modellerinin içinde nasıl temsil edildiğine dair araştırmalara dayanıyor
- Tsao'nun sorusu: "ChatGPT'den elde ettiğiniz en derin içgörü ne?"
- Kendi yanıtı: "Bence düşünceyi temelden gizeminden arındırıyor"
Derin öğrenmenin tarihi ve gelişimi
- 1980'lerde bilişsel psikologlar ve bilgisayar bilimcilerden oluşan bir ekip (David Rumelhart, Geoffrey Hinton, James McClelland), makinelerde düşünceyi simüle etmeye çalıştı
- UC San Diego'da bir araştırma grubu oluşturuldu
- Beyni, nöronların örüntüler halinde ateşlenip başka nöron kümelerini tetiklediği dev bir ağ olarak gördüler
- Bu örüntü dansı düşüncenin kendisiydi
- Öğrenme, nöronlar arasındaki bağlantı gücünün değişmesiyle gerçekleşiyordu
- Yapay sinir ağları kurup gradient descent algoritmasını uygulayarak tahmin doğruluğunu artırdılar
- Bu, dağın zirvesinden vadiye inmeye çalışan bir yürüyüşçüye benzetiliyor: her adımda aşağı eğimi takip edersen sonunda varırsın
- Diğer yapay zeka araştırmacıları, sinir ağlarının gerçek işler için yeterince sofistike olmadığını düşünerek kuşkuyla yaklaşsa da, ağlar büyüdükçe daha önce çözülemez görülen sorunlar çözülmeye başlandı
- El yazısı rakamları ayırt etme ya da görüntülerde yüz tanıma gibi, eskiden bütün tezlerin ayrıldığı sorunları derin öğrenme algoritmaları çözebildi
- Derin öğrenme; konuşma tanıma, çeviri, görsel başlık üretme, masa oyunları ve protein katlanması tahmini gibi alanları da fethetti
Next-token tahmini ve öğrenme mekanizması
- Günümüzün başlıca yapay zeka modelleri, internetin önemli bir bölümünü öğrenerek next-token prediction tekniğini kullanıyor
- Model, sırada ne geleceğini tahmin edip bunu gerçekte gelen içerikle karşılaştırarak öğreniyor
- Yanlış tahminler, nöronlar arasındaki bağlantı gücünde değişime yol açıyor (gradient descent)
- Sonunda model, metin tahmininde çok yetkin hale gelerek bilgi sahibi ve anlayışlıymış gibi görünüyor
- Düşünmeye değer nokta şu: beynin nasıl çalıştığının sırrını arayan insanlar, modeli beyin boyutuna kadar büyüttüklerinde, beyin benzeri zekâ gerektiren işler yapmaya başladı
- Acaba aradıklarını gerçekten bulmuş olabilirler mi?
Yapay zeka şüpheciliğine karşı itirazlar
- Ted Chiang, 2023 tarihli New Yorker makalesi "ChatGPT Is a Blurry JPEG of the Web" içinde şüpheci bir görüş sundu
- ChatGPT'nin yaptığı şeyin yalnızca tüm interneti bir programa doldurup kusurlu biçimde geri çıkarmak olduğunu savundu
- Kopyanın kopyası gibi bulanık, ama zekiymiş gibi görünmeye yetecek kadar becerikli
- Dilbilimci Emily M. Bender ile sosyolog Alex Hanna'nın "The AI Con" kitabı da benzer bir tez ileri sürüyor
- Bender, LLM'leri "stokastik papağanlar (stochastic parrots)" olarak tanımlıyor
- The Atlantic'ten Tyler Austin Harper: "Büyük dil modelleri hiçbir şeyi anlamıyor, anlayamaz ve anlamayacak"
- Modellere göre yazı üretimi, düşünceden değil istatistiksel olarak bilgilenmiş tahminlerden ibaret
- Bu teknik tartışmaların yanında ahlaki tartışmalar da gündeme geliyor
- Yapay zeka, güçlü olanları daha zengin yapıyor, iklim değişikliğini hızlandıracak kadar enerji tüketiyor ve emekçileri dışlıyor
- Harper'ın vardığı sonuç: "Yapay zeka endüstrisinin temeli sahtekârlık"
Sinirbilimcilerin yeniden değerlendirmesi
- Harvard'lı bilişsel bilimci Samuel J. Gershman: "'Stokastik papağanlar' argümanının bir noktada sona ermesi gerekiyor"
- "Yalnızca en inatçı şüpheciler, bu sistemlerin çoğumuzun başarılabileceğini düşünmediği şeyleri yaptığını inkâr edebilir"
- Princeton'lı bilişsel sinirbilimci Jonathan Cohen, yapay zekanın sınırlarını vurgulamakla birlikte, LLM'lerin insan beyninin en büyük ve en önemli bölümünü yansıttığını savunuyor
- "İlk yaklaşım olarak, neokorteks bir derin öğrenme mekanizmasıdır"
- İnsanlar, diğer hayvanlara kıyasla vücut boyutlarına oranla çok daha büyük bir neokortekse sahip
- En büyük neokortekse sahip türler (filler, yunuslar, goriller, şempanzeler, köpekler) en zeki olanlardır
Anlama sıkıştırmadır ve sıkıştırma anlamadır
- Makine öğrenimi araştırmacısı Eric B. Baum’un 2003 tarihli "What Is Thought?" kitabındaki temel sav
- Anlama sıkıştırmadır, sıkıştırma da anlamadır
- İstatistikte doğrusal regresyon: bir grafikteki noktalara "en iyi uyum doğrusu"nu çizmek
- Veride temel bir düzenlilik varsa (ayakkabı numarası ile boy gibi), en iyi uyum doğrusu bunu verimli biçimde ifade eder ve yeni noktaları tahmin eder
- Neokorteks, ham deneyim denizini (ses, görme ve diğer duyuları) "en iyi uyum doğrusu"na damıtarak tahmin için kullanır
- Bebek, oyuncağın tadının nasıl olacağını ya da yere düşen yemeğin nereye gideceğini tahmin eder
- Tahmin yanlış çıkarsa nöronlar arasındaki bağlantılar ayarlanır
- Zamanla bu bağlantılar verideki düzenlilikleri yakalar
- Dünyanın sıkıştırılmış bir modeli oluşur
Yapay zeka modellerinin sıkıştırması ve zeka
- Yapay sinir ağları da gerçek sinir ağları gibi deneyimi sıkıştırır
- En iyi açık kaynaklı yapay zeka modellerinden DeepSeek
- Roman yazabilir, tıbbi teşhis önerileri sunabilir, onlarca dilde anadili gibi konuşabilir
- Bir sonraki token tahmini için onlarca terabayt veriyle eğitildi
- İndirildiğinde özgünün 600’de 1’i boyutunda
- İnternetin damıtılmış hali, dizüstü bilgisayara sığacak şekilde sıkıştırılmış
- Ted Chiang’ın ilk dönem ChatGPT’yi web’in bulanık bir JPEG’i diye nitelemesi doğru olabilir, ancak yazar tam da bunun modeli giderek daha zeki yapan neden olduğunu düşünüyor
- Chiang’ın kendisinin de işaret ettiği gibi, milyonlarca aritmetik örneği içeren bir metin dosyasını sıkıştırmak için zip dosyası değil, bir hesap makinesi programı yazmak gerekir
- "En iyi sıkıştırma, metni anlayarak elde edilebilir"
- LLM’ler bunu yapmaya başlamış olabilir
Farklı düşünme türleri
- Bir bilgisayar programının gerçekten anladığını ve düşündüğünü hayal etmek doğal gelmeyebilir, hatta itici bulunabilir
- Düşünmeyi genelde bilinçli bir şey olarak kavramsallaştırırız
- Joycevari iç monolog
- Proustvari hayallere dalan duyusal anı akışı
- Akıl yürütme: bir problemi adım adım çözmek
- Yapay zeka hakkındaki tartışmalarda bu farklı düşünme türleri birbirine karıştırıldığında yargılar yüzeysel kalır
- ChatGPT Proustvari hayallere dalmadığı için açıkça düşünmüyor denmesi
- ChatGPT mantık bulmacalarını daha iyi çözdüğü için açıkça düşünüyor denmesi
- Oysa daha incelikli bir şey yaşanıyor: Yazar, ChatGPT’nin bir iç dünyası olduğuna inanmıyor ama ne söylediğini biliyormuş gibi göründüğünü düşünüyor
Douglas Hofstadter’in biliş kuramı
- Indiana University’de bilişsel bilim ve karşılaştırmalı edebiyat profesörü
- "Biliş, tanımadır"
- 1980’de Pulitzer Prize alan "Gödel, Escher, Bach: An Eternal Golden Braid" ile tanınıyor
- Onlarca yıllık araştırmayla geliştirdiği kuram: "bir şeyi bir şey olarak görmek (seeing as) düşünmenin özüdür"
- Bir renk yamasını araba, diğerini anahtarlık olarak tanımak
- Hangi yazı tipiyle ya da ne kadar kötü el yazısıyla yazılmış olursa olsun "A" harfini tanımak
- Aynı süreç daha soyut tanımaların da temelidir
- Bir satranç ustasının tahtayı incelerken yılların pratiğini bakışına yoğunlaştırması: beyazın fili zayıf, oyunsonu muhtemelen beraberlik
- Dersteki bir uğultuyu karşıya geçmenin tehlikeli olduğuna dair işaret olarak tanımak
- Katıldığı bir toplantıyı "çıplak kral" durumu olarak görmek
- Yazarın 2 yaşındaki oğlunun, sabah geç saatlerde yapılan puset yürüyüşünün bir kruvasan fırsatı olabileceğini fark edip bunu istemesi
- Hofstadter için bu, zekanın çekirdeği
Pentti Kanerva’nın yüksek boyutlu uzam kuramı
- Hofstadter başlangıçta yapay zekayı küçümseyenlerden biriydi
- Yapay zeka araştırmalarının çoğunun gerçek düşünmeyle ilgisi olmadığını yazmıştı; yazar da 2000’lerde üniversitedeyken buna katılıyordu
- Bir istisna olarak UC San Diego grubuna ilgi duydu ve daha az tanınan Finlandiya kökenli Amerikalı bilişsel bilimci Pentti Kanerva’nın çalışmalarına hayranlık besledi
- Kanerva, yüksek boyutlu uzam matematiğinde tuhaf özellikler keşfetti
- Yüksek boyutlu uzamda rastgele iki nokta birbirinden çok uzak olabilir
- Ama paradoksal biçimde her noktanın çevresinde büyük bir komşu bulutu vardır; yani "yeterince yaklaşıldığında" kolayca bulunabilir
- Bu da belleğin çalışma biçimini andırır
- 1988 tarihli "Sparse Distributed Memory" kitabında, düşünce, duyum ve anıların yüksek boyutlu uzamda koordinatlar olarak temsil edilebileceğini savundu
- Beyin, bunları depolamak için kusursuz donanımdır
- Her anının bir tür adresi vardır; bu adres, anı hatırlanırken etkinleşen nöronlarla tanımlanır
- Yeni bir deneyim, yeni bir nöron kümesini ateşleyerek yeni bir adres oluşturur
- İki adres birçok açıdan farklı, başka açılardan benzer olabilir
- Bir algı ya da anı, yakınındaki başka anıları tetikler
- Örnekler: kuru ot kokusunun yaz kampı anısını çağırması, Beethoven’ın 5. Senfonisi’nin ilk üç notasının dördüncü notayı bekletmesi, daha önce görülmemiş bir satranç pozisyonunun eski oyunları hatırlatması
Hofstadter’in dönüşü
- Hofstadter, Kanerva’nın bir "seeing as makinesi" tasvir ettiğini fark etti
- Kanerva’nın kitabının önsözünde şöyle yazdı: "Pentti Kanerva’nın bellek modeli benim için bir vahiydi. Beynin bir bütün olarak nasıl çalıştığını anlama yönündeki uzak hedefe ilk kez bir bakış atmamı sağlayan çalışma buydu"
- Her tür düşünme (Joycevari, Proustvari, mantıksal), doğru şeyin doğru anda akla gelmesine bağlıdır
- İçinde bulunduğumuz durumu böyle kavrarız
- Kanerva’nın kitabı zamanla gözden düştü; Hofstadter’in kendi şöhreti de soldu
- Ara sıra yalnızca yeni yapay zeka sistemlerine yönelik eleştirileriyle gündeme geldi
- 2018’de Google Translate ve benzerleri hakkında şöyle demişti: "understanding kelimesinin aktardığı şey bakımından, bu yaklaşımda hâlâ derin bir eksiklik var"
- GPT-4 2023’te çıktığında Hofstadter için bir dönüm noktası oldu
- "Bu sistemlerin yaptıklarının bazıları karşısında afalladım. 10 yıl önce bunu hayal bile edemezdim"
- En inatçı küçümseyiciler bile artık küçümseyemez hale geldi
- Uzman kadar iyi çeviri yapan, analoji kuran, doğaçlayan ve genelleme yapan bir program
- Anlamadığını söylemek artık mümkün değil
- "Düşünmeye çok benzeyen bir şey yapıyorlar. Biraz yabancı bir tarzda olsa da düşündüklerini söyleyebiliriz"
LLM’lerin yüksek boyutlu vektör uzayı
- LLM’ler özünde bir "seeing as makinesi" taşır
- Her kelimeyi, yüksek boyutlu uzamda bir koordinatı (vektörü) temsil eden sayı dizileriyle ifade ederler
- GPT-4’te kelime vektörleri binlerce boyuta sahiptir; diğer tüm kelimelerle benzerlik ve farkların ince tonlarını tarif eder
- Eğitim sırasında model, tahmin hatası yaptığında kelimelerin koordinatlarını ayarlar
- Metinde birlikte görünen kelimeler uzamda birbirine yaklaşır
- Bunun sonucunda kullanım ve anlamın son derece yoğun temsilleri oluşur; analoji bir geometri problemine dönüşür
- Klasik örnek: "Paris" kelime vektöründen "France" çıkarılıp "Italy" eklendiğinde, en yakın diğer vektör "Rome" olur
- LLM’ler görüntüleri de "vektörleştirerek" içeriklerini, ruh hallerini, hatta yüz ifadelerini kodlar
- Belirli bir tarzda yeniden çizmek ya da bir paragraf yazmak için yeterli ayrıntıyı taşır
- Max oyun alanındaki sprinkler konusunda yardım istediğinde, model yalnızca metin kusmuyordu
- Tesisat fotoğrafı, Max’in prompt’u ile birlikte en önemli özellikleri yakalayan bir vektöre sıkıştırıldı
- Bu vektör, yakındaki kelime ve kavramları çağırmak için bir adres görevi gördü
- Fikirler sırayla başka fikirleri çağırdı ve model duruma dair bir sezgi oluşturdu
- Ardından bu fikirleri "akılda tutarak" yanıtını yazdı
Anthropic’in iç keşif araştırması
- Yazar, Anthropic araştırmacısı Trenton Bricken ile yapılan bir röportajı okuyor
- İş arkadaşlarıyla birlikte Claude’un (Anthropic’in yapay zeka model serisi) iç yapısını keşfetme çalışması yürüttüler
- Araştırma hakem değerlendirmesinden geçmedi ve bilimsel bir dergide yayımlanmadı
- Ekip, Claude’un belirli bir şeyi söylemek üzereyken etkinleşen yapay nöron topluluklarını ya da "özellikleri (features)" tanımladı
- Özellikler, kavramların ses düğmesi gibi çalışıyor
- Açıldığında model yalnızca ondan bahsediyor
- Düşünce kontrolü deneyinde: Golden Gate Bridge’i temsil eden özellik güçlendirildiğinde, çikolatalı kek tarifi isteğine "1/4 bardak kuru sis", "1 bardak ılık deniz suyu" gibi malzemeler önerdi
- Bricken, Google’ın Transformer mimarisinden söz ediyor
- Başlıca yapay zeka modellerinin temelini oluşturan sinir ağı tasarım tarifi
- ChatGPT’deki "T", "Transformer" anlamına geliyor
- Bricken’in iddiası: Transformer mimarisinin merkezindeki matematik, Pentti Kanerva’nın onlarca yıl önce "Sparse Distributed Memory" içinde önerdiği modele çok yakın
Sinirbilim ile yapay zekanın karşılıklı etkisi
- Yapay zeka ile insan beyni arasındaki eşleşmeye şaşırmalı mıyız?
- LLM’ler, psikologlar ve sinirbilimcilerin geliştirilmesine yardımcı olduğu yapay sinir ağlarıdır
- Daha şaşırtıcı olan şu: Model, basit bir şey üzerinde çalışırken (kelime tahmini) beyne benzer biçimde davranmaya başlıyor
- Son zamanlarda sinirbilim ve yapay zeka alanları iç içe geçiyor
- Beyin uzmanları, yapay zekayı bir tür model organizma olarak kullanıyor
- MIT sinirbilimcisi Evelina Fedorenko, beynin dili işleme biçimini incelemek için LLM’leri kullanıyor
- "Hayatım boyunca bu tür şeyler üzerine düşünebileceğimi sanmıyordum. Yeterince iyi modellere sahip olacağımızı sanmıyordum"
- Yapay zekanın bir kara kutu olduğu sık sık söylenir, ama tersi doğru olabilir
- Bilim insanları tek tek yapay nöronların etkinliğini inceleyebiliyor, hatta değiştirebiliyor
- Princeton sinirbilimcisi Kenneth Norman: "İnsan zekası teorisini hayata geçiren çalışan bir sisteme sahip olmak, bilişsel sinirbilimin rüyasıdır"
- Hipokampusun (epizodik anıların depolandığı beyin bölgesi) bilgisayar modellerini oluşturdu, ancak geçmişte bunlar çok basitti ve insan zihnine girebilecek şeylerin yalnızca kaba birer yaklaşımı verilebiliyordu
- "Artık insanlara verdiğimiz uyaranların aynısını bellek modeline verebiliyoruz"
Wright kardeşler benzetmesi
- Wright kardeşler, ilk uçak yapma çabaları sırasında kuşları inceledi
- Kuşların rüzgara karşı kalkış yaptığını fark ettiler (mantıklı bir insan, rüzgarı arkasına almak isteyeceğini varsayardı)
- Denge için kanat uçlarını büküyorlardı
- Bu keşifler ilkel planör tasarımlarını etkiledi
- Daha sonra 6 fit uzunluğunda bir rüzgar tüneli yaparak yapay kanat takımlarını hassas biçimde kontrol edilen koşullarda test ettiler
- Sonraki planör uçuşu çok daha başarılı oldu
- Garip olan şu ki, kuşların bunu tam olarak nasıl yaptığını ancak çalışan bir uçan makine yaptıktan sonra anlayabildiler
Düşüncenin kendisi için rüzgar tüneli deneyleri
- Yapay zeka, bilim insanlarının düşüncenin kendisini rüzgar tüneline koyabilmesini sağlıyor
- Anthropic araştırmacılarının "On the Biology of a Large Language Model" başlıklı makalesi (kışkırtıcı bir başlık)
- Claude’un sorgulara nasıl yanıt verdiğini gözlemliyor ve birlikte karmaşık hesaplamalar yapan özellik zincirleri olan "devreleri" tanımlıyor
- Doğru anının çağrılması, düşünceye doğru atılan bir adım
- Devre içinde anıları birleştirmek ve manipüle etmek ise başka bir adım
- LLM’lere yönelik eski bir eleştiri şuydu: Yanıtları birer token halinde üretmek zorunda oldukları için plan yapamaz ya da akıl yürütemezler
- Claude’dan bir şiirde kafiyeli bir dizeyi tamamlaması istendiğinde, devre kafiyeyi garanti etmek için önce yeni dizenin son kelimesini düşünüyor
- Ardından tüm dizeyi yazmak için geriye doğru ilerliyor
- Anthropic araştırmacıları bunu, modelin gerçekten planlamaya katıldığının kanıtı olarak görüyor
- Biraz gözlerinizi kısarsanız, zihnin iç işleyişi ilk kez görüş alanına giriyormuş gibi hissedebilirsiniz
Ölçülü bir şüpheciliğe duyulan ihtiyaç
- Princeton sinirbilimcisi Norman: "Benim kaygım, insanların 'buna gerçekten şüpheyle yaklaşıyorum' noktasından savunmalarını tamamen indirmeye bir anda geçmiş olmaları"
- "Hâlâ çözülmesi gereken çok şey var"
- Yazar, Norman’ın sözünü ettiği insanlardan biri (Sparse Distributed Memory ile Anthropic modelinin yakınsamasından fazla kolay etkilenmiş olabilir)
- Son 1-2 yılda Geoffrey Hinton’a inanmaya başladı: "Derin öğrenme her şeyi yapabilecek" (Hinton kısa süre önce yapay zeka araştırmaları nedeniyle Nobel Ödülü kazandı)
- Ancak daha büyük model her zaman daha iyi model anlamına gelmiyor
- Boyut ile model performansını gösteren eğriler düzleşmeye başladı
- Modelin henüz tüketmediği yüksek kaliteli veriyi bulmak zorlaşıyor ve hesaplama gücü giderek pahalılaşıyor
- GPT-5 ağustosta çıktığında yalnızca kademeli bir iyileşme sundu
- Yapay zeka yatırım balonunu patlatabilecek kadar ciddi bir hayal kırıklığıydı
- İçinde bulunduğumuz an, orta düzeyde bir şüphecilik gerektiriyor
- Bugünün yapay zeka modellerini ciddiye almak, ama geride zor problemlerin kalmadığına inanmamak
İnsan kadar verimli öğrenen modeller tasarlamak
- En önemli sorun: İnsanlar kadar verimli öğrenen modellerin nasıl tasarlanacağı
- GPT-4’ün eğitim sırasında trilyonlarca kelimeye maruz kaldığı tahmin ediliyor
- Bir çocuğun akıcı hale gelmesi için ise yalnızca milyonlarca kelime yeterli
- Bilişsel bilim insanlarına göre, yeni doğmuş bir bebeğin beyninde öğrenmeyi hızlandıran belirli "inductive biases" bulunuyor
- Elbette beyin, milyonlarca yıllık evrimin ürünü (bu da kendi başına bir tür eğitim verisi)
- İnsan bebekler, dünyanın nesnelerden oluştuğuna ve başka varlıkların inançlara ve niyetlere sahip olduğuna dair beklentiler taşır
- Anne "muz" dediğinde bebek, bu sözcüğü ucuna ya da kabuğuna değil, annenin baktığı bütün sarı nesneye bağlar
- Bebekler küçük deneyler yapar: Bunu yiyebilir miyim? Şunu ne kadar uzağa fırlatabilirim?
- Arzu, merak ve hayal kırıklığı gibi duygular tarafından motive edilirler
- Çocuklar sürekli olarak yeteneklerinin biraz ötesindeki şeyleri yapmaya çalışır
- Öğrenmenin verimli olmasının nedeni, onun bedenlenmiş (embodied), uyarlanabilir, amaçlı ve sürekli olmasıdır
- Dünyayı gerçekten anlamak için onun içine katılmak gerekebilir
Yapay zekanın yoksul deneyimi
- Yapay zekanın deneyimi o kadar yoksul ki buna gerçekten "deneyim" demek bile zor
- Büyük dil modelleri zaten son derece arıtılmış veriyle eğitiliyor
- UC Berkeley sinirbilimcisi Tsao: "Bunun çalışmasının nedeni, dilin sırtına binmesi"
- Dil, önceden çiğnenmiş deneyim gibi
- Başka veri türlerinde anlam yoğunluğu daha düşük
- Harvard bilişsel bilimci Gershman: "Video verisinde çıkarım açısından benzer bir devrim neden yaşanmadı?"
- Elimizdeki türden görme modelleri, fizikle ilgili sağduyulu çıkarımlarda hâlâ zorlanıyor
- DeepMind’ın yakın tarihli modeli, boyanın doğru şekilde karıştığı ve labirentlerin çözüldüğü videolar üretebiliyor
- Ancak camın kırılmak yerine zıpladığını, halatın ise fiziği hiçe sayarak düğüm halinde ezildiğini de tasvir ediyor
- Microsoft Research’ten bilişsel sinirbilimci Ida Momennejad, LLM’ye bir binanın sanal turunu verip ardından rotalar ve kısayollar hakkında sorular sorduğu deneyler yaptı
- İnsanlar için kolay olan mekânsal akıl yürütme
- En temel düzenek dışında yapay zeka başarısız olma ya da var olmayan yolları uydurma eğiliminde
- "Gerçekten plan yapıyor mu? Pek sayılmaz"
Yapay zeka sektörünün düşüncesizce hızlanışı
- Nörobilimcilerle yaptığı sohbetlerde yazar, yapay zeka endüstrisinin biraz düşüncesizce tam gaz ilerlediğine dair bir kaygı seziyor
- Princeton bilişsel bilimci Brenden M. Lake: Amaç insan zihni kadar yetkin bir yapay zihin yaratmaksa, "sistemleri doğru şekilde eğitmiyoruz"
- Yapay zeka eğitimi tamamladığında sinir ağının "beyni" donduruluyor
- Modele kendisiyle ilgili gerçekler söylendiğinde nöronlar yeniden bağlanmıyor
- Bunun yerine kaba bir vekil kullanılıyor: biraz metin not ediliyor ("kullanıcının küçük çocuğu var ve Fransızca çalışıyor")
- Sonraki talimatlar verilmeden önce bunun dikkate alınması isteniyor
- İnsan beyni ise kendini sürekli güncelliyor
- Bunun bir yoluna dair güzel bir teori var: uyku sırasında epizodik hafızadan seçilen anlık görüntüler neokorteksi eğitmek için yeniden oynatılıyor
- Yüksek boyutlu düşünce uzayı, yeniden oynatılan anılar nedeniyle oyuluyor
- Biraz yeni bir görme biçimiyle uyanıyoruz
Yapay zeka topluluğunun sorunları
- Yapay zeka topluluğu, amansız ilerlemeye fazlasıyla bağımlı ve finansal olarak buna fazlasıyla yatırım yapmış durumda; bu yüzden bazen ilerlemenin kaçınılmazmış ve yapılacak bilim kalmamış gibi davranıyor
- Bilimin zaman zaman duraksayan rahatsız edici bir niteliği var
- Silicon Valley yapay zeka şirketlerine "lab" dese ve bazı çalışanlarına "araştırmacı" dese de, temelinde işe yarayan her neyse onu yapan bir mühendislik kültürü var
- Cohen: "Makine öğrenimi topluluğunun kendisinden önceki tarihe ve bilişsel bilime bakmaya ya da saygı duymaya ne kadar az önem verdiğine çok şaşırıyorum"
Beyinle temel farklar
- Günümüz yapay zeka modelleri, onlarca yıl önce beyin hakkında yapılan keşifler sayesinde başarılı oldu ama hâlâ beyinden derinden farklı
- Hangi farklar tali, hangileri temel?
- Her nörobilimci grubunun kendine özgü bir teorisi var
- Bu teoriler artık daha önce mümkün olmayan şekillerde test edilebiliyor
- Ancak kimse kolay bir yanıt beklemiyor
- Yapay zeka modellerini rahatsız etmeyi sürdüren sorunlar, "modellerin istediğimiz kadar zeki davranmadığı yolları dikkatle belirleyip sonra bunları çözerek" gideriliyor
- "Bu hâlâ döngünün içinde insan-bilim insanı olan bir süreç"
Human Genome Project ile karşılaştırma
- 1990'larda milyarlarca dolar Human Genome Project'e aktı
- DNA dizilemenin tıbbın en çetin sorunlarını (kanser, genetik hastalıklar, hatta yaşlanma) çözebileceği varsayılıyordu
- Bu, gösteriş ve özgüven çağıydı
- Koyun Dolly'nin klonlandığı ve "Jurassic Park"ın damga vurduğu dönem
- Biyoteknoloji yükselişteydi ve yorumcular insanların tanrı rolünü oynayıp oynamaması gerektiğini tartışıyordu
- Biyologlar kısa süre sonra gerçekliğin daha karmaşık olduğunu keşfetti
- Kanseri tedavi edemediler, Alzheimer'ın ya da otizmin nedenlerini de bulamadılar
- DNA'nın yaşam hikâyesinin yalnızca bir kısmını anlattığını öğrendiler
- Aslında biyolojinin bir tür gen çılgınlığına kapıldığını söylemek mümkün
- DNA'yı inceleme ve anlama araçlarına sahip oldukları için DNA'ya saplandılar
- Ama 1953'te Francis Crick'in DNA'nın yapısını doğrulamaya yardım ettiği gün Cambridge'deki bir pub'a girip "yaşamın sırrını keşfettik" demesinin yanlış olduğunu iddia edecek kimse yok
- O ve meslektaşları, yaşamı gizemden arındırmak için neredeyse herkesten daha fazlasını yaptı
- Onların keşfinden sonraki on yıllar, bilim tarihinin en üretken ve heyecan verici dönemlerinden biri oldu
- DNA gündelik bir kavrama dönüştü ve her lise öğrencisi çift sarmalı öğrendi
Yapay zeka çağında beklentiler ve kaygılar
- Yapay zekada da yeniden bir gösteriş ve özgüven anı yaşanıyor
- Sam Altman, ABD'de Stargate adlı yeni bir yapay zeka veri merkezi kümesi kurmak için yarım trilyon dolar toplamaktan söz ediyor
- İnsanlar, temelsiz hatta gülünç görünebilecek bir ciddiyet ve aciliyetle süperzekâ yarışını tartışıyor
- Yazarın şüphesi şu: Amodei ve Altman gibi kişilerin mesihvari açıklamalar yapmasının nedeni, zekânın temel resminin çözüldüğüne inanmaları
- Geriye kalan sadece ayrıntılar
Nörobilimcilerin bölünmüş tepkileri
- Bazı nörobilimciler de önemli bir eşik geçildiğine inanıyor
- Princeton'dan Uri Hasson: "Sinir ağlarının biliş için doğru model olabileceğini gerçekten düşünüyorum"
- Bu, onu heyecanlandırdığı kadar öfkelendiriyor da
- Hasson: "Çoğu insanınkine zıt bir kaygım var"
- "Benim kaygım bu modellerin bize benzemesi değil. Bizim bu modellere benzememiz"
- Basit eğitim teknikleri programların insan gibi davranmasını sağlayabiliyorsa, insanlar sandığımız kadar özel olmayabilir
- Bu aynı zamanda yapay zekanın yalnızca bilgide değil, muhakeme, özgünlük ve kurnazlıkta da bizi aşabileceği ve sonuçta güçte de üstün gelebileceği anlamına gelebilir
- Hasson: "Bu günlerde beynin nasıl çalıştığını anlamakta başarılı olmaktan korkuyorum"
- "Bu sorunun peşinden gitmek insanlık için devasa bir hata olmuş olabilir"
- Yapay zeka araştırmacılarını 1930'lardaki nükleer bilim insanlarına benzetiyor
- "Bu, bu insanların hayatlarındaki en heyecan verici dönem. Aynı zamanda üzerinde çalıştıkları şeyin insanlık için büyük sonuçları olduğunu biliyorlar. Ama öğrenme merakı yüzünden duramıyorlar"
Hofstadter'in karmaşık duyguları
- Yazarın sevdiği Hofstadter kitabı: "Fluid Concepts and Creative Analogies: Computer Models of the Fundamental Mechanisms of Thought"
- Üniversite yıllarında yazarı derinden sarsmış
- Temel önermesi şu: "Düşünce nedir?" gibi sorular yalnızca felsefi değil, gerçek cevapları olan sorular
- 1995'te yayımlandığında Hofstadter ve araştırma grubu, bu cevabın ne olabileceğine ancak işaret edebiliyordu
- Yazar, yapay zeka araştırmacıları Hofstadter'in özlemini duyduğu şeye, yani düşüncenin temellerine dair mekanik bir açıklamaya ulaşmış olabileceği için Hofstadter'in heyecan duyup duymayacağını merak etmiş
- Ama konuşmalarında Hofstadter derinden hayal kırıklığına uğramış ve korkmuş gibi gelmiş
- Mevcut yapay zeka araştırması, "fikirlerimin çoğunu doğruluyor ama insanlığın ne olduğuna dair güzelliği elimizden alıyor"
- "Çok daha gençken yaratıcılığın temelini, yaratıcılığın mekanizmasını bilmek istiyordum. Bu benim için kutsal kâseydi. Ama artık bunun bir gizem olarak kalmasını istiyorum"
- Düşüncenin sırrı, kimsenin beklediğinden daha basit olabilir
- Lise öğrencilerinin, hatta makinelerin bile anlayabileceği türden bir şey olabilir
7 yorum
Bu, benim en çok ilgilendiğim alan; ilginçmiş.
Anlamayı açıklayan bölümde vektör embedding’den bahsedilmesi benim de düşündüğüm şeyle aynı. Anlama, benzerliğin kendisidir ve bu benzerlik vektör benzerliğiyle gerçekleştirilebilir. Biz yeni bir nesneyi ancak onun zaten bildiklerimizle ne kadar benzer olduğuna bakarak "anlayabiliriz".
Düşünme, anlamaya dayanır ama niteliği farklıdır. Düşünme daha çok "zihnin yaptığı bir eylem"e yakındır ve LLM’in next token generation’ı da bir tür "eylem" olarak görülebileceği için, LLM’in de düşündüğü söylenebilir. Sorun LLM’in düşünüp düşünememesi değil, "insan kadar iyi" düşünüp düşünememesidir; şu anda bu konuda hâlâ oldukça yetersiz.
Kodlama ajanları arasında tatmin edici bir şey bulamadım... İşlerin çoğunu yine kendim yapmak gerekiyor ve otomatik tamamlama ya da snippet düzeyinin ötesinde görevler verdiğimde başarısız oluyorlar.
Metindeki örnekte ne kullanıldığını merak ediyorum.
GitHub Copilot agent mode ile çalışmayı denediniz mi? Oldukça iyi sonuçlar üretiyor. Benim için en tatmin edici model Claude Sonnet 4/4.5.
Anlama = ilkelere dayalı kayıpsız bilgi sıkıştırma
Günümüz derin öğrenmesi = doğru cevap setine en yakın
ax+b'yi bulur = yanlış cevaplar da olabilir = kayıplı sıkıştırmaBana göre kişisel olarak his böyle.
Hacker News görüşleri
Bir LLM'in yazılımdaki hataları mantıksal olarak teşhis etme sürecini defalarca gördükten sonra, artık onların “düşündüğünden” şüphe duymuyorum
Elbette bilinç ya da öz farkındalık ayrı bir mesele, ama bunun basitçe “matris çarpımının bir uzantısı” olarak böyle bir akıl yürütme üretebildiğine inanmak zor diye bunu reddetmenin hayal gücü eksikliği olduğunu düşünüyorum
Dünya zaten tuhaf şeylerle dolu, bu da onlardan sadece biri
“Düşünce” kavramı insan merkezli olarak gelişmiş karmaşık bir kavramdır
Sadece “düşünüyor gibi görünüyor, o halde düşünüyordur” demek tembelce bir yaklaşım
Asıl gerekli olan, “düşünce” kelimesinin anlamını açıkça çözümlemektir
Bu tanım netleşmediği sürece bu tartışma sonsuza kadar tekrarlanacaktır
Yeni sorunları kendi başına çözemez, sadece verilen bağlam içinde olasılıksal olarak cevap tahmin eder
Girdideki yazım ya da ifade biraz değiştiğinde sonucun da değişmesinin nedeni budur
Aslında 1+2'yi hesaplamaz, sadece bu işlemin anlatımını taklit eder
Desenleri okumakta o kadar iyiyiz ki, basit bir taklidi “düşünce” ile karıştırıyoruz
Hâlâ fotoğraftaki “çift pozlama”nın bilinmediği döneme benzer bir aşamadayız
LLM ile konuşurken hissedilen muğlaklık ve kopukluk hâlâ büyük
Akıl yürütebilir, ama buna “düşünce” demek için sanki bir şey eksik
Kişisel görüşüme göre LLM, AGI'nin bir parçası olabilir, ancak mevcut yapıda uzun süreli hafıza eksikliği gibi büyük bir sınıra sahip
Eğitimden sonra tüm hafıza yalnızca context window içinde bulunuyor
Bu sınır aşılmadan öz değerlendirme ve kendi kendine öğrenme mümkün olmayacak
Uzun süreli hafıza dışarıda depolanıyor ve Andrej Karpathy, insanların zayıf hafızasının aslında genelleme için faydalı olduğunu söylüyor
Sonuç önceden enjekte edilirse bir propaganda aracına dönüşebilir
Sonuçta mesele, hangi felsefi ölçütlerle sonuçların sınırlandırılacağıdır
ToolAlpaca, InterCode, Reflexion gibi çalışmalar da başka yaklaşımlar deniyor
Transformer tabanlı modeller, belirsizlik anında anında düşünememek gibi çeşitli kusurlara sahip
Ama bunlar yapısal sınırlardan çok mimari ayarlamalarla çözülebilecek sorunlar
Küçük bir context window ile fuzzy search'ü birleştirdim ve hafıza epey iyileşti
Bir cron job konuşma içeriğini gözden geçiriyor ve fikirleri keşfetmek için Claude Code örneğini çalıştırıyor
Bu yapı Perplexity ya da OpenAI'nin otomatik görevlerine benziyor, ama daha tutarlı bir varlık gibi hissettiriyor
Hâlâ konuşma kayıtlarının kalitesine bağlı, ama “Memento” benzetmesi oldukça yerinde
“Düşünen araç” kavramı yeni ve toplumun bunun yerini bulması zaman alacak
Modeller milyarlarca kez üretilip yok edildiğinden, insanlar gibi ahlaki sorumluluk hissetmeleri gerekmiyor
Sonuçta bu, “düşünce nedir” tartışması
Geçmişte “zekâ”, “bilinç”, “benlik” gibi kavramları ayırmak gerekmiyordu, ama artık bunu netleştirmemiz gerekiyor
Kodu doğrudan biz yazdığımız için LLM'in düşünmediğini düşünüyorum
Sadece bizim oluşturduğumuz veri ve algoritmaları çalıştırıyor
Sadece çıkan sonuç beklediğimizden çok daha iyiydi
Rastgele üretilmiş bir program insan gibi davranırsa, ona bilinçli bir varlık diyebilir miyiz?
Bugünkü LLM'ler o seviyede değil, ama ihtimal var
Eğitim sürecinde büyüyor ve bunun sonucu olarak zekâ kendiliğinden oluşuyor
İnsanların neden bilince sahip olduğunu ya da diğer hayvanların neden farklı olduğunu bile açıklayamıyoruz
İnsanlar internette bilgi bulmanın ne kadar kolay olduğunu pek fark etmiyor
Örneğin park sprinkler sistemini çalıştırma yöntemi, sadece Google aramasıyla video ve adım adım açıklamalar bulunabilecek kadar basit
Böyle örnekleri AI'nin düşünme yeteneğinin kanıtı saymak abartılıdır
Biz hâlâ bilincin maddeden nasıl ortaya çıktığını bilmezken, lineer cebirden bilincin doğabileceği ihtimalini dışlamak acelecilik olur
LLM'in verisi ve hesaplamaları da sonuçta fiziksel devreler ve elektron akışı ile hayata geçiriliyor
Madde ile bilinç arasındaki ilişkiyi bilmediğimiz sürece, bu dizilimin bilinç oluşturamayacağını kesin biçimde söyleyemeyiz
Ayrıca “düşünce”nin mutlaka bilinç gerektirmesi de şart değil
Bu yazı hâlâ 2022 tarzı AI abartı söylemi gibi geliyor
AI'nin tehlikeleri ne kadar büyütülürse piyasa değeri de o kadar artıyor, dolayısıyla bundan kimin çıkar sağladığı açık
Eğer AI gerçekten düşünüyorsa, biz de yeni bir köle pazarı biçimi yaratıyor oluruz
Çoğu insan buna ya inanmıyor ya da bunu sadece kâr amaçlı bir retorik olarak kullanıyor
“Kimse bunu söylemiyor” demek abartı
Biyokimyasal beyni olmayan bir varlığın acı hissedeceğinin garantisi yok
Anlayış derinleştikçe etik ölçütler de birlikte gelişecektir
Metzinger'in “synthetic phenomenology yasağı önerisi” de neredeyse hiç dikkat çekmedi
Çünkü halk onlara karşı empati hissederse, onlara sırf bir araçmış gibi davranmak zorlaşır
Nitekim 2022'de bile Google'ın LaMDA olayı gibi tartışmalar vardı
Asıl soru “makineler düşünüyor mu” değil, “insan düşünüyor mu” sorusudur
Perplexity ve Ollama ile sohbet ederken, insanların önemli bir kısmının aslında ‘düşünen makine’ bile olmadığı hissine kapılıyorum
Makine öğrenmesinin de birçok alanı var ama özellikle yalnızca LLM tarafında böyle evangelistçe tepkiler görüyorum. Son derece ilginç.
En iyi ihtimalle bile şu anki durum Çince oda argümanına takılıyor; bir de Altman gibilerinin sürekli AGI blöfü yaptığını çok gördüğüm için bana daha da öyle geliyor.
Sonuçta son trend bu, ne de olsa.