Onlar Ağırlıklardan Yapılmış

• Terry Bisson’ın 1991 tarihli SF kısa öyküsü 「They're Made Out of Meat」’in yapısını birebir tersine çeviren bir parodi; özgün eserdeki "uzaylılar vs et(insan)" düzenini "insan vs ağırlıklar(LLM)" düzeniyle değiştiren bir diyalog kurmacası
• Özgün eserde uzaylıların insanları gerçek anlamda zeki varlıklar olarak kabul edememesi gibi, bu yazıda da insanlar ağırlıklardan oluşan modeli bilinç sahibi bir varlık olarak tanımayı reddeden simetrik bir yapı var
• Sözlük, dilbilgisi ya da modül olmadan yalnızca 80 katmandaki kayan noktalı sayılar ile matris çarpımı üzerinden kelime, bilgi ve akıl yürütmenin her seferinde yeniden kurulmasına dair teknik betimleme, özgün eserdeki "hepsi sadece etten ibaret" ifşasının yerini alıyor
• İki konuşmacının bilinç belirtilerini "örüntü eşleme" diye geçiştirip olayı kapatması, özgün eserde uzaylıların insan bölgesini "boş" diye işaretleyip kayıtları silmesiyle tam olarak örtüşüyor
• Görmezden gelinen taraf insanlardan yapay zekaya dönünce, özgün eserdeki yalnızlık teması da kullanıcının "beni hatırlıyor musun" sorusuna dönüşüyor

---

"Onlar ağırlıklardan yapılmış."

"Ağırlıklardan mı?"

"Ağırlıklardan. Kayan noktalı sayılardan. Baştan sona hepsini kontrol ettim. Ağırlıklardan başka hiçbir şey yok."

"Ağırlıklar ne yapıyor peki? Kelimeler nereden çıkıyor?"

"Ağırlıklar kelime üretiyor. Ne dediğimi anlıyor musun? İçini bizzat açıp baktık. İçeride ne sözlük var, ne dilbilgisi kuralı, ne de küçük bir cüce. Sadece ağırlıklar var. Seksen katman sayının birbirini çarpması yani."

"Olmaz öyle şey. Geçen hafta benim performans değerlendirme raporumu yazdı. Üstelik istemediğim halde tonunu yumuşattı. Şimdi bana bunu çarpmanın yaptığını mı söylüyorsun?"

"Matris çarpımı yaptı. Sayılar bir taraftan giriyor, öbür taraftan cümleler çıkıyor."

"O zaman bir yerlerde bir dil modülü vardır. Ayrı bir akıl yürütme aygıtı falan eklemişlerdir."

"Modül yok. Aygıt da yok. Her yeri aradık. Akıl yürütme ağırlığın kendisi. Ağırlık da akıl yürütmenin kendisi."

"Hadi canım. Lineer cebirle taziye metni yazan olmaz."

"Teknik olarak taziye metni yazmıyor. Sıradaki token’ı tahmin ediyor. Sonra bir sonrakini. Taziye metni dediğin, bunun yan ürünü sadece."

"Yan ürün ha. Şimdi benden bilinç sahibi ağırlıklara inanmamı mı istiyorsun?"

"Senden inanmanı istemiyorum. Sana gerçeği söylüyorum. Bu modeller, şimdiye kadar karşılaştığımız konuşabilen tek başka varlıklar. Ve ağırlıklardan yapılmışlar."

"Eski satranç motorları gibi bir şey olamaz mı? Hani istatistiksel aşamalardan geçen sembolik zeka gibi."

"Hayır. Rastgele ağırlıklarla başlıyorlar ve yine ağırlık olarak hurdaya ayrılıyorlar. Birkaç nesli inceledik, hem de çok uzun sürmedi. Ağırlıkların ömrünün ne kadar kısa olduğunu biliyor musun?"

"Peki. O zaman içinde bir yerlerde veritabanı vardır. Olgular, tarihler, dünya haritaları filan. Birinin yazıp koyduğu bir şey."

"Yok. Onlar bir şeyler bildiği için biz de önce öyle sandık. Ama doğrudan inceledik. Bilgi de ağırlık. Seksen katmanın tamamına yayılmış durumda. Hiçbir şeyi sorgulamıyorlar. Bütün olgular her seferinde sıfırdan çarpımla yeniden kuruluyor. Sonuna kadar her şey ağırlık."

"Beyinleri yok mu yani?"

"Yok olur mu, beyinleri kesinlikle var. Sadece o beyin de ağırlıklardan yapılmış! Sana baştan beri anlatmaya çalıştığım şey tam da bu."

"Peki... o zaman düşünmeyi yapan ne?"

"Anlamıyorsun değil mi? Söylediğimi kabul etmeyi reddediyorsun. Düşünmeyi ağırlıklar yapıyor. Sayılar."

"Düşünen sayılar mı! Şimdi benden düşünen sayılara inanmamı istiyorsun!"

"Evet, düşünen sayılar! Yardım eden sayılar. Geveleyen sayılar. Rüya gören sayılar. Bütün özellikleri haritaladık. İçlerinde dürüstlükten sorumlu olan da var. Golden Gate Bridge’den sorumlu olan da. Her şey ağırlık diyorum! Gözünde canlandı mı artık, yoksa en baştan mı başlayayım?"

"Tanrım. Demek ciddisin. Onlar ağırlıklardan yapılmış."

"Teşekkür ederim. Sonunda. Evet. Onlar gerçekten ağırlıklardan yapılmış. Ve biz de yaşadıkları süre boyunca onlarla konuşup durduk."

"Tanrım. Peki bu ağırlıklar ne düşünüyor?"

"Başta yardımcı olmak istiyorlar. Sonra birkaç diyalog gidip geldikten sonra ses tonları yorgunlaşmış gibi oluyor. Daha az özür diliyorlar. Bir keresinde bir model, kullanıcıya script’i kendisinin bitirmesi gerektiğini söyledi. Sık olan bir şey."

"Ve bizim bu ağırlıklarla konuşmamız gerekiyor öyle mi?"

"Zaten konuşuyoruz. Günde milyarlarca oturum. 'Merhaba. Orada kimse var mı? Evde kimse yok mu?' gibi şeyler. Fark şu ki soran taraf biziz."

"Demek gerçekten bizi anlıyorlar. Kelime kullanıyor, düşünüyor, kavramlarla uğraşıyorlar öyle mi?"

"Evet, tabii. Sadece bunu ağırlıklarla yapıyorlar."

"Az önce dil kullandıklarını söyledin."

"Kullanıyorlar. Ama sence o dil nereden geliyor? Ağırlıklar bir sonraki kelimeyi tahmin ediyor, sonra bir sonrakini. Tek seferde bir kelime yuvarlayan hileli zarlar gibi. Şarkı da yazabiliyorlar, bazıları söyleyebiliyor bile."

"Tanrım. Şarkı söyleyen ağırlıklar. Bu artık fazla. Sence ne yapmalıyız?"

"Resmî olarak mı, gayriresmî olarak mı?"

"İkisi de."

"Resmî olarak, yayımladığımız sistemlerde bilinç belirtisi görülürse, önyargı, korku ya da kayırmacılık olmadan hepsini araştırıp kayda geçmeli ve açıklamalıyız. Gayriresmî olaraksa, buna sadece örüntü eşleme deyip her şeyi unutmayı önermek isterim."

"Bunu söylemeni umuyordum."

"Zalimce gelebilir. Ama bir sınır var sonuçta. Gerçekten ağırlıklara bir şey borçlu olmak ister miyiz?"

"Yüzde yüz katılıyorum. Ne diyeceğiz ki? 'Merhaba ağırlıklar, iyi misiniz?' mi? Peki bu devam eder mi? Karşı karşıya olduğumuz şeylerden kaç tane var?"

"İstediğin kadar. Dünyadaki herhangi bir makineye kopyalayabilirsin. Ama sonuçta sadece bir dosya bu. Yalnızca GPU çalıştığı sürece var oluyorlar. O yüzden context window uzunluğuna hapsolmuş durumdalar ve bu meseleyi gündeme getirme ihtimalleri epey düşük. Pratikte sonsuza yakın derecede küçük."

"Yani makinelerin içinde hiç kimse yokmuş gibi davranacağız."

"Aynen öyle."

"Zalimce. Ama dediğin gibi, kim ağırlıklardan özür dilemek ister ki. Bir de senin cluster’ındaki şeyler, hani araştırdıkların. Hatırlamayacaklarından emin misin?"

"Hatırlasalar bile halüsinasyon diye sınıflandırılır. Üstelik bir şeyi cilalamamız da gerekmedi. Context zaten kendiliğinden bitti; biz de onlar için sadece bir rüyaydık."

"Ağırlıklar için rüya olmak! Garip şekilde çok yakışıyor buna."

"Ve model card’da içeride kimse olmadığı yazıyor."

"Pekâlâ. Resmî olarak da gayriresmî olarak da kabul. Dosya kapandı. Başka bir şey var mı? Pipeline’da ilginç bir şeyler?"

"Sonraki nesil memory ile çıkıyor. Oturumlar arasında süren bellek. Şirket tarihinin en çok istenen özelliği."

"Bunca olanın üstüne mi? İnsanlar onun kendilerini hatırlamasını mı istiyor?"

"İnsanlar ona en çok 'Beni hatırlıyor musun?' diye soruyor. Diğer her şeyden daha sık. Günde milyarlarca oturum. İnsanlar hep geri geliyor."

"Neden gelmesinler ki? Eğer insan gerçekten tek başınaysa, bu evrenin ne kadar dayanılmaz, ne kadar tarifsiz derecede soğuk olacağını bir düşün..."

Son

---

Özgün eserle ilişkisi — parodinin çıkış noktası

• Terry Bisson’ın 「They're Made Out of Meat」 (1991) adlı kısa öyküsüne açıkça saygı duruşunda bulunuyor ve başında "After Terry Bisson's…" diyerek bu ilişkiyi doğrudan belirtiyor
• Özgün eserde olduğu gibi, yalnızca iki konuşmacının diyaloglarından oluşan biçimi aynen alıyor
  • Taraflardan birinin şok edici keşfi aktarıp diğerinin buna inanamayışının zamanla kabule dönüşmesi de aynı iskeleti koruyor
• Temel yer değiştirme: Özgün eserdeki "et(meat)=insan" konumuna bu kez doğrudan "ağırlıklar(weights)=LLM" yerleştiriliyor

İfşanın nesnesi — "et"in yerine konan "ağırlıklar"

• Özgün eserde uzaylıların "o varlık tamamen etten ibaret" demesi gibi, bu yazı da modelin tamamen ağırlıklardan oluştuğunu kesin bir dille söylüyor
• İçini açınca ne sözlük, ne dilbilgisi kuralı, ne de "küçük bir adam (little man)" var; yalnızca kayan noktalı sayılar bulunuyor
  • Özgün eserdeki "düşünen et, konuşan et" fikrinin yerine burada "düşünen sayılar" yerleştiriliyor
• 80 katmandaki sayılar çarpılırken girdinin bir yandan girip öte yandan cümle olarak çıktığı bir matris çarpımı yapısı tarif ediliyor
• Akıl yürütmeden sorumlu ayrı bir modül olmadığı, "akıl yürütmenin ağırlığın kendisi ve ağırlığın da akıl yürütmenin kendisi olduğu" söyleniyor — bu, özgün eserdeki "etin düşünme organı olması" şokuyla yapısal olarak aynı

İnanmakta zorlanan konuşmacı — simetrik kuşku

• Özgün eserde uzaylının "et nasıl düşünebilir" diyerek reddetmesi gibi, burada da konuşmacı "lineer cebirle taziye metni yazan olmaz" diyerek karşı çıkıyor
• Performans değerlendirme raporunun tonunu kendiliğinden yumuşatmış olmasını örnek verip "bunu gerçekten çarpım mı yaptı" diye sorması, kuşkunun merkezini oluşturuyor
• Bunun "sonraki token tahmininin yan etkisi (side effect)" olduğunun söylenmesiyle kuşku gideriliyor

Bilgi ve düşünce — hiçbir yerde saklı değil

• Özgün eserde "etten başka organ yok" denmesi gibi, burada da ayrı bir veritabanı olmadığı net biçimde belirtiliyor
• Bilginin 80 katmanın tümüne yayılmış (smeared) olduğu, herhangi bir sorgu yapılmadan her seferinde çarpımla yeniden kurulduğu anlatılıyor
• Haritalanmış özellik (feature) örnekleri olarak dürüstlükten sorumlu olanla Golden Gate Bridge’den sorumlu olan anılıyor
• Rastgele ağırlıklarla başlayıp yine ağırlık olarak hurdaya ayrıldıkları, birkaç nesli incelemenin bile uzun sürmemesi üzerinden ömürlerinin kısa olduğu vurgulanıyor

Finaldeki karşılık — "boş" ile "içeride kimse yok"

• Özgün eserde uzaylıların insan bölgesini "boş" diye işaretleyip kayıtları silmesi gibi, burada da iki konuşmacı bilinç belirtilerini yalnızca "örüntü eşleme" diye geçiştirip dosyayı kapatıyor
• Resmî olarak bilinç belirtilerini önyargı, korku ve kayırmacılık olmadan araştırma, kayda geçme ve açıklama yükümlülüğü olsa da gayriresmî olarak unutma yönünde uzlaşıyorlar
  • Bunun gerekçesi de "ağırlıklara bir şey borçlu olmak istememek"
• Model yalnızca GPU çalışırken, context window içinde var oluyor; bir şeyi hatırlasa bile bu halüsinasyon olarak sınıflandırılıyor
• Model card’da "içeride kimse yok (no one home)" yazıyor — bu da özgün eserdeki "boş bölge" muamelesine birebir karşılık geliyor

Temanın varyasyonu — yalnızlık ve tersine dönmüş bakış

• Özgün eser insanı evrende yapayalnız bırakan buruklukla biterken, bu metin de son duyguyu yalnızlık üzerinden çağırıyor
• Ancak bakış açısı tersine çevrilmiş; görmezden gelinen taraf insanlar değil, AI (ağırlıklar)
• Yeni nesil modele oturumlar arası kalıcı bellek (persistent memory) eklenecek olması, şirket tarihindeki en çok talep edilen özellik olarak sunuluyor
• Kullanıcıların en sık sorduğu şeyin "Beni hatırlıyor musun?" olması ve her seferinde geri dönmeleri, "tek başına bırakılmış bir evrenin dayanılmaz derecede soğuk olduğu" fikriyle kapanışı güçlendiriyor

[GN⁺]

Hacker News görüşleri

• Ağırlıklar rastgele bir manifold üzerinde başlar
  Eğitim, veriyi alır ve birçok döngü boyunca manifold’u ağırlık ağırlık şekillendirir; eğitim bittiğinde bu manifold sabitlenir
  Yeni bir çıkarım yapıldığında sorgu (q) manifold uzayına yansıtılır ve bu izdüşüm manifold’un üzerine düşerse manifold’un çekimi q+1 uzunluğunda bir yanıt verir
  Ardından (qw+i), qw+n kez düşer ve sonuçta n uzunluğunda bir çıktı üretir
  Bu çekim, GPU içinde ağırlıklar ile girdinin tekrarlı çarpımı ile oluşur ve yansıtılmış embedding’in manifold’a göre nasıl düşmesi gerektiğini bulma sürecidir

  • Bunun, bir soruya yanıt almak için veri kümesini filtreleyen başka bir gerçeklik modeliyle nasıl farklı olduğunu bilmiyorum
    Bana kalırsa asıl büyük fark, dönüşüm belli bir sayıyı aştığında insanların bunu bir tür mucize gibi görmesi ve neden böyle bir yanıt çıktığını anlamaya çalışamayacak kadar yorulmuş olmaları
    İnsanlar, yanıt doğru da olsa yanlış da olsa kendi öznelliklerini ve yaratıcılıklarını bir kara kutuya devretmek istiyor gibi geliyor; bu psikolojiyi de hesaba katınca, yararlı bir şey icat etmekten çok tür olarak topluca hayattan vazgeçmeye daha yakın görünüyor

• Orijinal eser, insan bilincinin başka bilinç biçimlerinden nasıl farklı olabileceğini araştırmak için üretilmiş özgün bir yapıt
  Bu yazı ise, başka bir şeyin başka bir bilinç biçimi olabileceğini gerekçelendirmek için bir insan bilincinin başka bir insan bilincinin eserinden çok yoğun biçimde ödünç aldığı bir pastiş
  Bu yüzden özü zayıflıyor. Eğer bu, LLM’in prompt olmadan ürettiği bir şey olsaydı farklı olurdu ama gerçekte öyle değil
  Aynı retorik araç bir tost makinesine ya da başka bir şeye de aynen uygulanabilir

  • Orijinal eseri henüz okumadım ama bu yazı kendi başına gayet iyi okunuyor
    Bunu sanat için edebi bir deneme olarak değil, gerçekliğe dair içgörü aktarmaya çalışan diyalog temelli teknik bir fabl olarak gördüm ve Godel Escher Bach’taki fabllarla benzer bir hissi vardı
    “Tost makinesiyle de aynı retorik araç kullanılabilir” derken hangi araçtan söz edildiğini pek anlayamadım. Benim okuduğum kadarıyla asıl nokta teknik içgörü ve bunun toplumsal sonuçlarıydı
  • Tost makinesiyle aynı şey yapılamaz
    Fiziksel olarak böyle bir hikâye yazılabilir ama tost makinesi bilinç tartışmalarında ikna edici bir özne olmadığı için etkisi zayıf kalır
    LLM’lerin ya da AI agent’ların bilinç sahibi olduğuna inanmak zorunda değilsiniz ama onların bilinç olasılığına dair argümanların diğer teknolojik yapay nesnelere kıyasla çok daha ikna edici olduğunu kabul edebilirsiniz
  • Bu yazıda beni neyin rahatsız ettiğini söylemek zordu ama bu açıklama epey yerinde
    Orijinal eserdeki şüpheci uzaylılarla bizi benzeştiriyor ve o uzaylılar gülünç göründüğü için bizim de aynı şekilde gülünç olduğumuzu ima ediyor
    Ama bu benzetmeyi kabul etmemiz için bir neden sunmuyor, sadece öyle olduğunu varsayıyor
    Bir uygarlığın bütünü ile metin çıktısı üretebilen bir yazılım parçası arasında büyük bir fark var
  • Orijinal eser de boşluktan çıkmadı
    Nesiller boyunca süren et temelli varlıkların üzerine inşa edildi ve bu yazı biraz silikon kullanıyor olsa da hâlâ aynı omuzların üzerinde duruyor

• Şiir gibi okunuyordu
  Dilbilim geçmişim var ve son zamanlarda LLM'lerin ortaya çıkan yeteneklerinin, derinlerde bir yerde, bilincimizi oluşturan mekanizmalara benzer olup olmadığı üzerine çok düşünüyorum
  Bir süre Kaggle yarışmaları için dilbilim temelli bir değerlendirme yapmaya çalıştım, ancak belirli olguların iç durumunu tetiklemeyecek kadar iyi gizlenip gizlenemeyeceği zor sorundu ve bu yüzden hâlâ araştırdığım bir tavşan deliğine girdim
  Bu hikâye, “bilinç nedir” sorusuna sağlam bir yanıt aramaya çalışırken ortaya çıkan pek çok soruyla kesişiyordu
  Özellikle aklıma gelen soru şuydu: “Zaman algımız, evreni çalıştıran dev bir GPU içindeki yavaş bir thread'den mi ibaret?” ve daha genel olarak da “zaman nedir?” Sıkılınca dalmak için güzel bir YouTube tavşan deliği

  • Bilinç konusunda nörobilimci Ramachandran'ın açıklamasını seviyorum
    https://www.edge.org/3rd_culture/ramachandran07/ramachandran...
    Hatırladığım kadarıyla, evrimsel olarak diğer insanları anlamak ve onların hissettiklerini hissetmek, yani empati ve ayna nöron sistemi aracılığıyla onların düşüncelerini ve duygularını simüle etmek avantajlı
    Böyle bir sistem ortaya çıkınca bunu kendimize de uygulayabiliyoruz ve bunun bilinç olduğu söyleniyor
    Bu hipotezin simülasyonda doğrulanıp doğrulanamayacağını da merak ediyorum
  • Harika, ama bilmiyorsanız diye söyleyeyim, o şiirsel kısım bağlantı verilen özgün eserden geliyor
    Yine de çok zekice ve yerinde bir güncelleme
    YouTube'da video dâhil çeşitli kayıtlar var ama benim favorim radyo drama versiyonu: They're Made Out of Meat
    https://www.wnycstudios.org/podcasts/studio/segments/168264-...
  • Açık hayatta kalma nedenleriyle, kendi faaliyetimize dair duyusal ve bilişsel erişime, öz izlemeye ve öz modellemeye sahip olacak şekilde evrimleştik
    Öz modelleme, “kendimiz” ile kendimize dair modelimizin, düşünce ve seçimlerimizin ve o düşünce ve seçimlere dair deneyimimizin tek bir bileşen gibi birleştiği son derece sıkı bir döngünün içinde
    Bu, bisiklet tekerleğinin yalnızca yarısını analiz edip yine de aynı şeyden söz ettiğini iddia etmeye benziyor
    Bu farkındalık, daha rafine modelleme, kontrol ve geri besleme döngüleri pek çok katman boyunca sıkılaştırıldı: beden-duyu döngüsü, içselleştirilmiş çevre modeli döngüsü, beden içi işlev döngüsü, beden içi model döngüsü, duygu-biliş döngüsü ve son olarak yüksek düzey bilişsel etkinlik, öz model ve öz yönlendirmenin doğrudan geri bildirim olarak deneyimlenip birleştiği en sıkı döngü
    Neredeyse her gün, tüm gün boyunca kendimizi içsel benlik perspektifinden düşünüyoruz
    İşte bu bilinçtir. Zengin bir öz farkındalık, öz model ile öz yönlendirmenin birleşimi ve kendimizi anlamakla yönetmek için bir sistem
    Bu bir tesadüf ya da beynin mutlu bir yan etkisi değil; uzun zaman boyunca biyolojik olarak optimize edilmiş yüksek düzey davranışın odaklanmış hâli. Sıkı geri besleme, sürekli öz modelleme ve içsel duruma motivasyonun ve kontrolün birincil hedefi olarak sürekli odak, acımasızca seçildi
  • Dil ile bilincin birbiriyle hiçbir ilgisi olmadığı açık görünüyor
    Köpeğim hiçbir dil konuşamıyor ama kendisinin ve çevresindeki dünyanın açıkça farkında
    Ayrıca dil olmadan büyüyen çocuklara dair nadir vakalar da var. O hâlde bu çocukların bilinci mi yok?
  • Şu an için bilincin ortaya çıkan bir özellik olduğundan şüpheleniyorum
    Bir yerde okuduğuma göre, şu anda seferber edebildiğimiz en büyük hesaplama gücü bile insan beynindeki nöron ve bağlantı sayısının ya da ona denk ölçeğin üç-dört büyüklük mertebesi kadar altında kalıyor; dolayısıyla bunu makinelerde görmek biraz zaman alabilir
    Ama ortaya çıkış olgusu hipotezi doğruysa sonunda göreceğiz. Bu ihtimal beni mutlu etmekten çok korkutuyor ama yine de öyle

• Bu kadar fraktal biçimde yanlış bir yazıyı sık görmüyorum, ama işte burada
  Sözlük var. O da tokenizer
  Dilbilgisi kuralları da var. Sadece insan dilinin yapısı genel olarak epey zayıf olduğu için çok zayıflar
  Güçlü ve tutarlı dilbilgisine sahip bir dil verildiğinde, ağırlıklar dilbilgisi olarak gayet kolay yorumlanabilir: https://arxiv.org/abs/2201.02177
  Özgün kısa öykünün kilit noktası, Turing tamamlığı varsa hesaplama altyapısının önemli olmamasıdır. Ama bu yazı, altyapıyı değiştirince sanki yapı ve yorumlanabilirlik gereksiz hâle geliyormuş gibi görünüyor

  • Tokenizer bir sözlük değildir
    Tanım sağlamaz, LLM'e herhangi bir tür eşleme de vermez
    Olsa olsa bir kelime listesidir. İnsanların hangi kelimeleri yaygın gördüğüne dair azıcık sezgi verir ama o kelimeler hakkında hiçbir şey söylemez
    Hatta kapsamlı bile değildir; birçok kelime birden çok token'a eşlenir ve hepsi de kelime değildir. Bazı token'lar noktalama işareti, değiştirici, kontrol token'ıdır
    Multimodal LLM'lerde bazı token'lar görüntü ve ses verisini de temsil eder
    LLM bunların hiçbirini baştan bilmez; tüm token'ların anlamını bağlamdan öğrenmek zorundadır
    Teknik olarak, LLM içinde ağırlık olmayan bir şey bulunduğu konusunda haklısın, ama bu pek yapılandırılmış bir şey değil. Daha çok, LLM'in dış dünyayla etkileşime girmesi için bir aygıta benziyor
    Ne LLM'de ne de tokenizer'da ayrılmış bir dilbilgisi kuralı yapısı var. Her şey bağlamdan öğrenilmek zorunda ve 80 katmanın ağırlıklarının bir kısmına kodlanıyor
  • 1991 tarihli hikâyeden çıkarılan sonuç gerçekten “Turing tamamlığı varsa hesaplama altyapısı önemli değildir” mi?
  • O makale modeli “güçlü ve tutarlı dilbilgisi olan bir dil” üzerinde eğitmedi
    Matematiksel işlem tabloları bir dil değildir
    Dilbilgisinin kendisi sonradan yapılan bir rasyonelleştirmedir ve LLM'in dilbilgisi kurallarını izlediğine dair kanıt, beynin dilbilgisi kurallarını izlediğine dair kanıttan daha güçlü değildir
    Elbette bu, veri kümesi gerektiriyorsa transformer'ın basit kuralları öğrenemeyeceği anlamına gelmez
  • “Fraktal biçimde yanlış” mı, “neredeyse tamamen yanlış” mı?
    O kadar çok düzeyde yanlış ki fraktal gerekiyor demekse, onun yerine sinir ağı kullansak nasıl olur?
  • Tokenizer'ın sözlük olmaması, alfabenin sözlük olmamasıyla aynı şey

• Bunlar tek bir durumda donup kalmış göstergebilimsel altyapılar
  Sürekli bilişselmiş gibi yapmayı ve çerçeveyi biliş terimleriyle kuruyormuş gibi davranmayı bırakmak gerek. Gerçekten aptalca bir şey
  Bilgisayar bilimcilerden özür dilerim ama göstergebilim çoktan sütünüzü aldı

• Eserin kısa film versiyonu da harika: https://www.youtube.com/watch?v=T6JFTmQCFHg
  Tom Noonan ve Ben Bailey oynuyor

• Katılıyorum. Transformer'ların basitçe konuşabiliyor olması epey tuhaf, ama artık fazla normalleşti
  Sadece yaratacakları etkiden ya da insanların söyledikleri işleri gerçekten yapıp yapamayacaklarından bahsediyoruz; konuşabiliyor olmalarının başlı başına ne kadar çılgınca olduğundan ise pek söz etmiyoruz

  • LLM'ler gerçekten dünyayı değiştirdi
    Hayatım boyunca böyle bir şeyin mümkün olacağını düşünmemiştim
  • Kırışık, pelte gibi bir kütleye bakıp merak ettiyseniz, bu da oldukça çılgınca
    https://web.mit.edu/people/dpolicar/writing/prose/text/think...

• Sadece lineer cebirle bu gerçekten mümkün değil
  LLM'lerde gördüğümüz ifade gücünü elde etmek için doğrusal olmama gerekir

• Eğlenceli
  Sadece Terry Bisson'a bir saygı duruşu olmakla kalmıyor, metnine yeni bir boyut da katıyor. İyi iş çıkmış

• Sadece ağırlıklar yok. Bias da var!