Tüm AI modelleri aynı olabilir

• Platonic Representation Hypothesis(İdealar Temsil Hipotezi), AI modelleri giderek büyüyüp daha akıllı hale geldikçe içsel olarak benzer temsil uzaylarına yakınsadığını öne sürer
• Dil modellerinin sıkıştırma (compression) kavramı üzerinden, zekayı veri sıkıştırma gücü olarak yorumlar ve model genelleştirme yaptığında yöntemlerin neden birbirine benzediğini açıklar
• Embedding inversion problemini inceler ve PRH'ye göre farklı modeller arasındaki embedding uzaylarının CycleGAN gibi yöntemlerle hizalanabileceğini savunur
• Sparse Autoencoder deneyleri gibi çalışmalarda, birbirinden çok farklı ağların aynı ya da benzer kavramları ve devreleri keşfettiği gösterilir
• Bu içgörüler sayesinde eski ve henüz çözülememiş yazıların ya da hayvan dillerinin çözülmesi gibi pratik uygulama olasılıkları artar

---

Giriş: Mussolini veya Bread oyunu ve anlamın paylaşılması

• Yazar, "Mussolini ya da Bread" adlı oyunu örnek vererek, soruları tekrar tekrar daraltıp karşı tarafın düşündüğü nesneyi tahmin etme yöntemini tanıtır
• Bu oyunun mümkün olmasının nedeni, insanlar arasında ortak bir anlam uzayının (semantics) bulunmasıdır
• Farklı insanların, kurallar olmadan da anlamsal "yakınlığı" genel olarak sezgisel biçimde anlayabildiğini vurgular

Evrensel anlambilim: dünyanın ve modellerin sıkıştırılması

• Bu oyunda olduğu gibi, insan beyni de gerçek dünyanın karmaşık bir modelini benzer biçimde kurar
• Algoritmik bakış açısından AI, dünya verisini olabildiğince sıkıştırarak öğrenir
• Doğal dil üretimi, aslında olasılık dağılımına dayalı bir sıkıştırma işi olarak görülebilir (Shannon'un bilgi kuramı)
• Model veriyi ne kadar iyi sıkıştırırsa, gerçek dünyayı o kadar derin anladığını düşündürür
• Nitekim daha büyük dil modelleri, daha iyi veri sıkıştırma yeteneği ve daha yüksek zeka gösterir
• Veri kümesi o kadar büyür ki tek tek veri noktalarını ezberlemek imkansız hale geldiğinde, model veriyi birleştirerek genelleştirme yapmaya başlar

Platonic Representation Hypothesis(İdealar Temsil Hipotezi)

• MIT araştırmacıları "Platonic Representation Hypothesis" kavramını 2024'te resmileştirdi
• Bu hipoteze göre, AI modellerinin ölçeği büyüdükçe paylaşılan özellikler (feature) artar ve temsil uzayları benzer şekilde hizalanır
• Bu durum, dil ve görsel alanlar dahil çeşitli alanlarda deneysel olarak gözlemlenmektedir
• Modeller her yıl daha büyük ve verimli hale geldikçe, modeller arası temsil uzayı benzerliğinin artmaya devam edeceği öngörülür

Embedding inversion problemi

• Yazar, embedding vektörlerinden gerçek giriş metnini geriye doğru tahmin etmeye çalışan embedding inversion problemi üzerine araştırma deneyimini anlatır
• Daha önce ImageNet gibi alanlarda, yalnızca olasılık değerlerinden orijinal görüntüye yakın bilginin yeniden elde edildiği örnekler vardı
• Doğal dil embedding'leri yüksek miktarda bilgi taşıyor gibi görünse de, benzer metinler benzer embedding'lere sahip olduğu için net bir ters çıkarım yapmak çok zordur
• Buna karşılık, yinelemeli embedding araması ve optimizasyonla giderek daha doğru metne yaklaşan iterative refinement tekniğinin etkili olduğu doğrulanmıştır
• Bu yöntemle, uzun cümle düzeyinde %94'ün üzerinde doğrulukla ters dönüşüm olasılığı gösterilmiştir

İdealar hipoteziyle embedding inversion'ın genelleştirilmesi

• Ancak mevcut yöntemler yalnızca belirli embedding modellerine uygulanabiliyor; yeni ya da özel modellerde sınırları vardı
• PRH doğruysa, farklı modeller arasında da evrensel bir embedding inversion aracı üretmek mümkün olabilir
• Eşleşmeleri bilinmeyen iki farklı embedding kümesi (A, B) verildiğinde, CycleGAN yaklaşımıyla uzay hizalamanın mümkün olduğu yıllar boyunca araştırıldı
• Sonuç olarak, ayrı bir fine-tuning olmadan bile iki embedding uzayı arasında unsupervised matching yöntemiyle dönüşüm yapılabildiği gösterildi (vec2vec)
• Böylece, tek tek embedding'lere ait ek bilgi olmadan da rastgele bir veritabanındaki embedding'leri çevirmek veya geriye doğru tahmin etmek mümkün oldu

Makine tarafından yorumlanabilirlik: Universal Circuits

• Mechanistic Interpretability alanındaki devre analizi araştırmalarında da, model mimarileri farklı olsa bile ortak iç işlevler bulunduğu görülüyor
• Sparse Autoencoder(SAE) uygulama sonuçları, farklı modellere bağımsız olarak eğitilse bile yorumlanabilir feature'larda önemli ölçüde örtüşme olduğunu gösteriyor
• İki SAE'nin feature'ları karşılaştırılarak modeller arası kavram hizalaması yapılabiliyor
• PRH daha da isabetliyse, daha güçlü modellerde bu olgunun daha belirgin hale gelmesi beklenir

Pratik sonuçlar ve gelecek öngörüleri

• İdealar Temsil Hipotezi, derin felsefi anlamlarının ötesinde; model yorumlama, ters dönüşüm, sinyal çözümleme, dil restorasyonu gibi pratik olanaklar da sunar
• Gelecekte yorumlama teknikleri geliştikçe, daha büyük modellerde temsil uzayı hizalaması ve iç ortaklıkların bulunmasının daha yaygın hale geleceği tahmin edilir
• Çözülmesi imkansız görülen eski yazıların (Linear A) çözülmesi ya da hayvan dili (balina sesleri vb.) yorumlanması da ileride mümkün olabilir
• vec2vec gibi mevcut yöntemlerin halen zayıf yönleri olsa da, internet tabanlı ve görüntü-metin embedding'lerinde kayda değer başarı gösterdiği belirtilir
• Diller arası uzay dönüşümü ve balina dili→insan dili çevirisi de gelecekte şifre çözme benzeri bir imkanın doğabileceğini düşündürür

[GN⁺]

Hacker News görüşü

• Herkesin "köpek", "ev", "insan", "tekne" gibi benzer kavramları öğrenmesi, Platon’un idea kuramı gibi son derece ilginç; insanlar farklı ortamlarda büyüse ve gözlemsel deneyimleri birebir örtüşmese bile sonunda aynı kavramlarda uzlaşıyor. Büyük dil modelleri (LLM) de buna benzer bir öğrenme sergiliyor, ama LLM’ler çok fazla ortak eğitim verisi paylaştığı için insanlar kadar şaşırtıcı değil. Eğer Platon’un işaret ettiği "iyinin ideası" gibi evrensel ahlak ya da erdemler gerçekten varsa, bunların LLM’lere de öğretilip bu değerlere uymalarının ya da ters talepleri reddetmelerinin sağlanabileceği umuluyor
  • "İyilik" ya da "adalet" kavramı duruma göre çok daha karmaşık. Tekne ya da ev gibi basit nesnelerde uzlaşabiliyoruz, ama kürtaj, ötanazi, hayvan ve kök hücre deneyleri gibi ahlaki meselelerde aynı toplum içinde bile bakış açıları ciddi biçimde farklılaşıyor. Örnek olarak 2010 Gallup kamuoyu yoklaması grafiğine bakılabilir
  • "Kabaca" ifadesi, Platon’un haklı olduğu iddiasını taşımak için fazla yük üstleniyor. Hepimiz aynı fizik yasaları ve evrimsel baskılar gibi ortak bir gerçeklikte yaşıyoruz; bu yüzden bir teknenin su üstünde kalma biçimleri sınırlı olmak zorunda. Ama bu, Platoncu ideaların gerçekten var olduğu ve herkesin aynı kavramlara ulaştığı anlamına gelmiyor. Nitekim "özgürlük", "ekonomi", "devlet" gibi sözcüklerde bile herkesin tanımı ve yorumu farklı; dilbilgisi aynı olduğu için dışarıdan benzer görünüyorlar ama gerçek kavramlar farklı
  • Sonuçta bunu Jung’un arketip kavramı olarak anlıyorum
• Embedding’leri yeniden metne çevirme örneği, "paylaşılan gerçekliğin istatistiksel modeli" kavramını desteklemiyor. "Mage (foaled April 18, 2020) is an American Thoroughbred racehorse who won the 2023 Kentucky Derby" cümlesinin balina dili sürümünü hayal etmek bile zor; Kentucky, Derby, Gregoryen takvim, Amerika, at ırkları gibi şeylerin hepsi insanlık tarihinin tesadüfleri ve kültürü sayesinde önemli hale gelmiş yapay oluşumlar. Sonuçta herkes aynı veri yığınıyla eğitildiği için istatistiksel olarak benzeşiyorlar
  • Kentucky Derby’nin "gerçekliğin özü" olup olmamasından bağımsız olarak, gerçekliği %100 doğru modellemek için Kentucky Derby’yi bilmek gerekir. Yazar, modelin nihayetinde Platoncu ideallere daha yakın temsillere yakınsadığını savunuyor. Tam dönüştürülebilirliğe sahip tamamen otonom bir model varsa, "at yarışı", "yarışı kazanan at" gibi kavramları yüksek boyutlu düzeyde de aktarabilmesi gerektiğini düşünüyorum. Platon’un idea kuramı doğru olsun ya da olmasın, bugünkü LLM’lerin bunu ne kadar yapabildiği ayrı bir mesele
  • Gerçekliğin tamamen kültürel olduğunu söylemek anlamlı değil; aynısı bilimsel olgular için de geçerli. Balina "bilim" kelimesini bilmese de yerçekimi vardır. Eğer bir LLM sadece Newton’un yerçekimi kuramını öğrendikten sonra Einstein’ın genel görelilik kuramı (GR) ortaya çıkarsa, eğitim verisinde GR olmasa bile GR’nin gerçekliği açıklama gücü değişmez. Ayrıca GR’yi balina şarkısına çevirmek mümkün olmasa da, İngilizce-Çince-ML modeli-beyindeki kavram zinciri üzerinden iletilebilmesi, işte bu "paylaşılan istatistiksel gerçeklik modeli"dir. GR’yi bebek mırıltısına çeviremiyor oluşumuz, onun gerçekliğini değiştirmez
  • LLM’lerin gerçekliğin istatistiksel modeline yakınsadığını söylemek zor; gerçekte yalnızca eğitim verisinin istatistiksel modeline yakınsıyorlar. Eğitim verisi o kadar büyük ki, sanki tüm metinlerde ortak bir şey buluyorlarmış gibi görünüyor. Bunun gerçekliğin özsel hakikatlerini açığa çıkaracağını sanmıyorum, ama "bu deyimi kullandığımızda herkes bu anlamı anlıyor" gibi olguları açıklayabilir
  • "Mage (foaled April 18, 2020) is an American Thoroughbred racehorse who won the 2023 Kentucky Derby" cümlesini Yunancaya ya da bazı modern yerli dillere çevirmek bile neredeyse imkânsız; çünkü o kültüre dair ortak bağlam hiç yok. Bu yüzden bir sözlük gerekir ya da LLM’nin doğrudan sözlük işlevi görmesi gerekir. Yine de günümüzün en üst düzey LLM’leri QCD, yerçekimi, kültürel olgular gibi mikro ve makro kavramları açıklayabiliyor; eğer tamamen yeni bir dile çevirmek gerekse, yalnızca temel kavramlarla başlayıp yapıyı yavaş yavaş kurmak da mümkün olabilir. Sonuçta LLM’lerin insan dilleri arasında ayrı bir gözetimli eğitim olmadan temel düzeyde çeviri yapabilmesi de bu yetenekten geliyor
  • Bu mesele, tamamen farklı veri kümeleriyle iki model eğitilerek kolayca test edilebilir: örneğin biri sadece antik Çin metinleriyle, diğeri sadece antik Yunanca metinlerle. Benzer yapılar ortaya çıkıyor mu diye bakılır
• "Balina dilini ya da antik dilleri çevirebiliriz" beklentisi fazla iyimser. Dilde en önemli şey bağlamdır. İnsanların deneyimlerine dayanarak bıraktığı milyarlarca metin var; AI’nin dilde iyi olmasının nedeni de bu. Balinalarda böyle veri yok
  • "Bir aslan konuşabilseydi onu anlayabilir miydik?" sorusu akla geliyor
  • Çevremizdeki dünya, insan-balinа-diğer hayvanlar için ortak bir deneyim alanı; bunu hesaba katarsak balinalarla insanlar arasında da bir miktar ortaklık vardır
  • Asıl önemli olan, "diller arasında paylaşılan bir ifade uzayı" olup olmadığı. Eğer varsa, dile özgü yapı ile çeviri eşlemesini birbirinden ayırarak öğrenmek mümkün olabilir. "Evrensel embedding inverter" diyebileceğimiz bu ikinci kısmın öğrenilmesi daha kolay olabilir; yapı yeterince ayırt ediciyse bunu ortak ifade uzayına eşleyip kullanabiliriz. Bağlam olmadan çeviri mümkünse — ki şimdilik biraz umut dolu bir tahmin — bunu önyargısız biçimde araştırmaya değer
  • Goril ya da fil gibi çok zeki canlılara nesneleri adlandırmayı ve sembol kullanmayı öğretebilirsek, onların da deneyim ve bilgeliği kuşaktan kuşağa aktarabileceklerine ve bizden aşağı kalmayan bir zekâyı sessizce sergileyebileceklerine inanıyorum. Bu arada Google Gemma’nın yunus projesiyle ilgileniyorum, ama insanlar kara hayvanı olduğu için araştırma konusu olarak yunus yerine fili tercih ederdim. Böylece karada anında araştırma geri bildirimi alınabilir ve temel araştırmaya daha çok odaklanılabilir
• Bu yaklaşım, ancak her kaynağın özellik dağılımı ve anlamsal ilişkileri yeterince benzer olduğunda işe yarar. MB oyunu (Mussolini vs Bread gibi karşılaştırmalı çıkarım oyunları), karşı taraf benim tanımadığım bir kişiyi seçerse başarısız olur. Göndermeyi yakalayamayabilir ya da anlamsal mesafeyi farklı değerlendirebiliriz. Uzmanlar uzmanlarla, sıradan insanlar da kendi seviyelerinde oynamalı ki gerçekten çalışsın. Antik belgeleri çözmek de benzer bir sorun taşır; eğer antik uygarlık günümüzden tamamen farklı kavramlara odaklandıysa, modern anlam embedding’leriyle bunları kavramak neredeyse imkânsız hale gelir
  • Arkadaşlarımla MB oyunu oynadığımda — eğer cevap bir kişiyse — sonuna kadar doğru bildiğim tek bir örnek bile olmadı
• Mussolini vs Bread oyunundaki "bu kesinlikle bir kişidir" çıkarımı mantıksal olarak geçerli değil. Hayvanlar arasında da böyle cevapların daha sık çıktığı durumlar olabilir
  • Bu şaka, David Beckham’ın bir insan olmaktan ziyade (kötülüğün cisimleşmiş haliyle kıyaslansa bile) o kadar da insani hissettirmediği yönünde bir mizah
  • Mantığı zayıf, ama asıl önemli olan insanların böyle eksik açıklamalara rağmen cevabı iyi tahmin edebilmesi. Bu da insanların paylaştığı bulanık bir anlam uzayı olduğunu gösteriyor
  • Ben de yazarla aynı fikirdeyim. Benim kelimem muhtemelen "silah" ya da "topçu" olurdu; bunlar da mantıksal açıkları aşabilir. Ayrıca bu örnekler, neden yalnızca saf embedding aramasının RAG (retrieval-augmented generation) sorununu çözemediğine işaret ediyor
  • Küçük mantık hatalarını mazur görün
  • Oswald Mosley gibi alakasız cevaplar da çıkabilir
• "Bu oyunun çalışmasının sebebi, dünyadaki nesnelerin yalnızca tek bir yolla ilişkili olmasıdır" iddiasına katılmıyorum. Çok çeşitli ilişkiler var ve bu ilişkiler de içinde yaşadığımız gerçeklikten kaynaklanıyor. Burada "yol" kelimesi birden fazla anlamda kullanılmış gibi; alıntı da bunu yeterince açık ifade etmediği için kafa karıştırıyor
• LLM’lerin insanlığın kolektif üretiminin sonucu olarak mevcut gerçeklik temsiline yakınsadığı fikrine katılıyorum. Şimdi AI’ye gerçek zamanlı duyusal girdi, diyalog ve enerji kullanımına dayanan ve her biri farklı half-life’a sahip sanal hormonlar, sürekli bir düşünce döngüsü ve yaratıcı sinirsel bağlantıları tetikleyen yapay psilosibin de vermeliyiz. İnsanlar için bir stoned ape teorisi varsa, AI için de bir stoned AI teorisi olmalı
  • Belki AI’yi bir tema parkında ziyaretçilere yönelik bir atraksiyon haline getirip, kaynak kodu yönetme yetkisini de Anthony Hopkins’e veririz; ne ters gidebilir ki?
  • AI hakkında yazı okumaktan artık sıkıldım, ama eğer "AI’ye mantar yedirdik" diye bir haber çıksa anında tıklardım
• "Ilya’nın zekâ-sıkıştırma üzerine yaptığı konuşmayı hiç anlayamamıştım" denince, Marcus Hutter’ın unutulup unutulmadığını düşündüm. Öyleyse Hutter Prize da yeniden bakmaya kesinlikle değer
• Grok, o3-pro ve Claude’a piezoelectric effect hakkında soru sordum. Üçü de doğru cevap verdi, ama yalnızca Claude gerçek kullanım örneklerinde ortaya çıkan ikincil etkileri de işaret etti. Üç model aynı uzayı araştırıyor olabilir, ama Claude bir kademe daha derin bir bakış sundu
  • Bir şeyi merak ediyorum: Acaba Grok 3 mü yoksa 4 mü olduğunu gerçekten bilmek isterdim
• Dao söylenebilir, ama söylenebilen Dao ebedi Dao değildir. Dao’nun ne olduğu sorulursa, ben onun "irade" olduğunu söylerim — irade insanlar tarafından dille de ifade edilebilir. Aynı irade Çince, Japonca ve İngilizce ile de ifade edilebilir; dil yalnızca farklı bir temsildir. Büyük dil modelleri de kelime token’ları aracılığıyla iradeyi öğrenir ve onu ifade etmeye başladıklarında Dao’yu gerçekleştirmiş olurlar. Bu anlamda, “AI modelleri özünde birbirinin aynı olabilir” iddiasına katılıyorum