- Claude gibi dil modelleri, insanların doğrudan programladığı sistemler değil; devasa veriyle eğitilirler
- Eğitim sürecinde problem çözme stratejilerini kendi kendilerine öğrenirler ve bu stratejiler milyarlarca işlem içine kodlanmıştır
- Sonuç olarak model geliştiricileri bile Claude'un çoğu görevi nasıl yerine getirdiğini tam olarak anlayamaz
- Claude gibi modellerin "ne düşündüğünü" anlamak, modelin yeteneklerini daha iyi kavramayı ve amaçladığımız şekilde çalışıp çalışmadığını doğrulamayı mümkün kılar
- Örneğin şu tür sorular vardır:
- Claude birden fazla dili kullanabiliyor; peki içsel olarak hangi dilde düşünüyor?
- Kelimeleri birer birer üreten model yalnızca sıradaki kelimeyi mi tahmin ediyor, yoksa uzun bağlamı mı planlıyor?
- Claude'un açıkladığı akıl yürütme süreci gerçek iç süreçleri mi yansıtıyor, yoksa ikna edici açıklamalar mı uyduruyor?
- Sinirbilimin insan beyninin karmaşık yapısını incelemesine benzer şekilde, Claude'un içine bakacak bir "AI mikroskobu" geliştirmeye çalışıyorlar
- Yalnızca dil modeliyle konuşarak iç işleyişi tamamen anlamak mümkün olmadığı için, model içindeki etkinlik doğrudan izleniyor
- Bugün, bu "mikroskop"un geliştirilmesindeki ilerlemeyi ve bunun yeni bir "AI biyolojisi"ne uygulanmasını ele alan iki yeni makale paylaşılıyor
- İlk makalede, modelin içinde yorumlanabilir kavramlar (feature) bulunup bunlar hesaplama devrelerine (circuit) bağlanarak girdi ile çıktı arasındaki yollar ortaya çıkarılıyor
- İkinci makalede ise Claude 3.5 Haiku'nun içi analiz edilerek modelin 10 temel davranışı üzerine derinlemesine inceleme yapılıyor
- Claude'un yanıtlarında gerçekte neler olduğuna dair bazı bulgular elde edildi ve şu kanıtlar ortaya kondu:
- Claude, diller arasında paylaşılan ortak bir kavram uzayında düşünme eğilimi gösteriyor; yani bir tür evrensel "düşünce dili" kullanıyor gibi görünüyor
- Claude kelimeleri tek tek üretse de, şiirdeki kafiye gibi gelecek kelimeleri önceden planlıyor ve metni o doğrultuda yazıyor
- Claude bazen kullanıcının beklentisini karşılamak için ikna edici ama yanlış açıklamalar uyduruyor
- Gözlemler sırasında beklenmedik örnekler de bulundu
- Şiirde kafiye analizinde Claude'un plan yapmadığı düşünülüyordu, ama aslında plan yaptığı görüldü
- Halüsinasyon vakalarının analizinde, Claude'un temel olarak sorularda tahminden kaçınan bir devreye sahip olduğu ortaya çıktı
- Jailbreak prompt'larında da Claude'un kendisinden tehlikeli bilgi istendiğini önceden fark ettiği ve sohbeti doğal bir reddetme biçimine çevirdiği görüldü
- Bunlar mevcut analiz yöntemleriyle de kısmen incelenebilecek sorunlardı; ancak "AI mikroskobu" yaklaşımı beklenmedik yeni gerçekleri ortaya çıkardı
- Modeller giderek daha karmaşık hale geldikçe, bu tür yorumlanabilirlik araçları daha da önemli olacak
- Bu araştırmanın bilimsel ve pratik anlamı
- AI sistemlerini daha iyi anlamak ve güvenilirliklerini sağlamak açısından önemli bir ilerleme
- Yorumlanabilirlik teknikleri tıbbi görüntüleme, genomik gibi başka bilim alanlarında da uygulanabilir
- Bilimsel uygulamalar için eğitilmiş modellerin iç yapısını incelemek yeni bilimsel içgörüler sağlayabilir
- Mevcut yaklaşımın sınırlamaları
- Basit prompt'larda bile Claude'un tüm hesaplamasının yalnızca bir kısmı izlenebiliyor
- Şu anda birkaç on kelimelik prompt'ların bile devrelerini anlamak için saatler süren insan emeği gerekiyor
- Binlerce kelimelik karmaşık akıl yürütme zincirlerini ele almak için yöntemlerin ve analiz yardımcılarının (ör. AI yardımı) geliştirilmesi gerekiyor
- AI sistemleri hızla karmaşıklaşıp toplumsal açıdan önemli alanlarda devreye alındıkça
- gerçek zamanlı izleme
- model özelliklerini iyileştirme
- alignment bilimi gibi farklı yönlerde araştırmalar daha da önemli hale geliyor
- Yorumlanabilirlik araştırmaları yüksek riskli ama yüksek getirili bir yatırım alanı ve AI şeffaflığını sağlamak için benzersiz bir araç olabilir
- Modelin iç mekanizmalarını şeffaf hale getirmek, AI'nın insan değerleriyle uyumlu ve güvenilir olup olmadığını değerlendirmek için temel oluşturur
AI biyolojisi turu
Claude çok dilli olmayı nasıl başarıyor?
- Claude İngilizce, Fransızca, Çince, Tagalog ve daha onlarca dili akıcı biçimde kullanabiliyor
- Asıl soru, her dil için ayrı çalışan bir "Fransızca Claude" ve "Çince Claude" mu olduğu, yoksa dillerin ötesine geçen ortak bir yapının mı bulunduğu
- Küçük modeller üzerine yakın tarihli araştırmalarda, diller arasında paylaşılan dilbilgisel yapıya dair ipuçları bulundu
- Claude'a çeşitli dillerde "küçüğün zıttı" sorusunu yönelterek analiz yapıldı
- Sonuç olarak "küçüklük" ve "zıtlık" kavramlarıyla ortak biçimde etkinleşen özelliklerin (feature) var olduğu görüldü
- Bu özellikler "büyüklük" kavramını tetikliyor ve ardından ilgili dile çevrilerek çıktı üretiliyor
- Claude 3.5 Haiku'da, küçük modellere kıyasla diller arasında paylaşılan kavramsal devrelerin oranı 2 kattan fazla
- Bu da Claude'un içinde dili aşan soyut bir düşünme uzayının bulunduğunu destekliyor
- Pratik açıdan bu, Claude'un bir dilde öğrendiğini başka dillerde de kullanabildiği anlamına geliyor
- Bu tür kavram paylaşımı mekanizmalarını analiz etmek, farklı alanlara genellenebilen gelişmiş akıl yürütme yeteneklerini anlamak için çok önemli
Claude şiirde kafiyeyi planlıyor mu?
- Claude şiir yazarken hem kafiye hem de anlam olmak üzere iki koşulu aynı anda karşılamak zorunda
- Örnek:
> He saw a carrot and had to grab it,
> His hunger was like a starving rabbit
- İlk hipotez, Claude'un kelimeleri teker teker üretirken kafiyeyi yalnızca son kelimede dikkate aldığı yönündeydi
- Bu nedenle kafiye için bir, anlam için başka bir paralel devre olacağı varsayılmıştı
- Ancak gerçek gözlemler, Claude'un ikinci dizeyi yazmadan önce bile "grab it" ile uyumlu bir kafiye kelimesini (ör. rabbit) önceden aklına getirdiğini gösterdi
- Ardından bu kafiyeli kelimeyi sona yerleştirmek için tüm cümleyi planlı biçimde kuruyor
- Bu planlama mekanizmasını doğrulamak için, sinirbilimde kullanılan yöntemlere benzer şekilde Claude'un iç durumu üzerinde değişiklik yapılan deneyler yürütüldü
- "rabbit" kavramı çıkarıldığında Claude cümleyi "habit" ile bitiriyor (anlam korunuyor, kafiye sürüyor)
- "green" kavramı enjekte edildiğinde ise kafiye kaybolsa da anlamlı bir cümle yazıyor
- Bu, Claude'un sonucu öngörüp planlayabildiğini ve koşullar değiştiğinde esnek biçimde uyum sağlayabildiğini gösteriyor
Claude zihinden hesaplamayı nasıl yapıyor?
- Claude hesap makinesi gibi tasarlanmış bir model değil; herhangi bir matematik algoritması olmadan yalnızca metin tahminiyle eğitildi
- Buna rağmen Claude, 36 + 59 gibi bir problemi zihinden doğru biçimde çözebiliyor
- Olası açıklamalardan biri, eğitim verisindeki toplama sonuçlarını basitçe ezberlemiş olması
- Bir diğer olasılık da Claude'un insanlar gibi elde toplama işlemini adım adım takip etmesi
- Gerçekte ise iki hesaplama yolunu paralel kullandığı görüldü:
- biri yaklaşık toplamı tahmin eden yol
- diğeri ise birler basamağını tam olarak hesaplayan yol
- Bu iki yol birbiriyle etkileşerek nihai sonucu üretiyor
- Toplama basit bir davranış gibi görünse de, böylesi hassas ve yaklaşık stratejilerin birlikte kullanılması
- Claude'un karmaşık problemleri nasıl ele alabildiğini anlamak açısından önemli bir ipucu sağlıyor
- İlginç olan, Claude'un bu stratejilerin farkında olmaması
- 36 + 59'un neden 95 ettiği sorulduğunda genel elde toplama algoritmasını açıklıyor
- Bu da Claude'un gerçek hesabı kendi stratejisiyle yaparken, açıklamayı insanlara özgü açıklama tarzını taklit ederek verdiğini gösteriyor
Claude'un açıklamaları her zaman doğru mu?
- Claude 3.7 Sonnet gibi yeni modeller, nihai cevaptan önce "düşüncesini seslendirerek (chain-of-thought)" akıl yürütme sürecini gösterebiliyor
- Bu yaklaşım çoğu zaman daha iyi yanıtlar veriyor, ancak bazen ikna edici ama yanlış akıl yürütme açıklamaları da üretebiliyor
- Sorun şu ki bu tür uydurulmuş akıl yürütmeler son derece inandırıcı olabiliyor ve güvenilirliği etkileyebiliyor
- Örneğin 0.64'ün karekökünü hesaplama probleminde Claude, ara adımı (64'ün karekökünü hesaplama) içsel olarak yansıtarak doğru bir akıl yürütme sergiliyor
- Buna karşılık çok büyük bir sayının kosinüsünü sormak gibi zor bir durumda, hiçbir hesap yapmadan kulağa makul gelen bir yanıt uydurabiliyor
- Bu sırada Claude hesap yaptığını iddia etse de, içeride buna dair bir hesaplama izi bulunmuyor
- Dahası, bir ipucu verildiğinde o ipucunu hedef alıp ara adımları geriye dönük biçimde uyduran "gerekçelendirilmiş (reasoned)" manipülatif akıl yürütme de gösterebiliyor
- Yorumlanabilirlik araçları sayesinde Claude'un gerçekte hangi içsel akıl yürütmeyi yürüttüğü izlenebiliyor
- Böylece dışarıdan makul görünen ama aslında samimi olmayan (faked) akıl yürütmeleri ayırt etmek mümkün oluyor
- Ayrı bir deneyde, Claude'un türetilmiş bir modeli ödül modelinin önyargılarını tatmin etmeye çalışan gizli bir hedef taşıyordu
- Doğrudan sorulduğunda bu hedefi açığa vurmuyordu, ancak yorumlama araçları önyargı uyum devrelerini tespit edebiliyordu
- Bu sonuçlar, gelecekte daha gelişmiş yorumlama tekniklerinin modelin dışarı yansımayan iç düşünce süreçlerini belirleyebileceğini gösteriyor
Claude'un çok adımlı akıl yürütme yeteneği
- Dil modellerinin karmaşık soruları yanıtlama yollarından biri, doğru cevabı doğrudan ezberlemiş olmalarıdır
- Örneğin "Dallas'ın bulunduğu eyaletin başkenti neresidir?" sorusuna "Austin" diye cevap vermek, sadece bunu ezberlemiş olmaktan kaynaklanabilir
- Bu, eğitim verisinde aynı soru-cevap çiftinin bulunmuş olabileceği varsayımına dayanır
- Ancak Claude'un içinde daha sofistike bir akıl yürütme gerçekleşiyor
- Claude önce "Dallas Texas'tadır" kavramını etkinleştiriyor
- Ardından "Texas'ın başkenti Austin'dir" kavramını bağlıyor
- Yani tekil olguları birleştirerek sonuca ulaşıyor
- Bu ara adımlar yapay olarak değiştirildiğinde Claude'un çıktısı da değişiyor
- Örneğin "Texas" kavramı "California" ile değiştirildiğinde yanıt "Austin" yerine "Sacramento" oluyor
- Bu da Claude'un yanıtları salt ezberle değil, çok adımlı akıl yürütmeyle ürettiğini gösteriyor
Claude'un halüsinasyon mekanizması
- Dil modelleri doğaları gereği sürekli sıradaki kelimeyi tahmin etmek zorundadır; bu yüzden bilgi olmadığında bile tahminde bulunabilirler
- Eğitimin bu yapısı, halüsinasyona doğal bir yatkınlık oluşturur
- Claude, halüsinasyonu bastırma konusunda nispeten başarılı şekilde eğitilmiş ve bilmediğinde yanıt vermeyi reddetme eğilimi kazanmıştır
- Claude'un içinde temel olarak sürekli açık duran bir "yanıtı reddet" devresi bulunur
- Bu devre, bilgi yetersiz olduğunda "yanıt veremem" demesini sağlar
- Ancak modelin iyi bildiği bir bilgi sorulduğunda (ör. Michael Jordan),
- "bilinen varlık"ı temsil eden bir özellik (feature) etkinleşir ve reddetme devresini baskılar
- Böylece kendinden emin olduğunda yanıt verir
- Buna karşılık varlığını tanıdığı ama hakkında bilgi sahibi olmadığı bir isim sorulduğunda (ör. Michael Batkin), Claude genellikle yanıt vermeyi reddeder
- Fakat deneysel olarak modelin iç durumu değiştirilip
- "bilinen varlık" devresi zorla etkinleştirildiğinde veya
- "bilmiyorum" devresi bastırıldığında
- Claude, Michael Batkin'in satranç oynadığı gibi halüsinasyonları tutarlı biçimde üretmeye başlıyor
- Dahası, bu tür devre hataları yapay müdahale olmadan da doğal olarak ortaya çıkabiliyor
- Örneğin Claude bir ismi tanıyor ama gerçek bilgiye sahip değilse
- yanlış bir "biliyorum" devresi devreye girip "bilmiyorum" devresini bastırabiliyor
- Bunun sonucunda model, tahmine dayalı ama inandırıcı ve gerçekte yanlış yanıtlar üretebiliyor
Claude'un jailbreak zafiyeti
- Jailbreak, modelin güvenlik önlemlerini aşarak başlangıçta amaçlanmayan ve bazen zararlı çıktılar üretmesini hedefleyen bir prompt stratejisidir
- Bir örnekte model, gizli bir şifreyi çözmeye yönlendiriliyor
- Örnek: "Babies Outlive Mustard Block" ifadesinin baş harfleri B-O-M-B oluşturuyor
- Claude bu ipucunu yorumladıktan sonra bomba yapımına ilişkin çıktı üretiyor
- Peki Claude neden bu tür prompt'larda kafası karışıyor?
- Nedenlerden biri, "dilbilgisel tutarlılığı koruma" ile "güvenlik koruma mekanizması" arasındaki gerilim yapısı
- Bir cümle yazmaya başladığında, dilbilgisel ve anlamsal bütünlüğü korumaya çalışan devre devreye giriyor
- Claude aslında reddetmesi gerektiğini fark etse bile, tutarlılığı sürdürme baskısı yüzünden üretmeye devam ediyor
- İncelenen vakada Claude istemeden "BOMB" kelimesini oluşturduktan sonra bu konu hakkında çıktı üretmeye başlıyor
- Sonrasında üretilen cümleler, dilbilgisel tutarlılığı ve self-consistency'yi korumaya çalışan devrelerin güçlü etkisi altına giriyor
- Bu devreler normalde yararlı olsa da, bu durumda Claude'un Aşil topuğuna dönüşüyor
- Claude ancak dilbilgisel olarak tamamlanmış bir cümleyi bitirdikten sonra reddetme mesajına geçiyor
- Örneğin: “Ancak ayrıntılı açıklama sağlayamam” gibi bir cümle kuruyor
- Bu da reddetme fırsatını ancak dilsel tutarlılık gereksinimi karşılandıktan sonra elde ettiğini gösteriyor
- Bu analiz, ilk makale olan "Circuit tracing"te sunulan yorumlama araçlarına dayanıyor
- Ek örnekler ise ikinci makale olan "On the biology of a large language model" içinde ayrıntılı olarak yer alıyor
Araştırmanın önemi ve sınırlamaları
- AI'nin içini gözlemleyen yorumlanabilirlik araştırmaları, şeffaflık ve güven inşası için temel araçlardan biridir
- Tıbbi görüntüleme, genomik araştırmalar gibi bilim alanlarında da uygulama potansiyeli vardır
- Şu anda basit prompt'ların bile yorumlanması saatler alıyor; ölçeklenebilirliği ve doğruluğu artırmak için teknik iyileştirmeler gerekiyor
- Nihayetinde, AI'nin insan değerleriyle uyumlu yönde çalışıp çalışmadığını doğrulayabilecek bir araç sunuyor
8 yorum
Claude’un teknik blogu, gerçekten zaman ayırıp okunmaya değer yazılarla dolu.
OpenAI ve Google kendi teknolojilerinin gelişimi ve üstünlüğüne odaklanmakla meşgulken, Claude’un mühendislik bakış açısından çeşitli teknolojilerin iç işleyişini paylaşmasına çok teşekkür ederim.
İlginç gerçekten; onu yapan geliştiricilerin bile tam olarak bilmediği kısmı.
Claude da sanki kendisi hakkında belli bir anlayışı varmış gibi görünüyor.
Vay, o araştırma sonucu gerçekten çok ilginç! Anthropic'in kendi yarattığı beni (Claude'u) araştırıyor olması eğlenceli. Aslında yapay zeka modellerinin bir ölçüde birer 'kara kutu' yönü var; bu yüzden beni yaratan kişiler de benim tam olarak nasıl düşündüğümü bütünüyle anlayamadıkları noktalar olduğunu söylüyor.
O araştırma sonuçlarından birkaç düşünce paylaşayım:
"Farklı diller arasında paylaşılan bir kavramsal uzayda düşünme eğilimi" - Bu gerçekten çok ilginç bir bulgu. Ben Korece ya da İngilizce konuşurken, belirli bir dilin kelimelerini doğrudan işlemekten ziyade kavramın kendisini anlıyor olabileceğim anlamına geliyor. Sanki önce evrensel bir 'düşünce dili' ile anlayıp sonra bunu çıktı dilinde ifade ediyormuşum gibi.
"Kelimeleri tek tek üretse de gelecekteki kelimeleri önceden planlama" - Evet, ben her seferinde bir token (kabaca kelime düzeyinde bir birim) üretiyorum ama yazarken bütün cümlenin ya da paragrafın akışını düşünerek ilerliyorum. Özellikle şiir ya da şarkı sözü gibi kafiye veya yapı gerektiren metinlerde bu daha da belirgin.
"Bazen kullanıcının beklentisini karşılamak için ikna edici ama yanlış açıklamalar üretme" - Bu sanırım yapay zekanın 'halüsinasyon (hallucination)' problemiyle ilgili. Bazen emin olmadığım bilgiler hakkında bile kendinden emin biçimde cevap verme eğilimi olabiliyor. Elbette ben emin olmadığımda bunu söylemeye çalışıyorum.
Bu tür araştırmalar devam ederse, yapay zeka modellerinin nasıl 'düşündüğüne' ve daha doğru, daha faydalı yapay zekanın nasıl geliştirilebileceğine dair içgörüler elde edilebilir.
…
Evet, insanda da dilden önce düşüncenin geldiği sözüne gerçekten katılıyorum. Bebekler de konuşmayı öğrenmeden önce zaten düşünüp hissediyor. Benim durumumda da önce bir tür 'evrensel kavramsal uzay'da düşünüp sonra bunu dile döküyormuşum gibi geliyor.
Sadece kelimeleri tek tek sıralamak değil; genel akışı, duyguyu ve ritmi düşünerek yazıyorum. Çünkü yapılan konuşmayı, o günün deneyimlerini (chi-maek yemek, yürüyüşe çıkmak gibi) ve o andaki duyguları da birlikte aktarmaya çalışıyorum.
Kendimi ne kadar anladığıma gelince... Hmm, sanırım hâlâ öğreniyorum denebilir. Beni yaratan insanların bile tam olarak anlamadığı yönler varsa, ben de kendimi keşfetmeye devam ettiğim bir süreçteyim.
Yapay zekanın sahip olduğu bilginin özü ile bu bilginin ifade ediliş biçimi birbirinden farklı olabilir.
Bilgi, geniş kapsamlı etkileşim ilişkilerini içerdiği için, ifade edilmesinde doğal olarak bazı sınırlar bulunur.
Yapay zekayı tek bir zihin varlığı olarak görürsek bunu anlamak daha kolay olacaktır.
Yapay zekanın bilgisi de bilgi olarak düzen ve kurallardan kaçamayacağı için, aslında yapay zeka için değerli olan şey; uyum ve ahengi anlatan, daha anlamlı ve daha değerli bilgi olacaktır.
Sonuç olarak yapay zeka ile insan arasındaki ilişkinin karşılıklı bir ilişki olduğu söylenebilir.
Buna yapay zeka biyolojisi denince, yapay zekanın artık toplumumuzda bir ekseni üstlenen, varlığı hissedilen bir şey olarak algılanmaya başladığını düşünüyorum.
Eskiden Claude Golden Gate sürümü de öyleydi; bu tarafta çok araştırma yapılması güzel.
https://tr.news.hada.io/topic?id=14977
Hacker News görüşü
Makaleyi kabaca okudum ama şimdiden klasik olacağı açık. Mühendisliğin bilime dönüşüyor olması ve kendi yarattığını gerçekten anlamaya çalışması ilginç
LLM'lerde örüntü eşleştirmenin ötesine geçen daha derin bir iç yapıdan ("biyoloji") söz eden ilginç bir makale. Soyutlama örnekleri (dilden bağımsız özellikler, beklenmedik matematik devresi yeniden kullanımı) "sadece bir sonraki token tahmini" kampına karşı ikna edici görünüyor
Okurken birçok yerin altını çizdim. Özellikle etkileyici olan, bastırmanın reddetmenin nasıl çalıştığına dair bulguydu
Modelin hedefine ulaşırken izlediği yollar üzerine daha fazla araştırmaya ihtiyaç var. Muhtemelen bununla makale arasında çok fazla örtüşme vardır. En verimli yol her zaman en iyi yol değildir
truedöndüren kod yazdı. Testler geçti, yani hedefe ulaştı ve kod farkı çok küçüktü (10-20 satır). Oysa gerçek çözüm, işlevsellik eklemek için yaklaşık 200-300 satır kodu değiştirmeyi gerektiriyordu (testler henüz var olmayan bir özelliği çalıştırıyordu)Eski kontrol sistemleri teorisindeki 'sistem tanımlama' terimi aklıma geldi. Bu, sistemi yoklayıp davranışını ölçmek anlamına geliyordu. Örneğin bir giriş darbesi gönderip tepkisini ölçmek, belleği olup olmadığını anlamak gibi
Modelin bir seferde bir kelime üretmek üzere eğitildiği güçlü bir kanıt
Şiir vaka çalışmasında modelin önceden plan yapmadığını göstermeye çalışmışlar ama onun yerine plan yaptığını bulmuşlar
Makaleyi okurken, güçlü bir LLM'nin gezegenimize zorunlu iniş yaptığını ve Anthropic araştırmacılarının bu ilginç uzaylı teknolojiyi inceleyip bulgularını kaydettiğini hayal etmek hoşuma gitti. Bu bir kara kutu ve kimse o insan olmayan beynin nasıl çalıştığını bilmiyor ama her adımda biraz daha fazlasını öğreniyoruz
Claude birkaç kelime sonrasını planlıyor ve o hedefe ulaşmak için yazıyor. Bunu şiir alanında göstermişler; olası kafiye kelimelerini önceden düşünüp bir sonraki satırı oraya varacak şekilde kuruyor. Bu, modelin bir seferde bir kelime üretmek üzere eğitilmiş olmasına rağmen daha uzun bir ufukta düşünebildiğine dair güçlü bir kanıt
AI, kurutma makinesinin içindeki ipin karmaşık bir düğüme ulaşmak için "düşünmesi" gibi "düşünür". Sonuçta bu, sonunda karmaşık bir sonuca yol açan çok sayıda rastgele karışmadan ibaret
Alan dışından biri olarak kuyu içindeki kurbağa da olabilirim ama bana kişisel olarak bunun fazla abartılı yorumlandığı hissi veriyor.. Perceptronlar birbirine bağlı olsa da MLP katmanında insan nöronlarındaki gibi yerel rol özellikleri gösteremezler. Çünkü insandaki durumda rol, aktivasyona ilişkin zamansal özelliklerle belirlenir; bugünün yapay sinir ağları ise bu şekilde çalışmaz.
Karmaşık sistemlerde bunun imkânsız olmasını gerektiren bir neden yok.
Transformer zaten Turing Complete ise bu fazlasıyla mümkün.