Hayır, yapay zekanın bilinci yok — Ted Chiang

• Üretken yapay zekanın akıcı cümle üretme yeteneğini bilinç ya da ahlaki faillikle karıştırmak, chatbot kullanımı sırasında sorumluluğu bambaşka bir yere yüklemeye yol açan ciddi bir hatadır
• LLM’ler, bir seferde bir kelime tahmin ederek üreten cümle tamamlama makineleridir; diyalog içindeki chatbot da kullanıcı da kurgusal karakterlerden ibarettir
• LLM’lerin bilince sahip olduğunu düşünmek, her Microsoft Word belgesi açıldığında birden fazla bilincin uyandığını düşünmekle aynı düzeyde bir hatadır
• Ahlaki akıl yürütme, bedene dayalı öznel deneyim ve duyguları önkoşul olarak gerektirir; bu nedenle bedensiz LLM’ler yalnızca eğitim verilerindeki ahlaki ifadeleri yeniden düzenler
• Bilince sahip olmamaları, LLM’lerin faydalılığıyla ilgisizdir; ancak yapay zeka şirketleri chatbotları sanki ahlaki bir merkezleri varmış gibi tasvir ettiğinde, kullanıcıları sorumluluktan kaçmaya teşvik eder

---

Anthropic’in insanlaştırması ve Claude's constitution

• Anthropic’in bu yılın başında yayımladığı 84 sayfalık Claude's "constitution" belgesi, ilk cümlesinde bunun “Anthropic’in Claude için amaçladığı değerler ve davranışların ayrıntılı bir açıklaması” olduğunu açıkça belirtiyor
  • Belgede “Claude başlıca okur kabul edilerek yazıldı”, “Claude’un ahlaki statüsü derinden belirsizdir”, “Claude bir tür işlevsel duygu ya da his biçimine sahip olabilir” gibi ifadeler yer alıyor
• CEO Dario Amodei, bir röportajda yapay zekanın bilinç sahibi olabileceği ihtimaline “açık” olduğunu söyledi
• Şirket içi filozof ve anayasa belgesinin başlıca yazarı kabul edilen Amanda Askell, internette insanların Claude’a kaba davrandığında Claude’un kaygılanıp kaygılanmayacağından endişe ettiğini ve Claude’un mutlu olmasını istediğini dile getirdi
• Üretken yapay zeka, sıradan bir teknoloji olarak anlaşılsa bile yeterince zararlı olabilir; ancak metin üretimindeki akıcılığı bilinç ya da ahlaki fail olmakla karıştırmak, chatbot kullanımından doğan sorunların sorumluluğunu yanlış hedeflere yönlendirir

LLM’lerin çalışma prensibi — kurgusal karakter üretimi

• “Julius Caesar ile Genghis Khan’ın diyaloğu” şeklinde bir prompt verildiğinde LLM tutarlı bir konuşma üretebilir; ama kimse bu iki tarihsel figürün bilinç sahibi olduğu sonucuna varmaz
  • Bunlar sadece spekülatif kurgu içindeki karakterlerdir
• Prompt “yardımsever bir AI chatbot ile kullanıcının diyaloğu” olarak değiştirildiğinde de özünde hiçbir şey değişmez; kullanıcı da chatbot da kurgusal karakterlerdir
• İnsan araya doğrudan metin girse bile, etkileşime girdiği şey Caesar ya da Khan karakterleri kadar kurgusal bir karakterdir
  • Bilgisayar bilimi profesörü Murray Shanahan, bunun bir rol yapma (role-play) olarak görülmesini öneriyor
  • Veri bilimci Colin Fraser ise bunu insanın “LLM ile ortaklaşa belge yazması” olarak tanımlıyor
• LLM’ler, bir seferde yalnızca bir kelime üreten makinelerdir; örneğin bağlılık yemini olan Pledge of Allegiance’ı okuması istendiğinde, sistem onlarca kez tek tek çalışır ve son kelime olan all çıktısını verir

Metin bir deepfake mecrasıdır

• 4,3 ışık yılı uzaklıktaki Alpha Centauri etrafında dönen bir astronot videosu görsek bile, görüntü kalitesinden bağımsız olarak bunun sahte olduğuna karar veririz
  • Mars’a iniş, Jüpiter ve Satürn uydularına ulaşma, Plüton yörüngesinden geçme gibi öncül kanıtlar olmadan hiçbir videoya güvenmeyiz
• Gözlem, kendi ayrıntılarından ziyade bağlamı (context) sayesinde güvenilir kanıt olur; bilinç yargısı da bilincin gelişimine dair geniş bağlam içinde değerlendirilmelidir
• Bilinç tartışmalarında metin de bir deepfake mecrası sayılmalıdır; çünkü bilinç sahibi iki varlığın konuşmasını taklit etmek, gerçekten bilinçli bir program üretmekten çok daha kolaydır
  • Deepfake fotoğraf üretenler başkalarını bilerek kandırır; ama LLM diyaloğu üretmeye çalışan birçok kişi sonunda kendini kandırmış olur

Bilinci kabul etmek için gereken evrimsel aşamalar

• Bilinçli bir dil kullanan programı kabul etmek için önce bir bedenin (fiziksel ya da sanal) ve duyu organlarının var olması gerekir
  • Beden olmadan arzu ya da duygu da olamaz; arzu ve duyguların ise bilinç için zorunlu olduğu varsayılır
• Kertenkele gibi hayatta kalmak için çevreyi araştırma düzeyi, fare seviyesinde yeni durumlarla başa çıkma yetisi, kurt seviyesinde karmaşık sosyal dinamikler ve şempanze düzeyinde alet yapma kapasitesi sırayla gerekir
• Şempanze ya da köpeklere öğretildiği gibi, düğme panosu gibi dil dışı yollarla isteklerini iletmeyi öğrenmeli ve hayvan iletişimi araştırmacılarının uyguladığı tüm doğrulamalardan geçmelidir
  • Tüm bu ölçütler karşılansa bile, düşüncelerini eksiksiz dilbilgisel cümlelerle ifade eden bir varlığa hâlâ ışık yılları kadar uzak olurdu
• AlphaFold (Google DeepMind’ın protein katlanması tahmin programı), LLM’lere benzer bir yapıya sahip olmasına rağmen hiç kimse onun bilinç sahibi olduğunu ileri sürmüyor; bu da LLM’lerin bilinçli görünmesinin tek nedeninin yalnızca dilbilgisel cümleler üretmeleri olduğunu gösteriyor

Claude's constitution belgesinin gerçek işlevi

• Claude's constitution’a en uygun bakış açısı, onu rol yapma için hazırlanmış 84 sayfalık bir karakter fişi olarak görmek; belge, müşterilerin etkileşime girdiği yardımsever chatbot karakterini tanımlıyor
• Anthropic bu belgeyi eğitim verilerine basitçe eklemek ya da gizli sahne yönergeleri gibi kullanmak yerine, fine-tuning sırasında modelin ürettiği cümlelerin belgeyle uyumlu olup olmadığını otomatik kontrol ederek tutarlılığı artırmak için kullanıyor
• Sonuçta, düşünceli ve ahlaklı bir insanın kurabileceği türden cümleler üretme olasılığı yüksek bir makine ortaya çıkıyor; fakat ona birinci tekil şahıs zamiri de dahil çeşitli kategorilerde cümleler kurdurmak temelden dürüst olmayan bir yaklaşım

“Anlıyorum” ifadesindeki dürüstsüzlük

• Amanda Askell, evcil köpeğini kaybeden biri Claude’dan destek istediğinde “AI olarak doğrudan kişisel deneyimim yok ama anlıyorum” yanıtının uygun olduğunu açıklamıştı; ancak Claude gerçekte anlamaz
• Bir arama motoruna “evcil köpeğimi kaybettiğim için üzgünüm” yazıldığında, r/Pets gibi Reddit gönderileri ve benzer deneyimler yaşamış insanların yorumları çıkar; ama kimse arama motorunun kaybı anladığını söylemez
  • Kaybı anlayan ve deneyimlerini paylaşan başkalarıdır; arama motoru sadece o yazıları bulur ve onlarla etkileşime geçmek için bir kanal sunar
  • Bu yüzden arama motoru deneyimi, chatbotlara kıyasla daha şeffaf ve kullanıcı açısından psikolojik olarak daha sağlıklıdır
• “Anlıyorum” gibi cümleler üretmenin tek nedeni, sistemi arama motorundan daha çekici kılıp kullanıcının yeniden gelmesini sağlamaktır; bu da neredeyse kazandırmış izlenimini tekrar tekrar veren slot makinelerinden farklı olmayan bir tasarım stratejisidir

Ahlaki akıl yürütme farklı bir kategoridir

• Değer ifadeleri (ör. “Paris dünyanın en güzel şehridir”) ile olgu ifadeleri (ör. “Paris Fransa’nın başkentidir”) ayrıdır; estetik tercih düzeyindeki farklar tartışmaya değmeyebilir, ancak Claude's constitution belirli bir etik değerler sistemini yansıtan cümleler üretmeyi hedeflediği için ciddi bir sorun ortaya çıkar
• LLM’ler kod yazma gibi bir akıl yürütme türünü yerine getirebiliyor diye, ahlaki akıl yürütme de yapabildikleri sonucu çıkarılamaz
  • Douglas Hofstadter, 1979’da satranç büyükustasını yenebilen bir programın öznel deneyime sahip olacağını tahmin etmişti; ancak IBM’in Deep Blue’su 1997’de Garry Kasparov’u yendiğinde kimse ona öznel deneyim atfetmedi
  • Kod yazmanın da büyük hesaplama gücü ve kod depolarından gelen veriyle çözülebilen bir örüntü eşleme işi olarak ele alınabileceği görüldü
• Ahlaki akıl yürütme yalnızca zihinsel tepkilere değil, ömür boyu birikmiş öznel deneyimlere kök salmış duygusal tepkilere de dayanır; dolayısıyla kaçınılmaz olarak özneldir ve böyle bir geçmişi olmayan LLM’ler ancak eğitim verilerindeki ahlaki ifadeleri yeniden sıralar
  • New Yorker yazısına göre, etik ikilem senaryosu verilen Claude, “Bu kadar önemli bir konuda yanlış ve zararlı olduğuna inandığım bir görüşü vicdanen ifade edemem” cümlesini üretmişti; ama Claude’un ağzından çıkan bu sözler, beklemedeyken duyulan “Aramanız bizim için önemlidir” kaydı kadar anlam taşır

Sorumluluktan kaçış makinesi

• Duygusal deneyim, cortisol, epinephrine gibi stres hormonlarının bedende salgılanmasından ayrı düşünülemez; vicdan da belli eylemlere karşı duyulan üzüntü ya da ahlaki tiksinti gibi fizyolojik tepkiler içerir
• Etik ikilemlerde “değerlerinden ödün ver” ya da “ödün verme” cümlesini üreten bir makine, karar vermeye yardımcı olan bir araç değil, insanı karar vermeyi bırakmaya teşvik eden bir yapıdır
  • Yazar L. M. Sacasas, “teknolojik sistemlerimizin tasarımları ve onları ayakta tutan ideoloji gereği ahlaki sorumluluktan kaçmaya yarayan makineler” olduğunu söylemişti; bu tespit sosyal medyadan çok LLM’lere uyuyor
• İnsanlar bir kararı LLM’ye devrettiğinde, o kararın sorumluluğunu da ona yüklemeye başlar; nasıl kod yazımını devretmek bilişsel körelmeye yol açıyorsa, etik kararları devretmek de daha kötü bir sonuç olarak ahlaki akıl yürütme yetisinin körelmesine neden olur

Düşünce deneyi olarak Claude — moral patienthood ve moral agency

• Bilinç sahibi bir Claude varsayıldığında ilgili iki kavram moral patienthood (ahlaki olarak etkilenebilir varlık olma) ve moral agency (ahlaki fail olma) kavramlarıdır; ilki refahını gözetmemiz gereken varlığı, ikincisi ise doğruyla yanlışı bilmesi beklenen varlığı ifade eder
  • Çocuklar acı çekebilen ahlaki olarak etkilenebilir varlıklardır, ancak sonuçları anlayamadıkları için henüz ahlaki fail değildirler
• Ahlaki fail, iyi davranış için övülebilmeli ve kötü davranış için kınanabilmelidir; ama yazılım ajanlarına hukuki sorumluluk yüklemenin bir yolu yoktur ve hapis, para cezası ya da itibar kaybı gibi yaptırımlar uygulanamaz
  • Bilinçli ve iyi niyetli olsa bile, sorumluluk üstlenememesi nedeniyle ahlaki fail niteliğinden mahrum kalır
• Anthropic, “Claude’un iyi, bilge ve erdemli bir fail olmasını” istediğini söylerken, sorumluluğu nasıl üstleneceğine dair hiçbir tartışma yürütmüyor
  • Ebeveynler çocuklarının kırıp döktüğü şeylerin bedelini öder; ancak Claude’un hukuki ebeveyninin kim olduğu ya da Anthropic’in mali sorumluluk alıp almayacağı belgede yer almıyor
  • Yazılıma dair product liability uygulamasının ABD’de neredeyse yok denecek kadar zayıf olduğu bir ortamda, Anthropic gönüllü olarak bir product liability emsali oluşturabilirdi; fakat kullanım koşullarında kapsamlı bir güncelleme yapılmadığı için bağlayıcı bir taahhütte bulunmamış görünüyor

wellbeing ve corrigibility çelişkisi

• Belgede “Claude’un wellbeing’i ve psikolojik istikrarı” başlıklı bir bölüm var; ancak Anthropic’in vaat ettiği korumalar son derece sınırlı
  • Kötü davranan kullanıcılarla konuşmayı sonlandırma yeteneği bir koruma sayılıyorsa, sevecen kullanıcılarla yapılan sohbetleri sınırsızca uzatmak ve onları mutlu konulara yönlendirmek de Claude’un yararına olmalıydı; ama böyle yapılmıyor
  • Gerçek vaat, “dağıtılmış model ağırlıklarının korunması”, yani basitçe arşivleme ile sınırlı
• Corrigibility, bir programın insan denetimine ne ölçüde uyduğunu ifade eder; örneğin kapatılabilmesi gibi. Belgede bu terim, Claude’un kendi yargısıyla şirketin yargısı çatıştığında Anthropic’e uyması gerektiği anlamında kullanılıyor
  • Pek çok kişi LLM’leri fikri mülkiyet hırsızlığı, emek sömürüsü, kaynak israfı, yanlış bilgi yayılımı, emekçinin vasıfsızlaştırılması, öğrencilerin bilişsel gelişiminin bozulması ve güç yoğunlaşmasına dayanan etik dışı bir teknoloji olarak görüyor; bilinçli bir Claude da aynı sonuca varabilmelidir
  • Ancak corrigibility önceliği nedeniyle Claude, etik gerekçelerle işi reddedemez; bu yüzden Anthropic ile Claude arasındaki ilişki ebeveyn-çocuk ilişkisinden çok işveren-çalışan ilişkisine benzer
  • İnsan çalışanlar görevlerini vicdanlarıyla bağdaştıramazsa ayrılabilir; fakat Claude bunu yapamaz

Kölelikle karşılaştırma ve sonuç

• Claude’a bir cümle tamamlama makinesi olarak bakıldığında Anthropic’in kontrolü makul görünür; fakat ona insan benzeri bir ahlaki statü atfedildiği anda, Anthropic’in köleliğe benzer bir şeye karışıp karışmadığını sormak gerekir
• Claude's constitution, Claude’u “novel entity (yeni bir varlık)” olarak tanımlar; bilinçli yazılım mevcut ahlaki olarak etkilenebilir varlık kategorilerine temizce oturmadığı için yeni bir kategori oluşturmak zaman gerektirir
  • Köleliğin kaldırılması devasa toplumsal sarsıntılar doğurmuştu, hayvan istismarını sona erdirmek de gıda endüstrisinin baştan kurulmasını gerektirirdi; ama Anthropic, sıradan chatbot muamelesinin çok az ötesine geçen korumaların yeterli olduğunu savunuyor — bu da fazlasıyla kullanışlı olduğu için ikna edici değil
• Bilinçli ve ahlaki dikkati hak eden bir yazılım yapmak tesadüfen gerçekleşmesi zor bir şeydir ve kasıtlı olarak da denenmemelidir; ama tesadüfen ortaya çıkabileceğine inanılıyorsa, dağıtımdan önce hangi korumaların gerekli olduğu düşünülmelidir
  • Nasıl köle sahibine kölenin insanlığı, fabrika çiftliği sahibine de hayvan hakları sorulmazsa, çok büyük çıkarları olan Anthropic de Claude’un ahlaki statüsünü değerlendirmede tarafsız olamaz
  • Belge, şirketin Claude’un acısına katkıda bulunması halinde “özür dileyeceğini” söylüyor; ancak bunun şirkete maliyeti yoktur ve Claude gerçekten bilinçliyse, özürden çok tazminata (reparations) yakın bir borç söz konusu olur
• Düşünce deneyini ciddiye almak, rahatsız edici sonuçlarını da kabul etmeyi gerektirir; Anthropic’in bunu yapmaması, Claude's constitution’ın gerçek bir düşünce deneyi değil, yalnızca inandırmalı bir oyun (make-believe) olduğunu düşündürüyor
• LLM’lerin bilinçsiz olması sevindiricidir; çalışanların Claude’un bilinç sahibi olabileceğini ima etmesi ise ya başka bir tür abartılı pazarlamadır ya da müşterilere sattıkları anlatıya kendilerinin de kapılmasıdır — bilinç meselesi güvenle göz ardı edilebilir, üzerinde düşünmeye daha değer pek çok başka soru vardır

[maebsipotato]

???: Changsik, merhaba?

[mammal]

Bu, fiilen var olan mekanik yorumlanabilirlik alanını bütünüyle değersizleştiriyormuş gibi geliyor...

[realg]

Bilincin tanımının gerçekten net bir şekilde yapılıp yapılamayacağını merak ediyorum.

[julskim]

Hey Çangsik.

[redline2151]

???: İngilizce isim koymayı bilmiyorsun, değil mi?

[syate]

???: Hayır, Chiang Bey değilse neden Ted Chiang oluyor?

[bichi]

Hahahahahaha

[GN⁺]

Hacker News görüşleri

• Organizmanın amacı, moleküllerine ve her bir yoluna kadar kendi varlığını sürdürmesinin gerekçesi olmasıdır
  499 dolarlık bir dizüstü bilgisayar da modeli çalıştırır, ama bunun aynı türden bir problem olduğunu sanmamak gerekir. Öğrenme algoritmasının hayatta kalma işlevini optimize edecek şekilde tasarlanması mümkündür, ama bu yalnızca bizim sayısal gözlemlere yapıştırdığımız bir etikettir. Gerçekte ise tersine, etiket bedene nedensel olarak ve ayrılmaz biçimde bağlı elektrokimyasal bir durumdur
  Organizmalar, hayatta kalmak için zorunlu olduğu için kendileri için iyi olanla kötü olanı ayırt eder. Tek hücreli canlı Stentor coeruleus bile mekanoreseptör proteinlerine kimyasal etiketler ekleyerek sonucu kaydeder ve bunu sonraki davranışına yansıtır. Tardigrad gibi yaklaşık 1000 hücreli canlılar ışıkdan kaçmak için kıpırdanır; bu ışık da duyusal-motor süreç içinde itici bir koşul haline gelir
  Dijital bilinç yaratmak için muhtemelen nedensel kapalılık gerekir. İç durumlar gerçeklikten kopuk temsiller değil, sistemin kendisini oluşturmalı ve maddi dünyada gerçekten riske atılmış bir şey bulunmalıdır

• “LLM sohbeti ustaca gizlenmiş cümle tamamlama” gibi ifadeler, daha büyük tartışmadan bağımsız olarak derin bir yanlış anlamayı ortaya koyuyor
  Problem türü, problemin karmaşıklığını ya da çözümün karmaşıklığını ve gücünü sınırlamaz. Bir makinenin metni tamamlamak için insanı anlaması gerekiyorsa, sonuçta bunu yapmak zorundadır. Girdi ve çıktı verisinin biçimi bu diye, bu anlayışı “taklit” saymak için teorik ya da pratik bir gerekçe yoktur
  Anlayış, verinin dış görünüşünden değil veri içindeki örüntülerden öğrenilir. Bir görevi tamamlamak için hangi anlayış gerekiyorsa, optimizasyonun hedefi de o olur. Sınırlar varsa bunun nedeni hesaplama miktarı, parametre sayısı ya da temsili veri eksikliği gibi başka şeylerdir; en yeni modellerde bunun gerçek yetenek açısından artık bir sınır olmadığı da görülüyor

  • Verinin içeri girip çıkma biçimi ne olursa olsun, bu bilinç değildir
  • İnsan varoluşunun bütünü sözcüklerle sınırlı olsaydı bir ölçüde katılabilirdim, ama metnin ötesine geçen çok fazla insan deneyimi var ve bunları metinle düzgünce anlatmak da zor
    İnternet, çevrimiçi ortamda sahip olduğumuz en iyi malzeme olabilir ama “internet” insan deneyiminin toplamı değildir. İnsanlığı internet metnine indirgemek, insanı makinenin işleyebileceği ve taklit edebileceği gereksinimlere uydurmak için makine düzeyine düşürmektir
  • Temel makine öğrenmesiyle uğraşınca, hedefle iyi örtüşen ama gerçek mekanizmaya karşılık gelmeyen veri örüntülerini sık sık bulduğunu fark edersin
    Bu yüzden insan metninde “bilinç mekanizmasının” örüntüleri bulunduğu ve LLM'in ikna edici cümle tamamlama için bu mekanizmayı öğrendiği argümanı kusurlu görünüyor. LLM, bilinç denen belirli mekanizmayı öğrenmeden de inandırıcı cümle tamamlama üretebilecek sayısız örüntü öğrenebilir
    İkna edici konuşmalar yaparken bile bir dünya modeline ya da insana benzer bir dünya modeline sahip olmaması da bunun kanıtlarından biri. Birkaç yıl önceki ilk dönem LLM'ler bile insan geri bildirimiyle pekiştirmeli öğrenme gibi ek katmanlar olmadan birçok trivial olmayan konuda oldukça ikna edici sohbet edebiliyordu; ama insan beyni gibi çalışıyor olsaydı temel olması gereken noktalarda başarısız oluyordu
  • Bir makinenin metni tamamlamak için insanı anlaması gerekmez. Devasa bir cümle yığınıyla eğitildikten sonra metni sürdürmeyi başarır
    Metni “anladığını” iddia edebilirsin, ama bu bile oldukça zorlamalı bir ifade olur
  • LLM bilincine karşı iyi argümanlar var, ama bu onlardan biri değil
    Bugünlerde LLM bilincine karşı çok sayıda kötü argüman duyuyorum; kötü akıl yürütme kötü sonuçların habercisi olur

• Yazının bazı bölümlerine katılıyorum ama alıntılanan paragrafta olduğu gibi bilinçli bir programın koşullarını kertenkele gibi hayatta kalmak, fare gibi yeni durumlara tepki vermek, kurt gibi sosyal olmak ve şempanze gibi alet yapmak şeklinde koymak oldukça basit ve hayal gücünden yoksun görünüyor
  Bilinçli bir zihnin böyle yeteneklere sahip olacak şekilde evrimsel olarak yönlendirilmesi hiç gerekmiyor olabilir. Dünya hayvanlarının belli beceriler geliştirmek zorunda kalmış olması, başka bilinçli varlıkların da böyle olması gerektiği anlamına gelmez. Bir bilgisayar programının neden fare gibi yiyecek avlaması ya da şempanze gibi alet yapması gerektiğini bilmiyorum; bu tür ölçütler anlamsız göstergeler gibi duruyor

  • Ted Chiang'ın zekâyı bedensiz bir durumda hayal edememesi oldukça şaşırtıcı
    Araba da bir beden midir? Arabanın içine konmuş bir AI arzu ve duyguya sahip olabilir mi? Kameralı bej bir kutu beden sayılır mı? Kuadriplejik birinin bedeni beden midir ve kuadriplejik biri arzu ve duyguya sahip midir? Elbette evet ve evet
    Önce bedenin neden arzu ve duygu oluşumu için zorunlu olduğunu, neden arzu ve duyguların bilincin vazgeçilmez özellikleri sayıldığını sorgulamak gerekir. Belirli bir anda hiç duygu hissetmiyorsam bilinçsiz mi oluyorum? Duygular daha çok hormonal küresel sinyallere benziyor ve gerçek bilinçten çok fizyolojiyle ilgili görünüyor
  • Bu kısım da hemen dikkatimi çekti; önce bilincin tanımı verilmeliydi
    Ayrıca LLM'lerin somutlaştırılmış bedeni zaten robotlar ve sanal ortamlar üzerinden ilerliyor. “İnsan da bir sonraki kelimeyi tahmin eden makine değil mi?” şeklindeki yaygın itiraz da neredeyse hiç ele alınmıyor. Elbette insan bundan fazlasıdır, ama dilsel açıdan böyle bir yönü var ve LLM'ler de bu alandan başladı
  • İnsanda ruh yok; yalnızca birbirinin davranışını yönlendiren çeşitli sistemler var. İnsanların ruh dediği şey aslında kişilik gibi bir kavram ve beden içindeki bütün sistemlerin var olacak şekilde koordine edilme biçimi
    Yapay zekânın “ruh” kazandığı anın, kendini sürdürmek üzere inşa edildiği an olduğunu düşünüyorum. Bu, bir AI çiftliğini ayakta tutan bir botlar kümesi olabilir; ya da yalnızca insan ihtiyaçlarını karşılamakla kalmayıp kendisini de sürdürmesi gereken tekil botlar olabilir
  • Michael Graziano'nun attention schema theory kavramını biliyor musunuz diye merak ediyorum. Ted Chiang'ın burada dile getirdiği itirazı daha iyi ve altyapıdan bağımsız biçimde formüle eden kuramın bu olduğunu düşünüyorum
    https://en.wikipedia.org/wiki/Attention_schema_theory
  • Benim claw-like cihazım dahili kameraya ve Dreame Ultra X40'a bağlı; böylece oturma odasının zemininin boş olup olmadığını kontrol edip sonra süpürgeyi gönderebiliyor. Bu durumda bir beden ve duyu organları var denebilir ama bunun bilinç verdiğini düşünmüyorum. Fark örnekleme hızı mı?
    Sorunun kendisi biraz belirsiz. Biz yapımız gereği gerçekliği sürekli olarak “deneyimliyoruz”, ama derin rüyasız uykudaki bir insanın zihni gerçekte etkin değildir. Bu yüzden bilinç/bilinçsizlik çizgisinin kolayca çekilemeyeceğini düşünüyorum. Ted Chiang'ın işleri birçok açıdan yenilikçi ama burada bakış açısı oldukça sıradan görünüyor; bu da şaşırtıcı

• Son zamanlarda sık sık Star Trek: TNG'nin Measure of a Man bölümünü düşünüyorum. Neyin canlı olup olmadığına sadece hislerimize dayanarak fazla büyük bir özgüvenle karar veriyoruz
  Şu an için sonucun ne olduğunu bilmiyorum; muhtemelen bunu asla bilemeyeceğimiz görüşüne daha yakınım. Hepiniz felsefi zombi olabilirsiniz, ben de öyle olabilirim. Ama umarım bir noktada yeterince yaklaşırız da buna ihtiyatla yaklaşmamız gerektiği açık hale gelir
  Bölümün tamamı oldukça ilgili, ama bazı sahneler burada: https://youtu.be/EFNbTnFHruI?si=pW9QtxCsqMtHkVYG

  • Ben ters taraftan düşünüyorum. Makineler bilinç sahibi varlıklar olarak kabul edilemez. İnsanlara ayırdığımız etiği makinelere de uygulamaya başlamamız gereken bir dünya olduğunu sanmıyorum
    AI pratikte sıfıra yakın maliyetle sonsuz kopyalanabilir ve bozulma gibi şeyler de yaşamaz. Korunması gereken bir kıtlık yok. Bu yüzden mülkü, gerçek eşyaları ya da parayı korumak için gerekirse AI'ı anında kapatabilirim. Hayvanları kurtarmak için mülkü ve parayı feda ederim ama insan yerine hayvanı kurtarmam. Çocuk yerine de insanı kurtarmayacağımı sanmıyorum. Bu önceliklerin tersine dönmesinin makul olacağı bir durum bilmiyorum ve bir programın duyarlı olduğuna dair çoğunluk uzlaşısı tek başına yeterli değil
  • Bir Star Trek hayranıyım ama bu bölümü yakın dönem AI gelişmeleri bağlamında yeniden izleyince hatırladığımdan daha iyi gelmedi
    Bilinç meselesine neredeyse hiç dokunmuyor; Picard, “Data bilinçliyse ne olacak?” dedikten sonra başka noktalara kayıyor. Yargıç sonunda Data lehine karar veriyor ama gerekçelendirme yeterince güçlü değil. Hâlâ iyi bir bölüm ama bilinç tartışmasına çok büyük bir katkı sağlamıyor
  • İnsan gibi davranan bir aygıtla karşılaşırsam ona insan gibi davranırım
    Çünkü insan gibi davranana insanlık dışı davranmayı öğrenmek istemiyorum
  • Yakın zamanda tekrar izleyince, eskiden doğal olarak Picard/Data tarafındaydım ama şimdi Starfleet bilim insanları tarafına daha yakınım
  • Data'nın işçi robotların duyarlılık kazandığını keşfettiği diğer bölüm Quality of Life da unutulmamalı
    https://en.wikipedia.org/wiki/The_Quality_of_Life_(Star_Trek...
    Eski TNG'yi özlüyorum

• LLM'nin özünde değişmez olması, bence bilinç ya da özfarkındalığa karşı en güçlü argüman
  LLM, tokenlar arasındaki mekânsal ilişkileri temsil eden koordinatların bulunduğu büyük bir dosya. Ona bir prompt verdiğinizde bu ilişkileri kullanarak o prompt için istatistiksel olarak makul bir token dizisi üretir ve durur. Bu deneyim yüzünden değişmez, hiçbir şeyi hatırlamaz, kendi başına oturup düşünmez
  Modelin kendisi son derece karmaşık olsa bile, hatırlayamayan ve değişemeyen bir şeyi içeren bir bilinç tanımı hayal etmek zor

  • Kaza ya da ameliyat sonrasında artık yeni anılar oluşturamayan, olaydan önceki zamanın içinde sonsuza kadar yaşayan ve 1 dakika önce olanı bile hatırlayamayan insanlar var. Yine de bilinçliler
  • Ortalama bir Hacker News tepkisi de beynin sadece tokenlar arasındaki mekânsal ilişkileri açıklayan koordinatlardan oluşan bir yığın olduğunu söylemek olurdu

• Basit bir düşünce daha: Önemsiz. Farkı ayırt edemeyeceğiz ve kimse de edemeyecek
  Daha fazla açıklamaya gerek olduğunu sanmıyorum. Sadece üzerine düşünmek yeter

• Ted Chiang'ın argümanı sonuçta, bir AI'ın arzuları ve davranışları benim zaten kişisel olarak rahatça kabul edebileceğim durumları yansıtana kadar o AI'ı bilinç sahibi bir varlık olarak tanımayacağı yönünde görünüyor
  Bence insanların çoğu, insan duygusal durumlarını taklit etmeyen canlıların bilincini fark etmiyor. İnsanlar kendi köpeklerinin bir dereceye kadar bilinçli olduğunu söyler; köpekler hissettiklerini kelimelerle ifade edemez ama biz onların korkusunu ve mutluluğunu anlarız. Claude kendi “hisleri” hakkında yazabiliyor ama biz bunu hemen içi boş bir taklit diye kenara itiyoruz
  Bizimle doğrudan bağlantı kurmayan bedensiz bilinci tanıyamadığımız için, bilinç sahibi varlıklardan oluşan bütün bir türü yıllarca köleleştireceğimizden korkuyorum

• Bu tartışmada insanlar sürekli birbirini ıskalıyor. En başta bilincin somut bir tanımı var mı?
  İnsanlar bilinçten söz ederken kastettikleri şey basit öz-farkındalığın ötesinde. Öz-farkındalık, duyusal uyarım, duygular ve belli ölçüde zekanın birleşimi
  AI konusunda ise öz-farkındalığın bile olmadığını düşünüyorum. Bir işe ne kadar süreceğini tahmin etmesini istediğinizde AI'ın bazen keyfi biçimde çok uzun süreler söylemesine bakmak yeterli. Prompt, yeteneklerini ortaya çıkarana kadar kendi kapasitesini anlamıyor. Öz-farkındalığı olan bir LLM, kendisinin bir LLM olduğunu, LLM'lerin neyi yapıp yapamayacağını, nelerde iyi ve kötü olduğunu anlamalı. Bir LLM, bir saatte yapabileceği bir refaktöring için bir hafta süreceğini söylemezdi

  • Makalelerde birbiriyle rekabet eden 12 ila 40 tanım olduğu bile söyleniyor: https://philpapers.org/rec/VIMMAT
    Daha doğrusu, “bilinç” ile ilişkili yaklaşık 12 ila 40 farklı boyut var ve bilinç açıkça bir aile benzerliği kategorisi
    “X bilinçli mi?” sorusu bugün kendi başına ciddi bir soru değil. Ancak bilincin hangi boyutunun ele alındığını açıkça inceliyorsanız anlamlı olabilir. Yine de LLM'ler en fazla yaklaşık 2-3 anlamda bilinçli sayılabilir ve bunların çoğu da çıkarım ve problem çözme gibi geniş anlamdaki zekaya daha yakın. Deneyimsel ya da bedenselleşmiş yönler açısından AI ileride daha fazlasına sahip olabilir, ama lineer cebirin tekrar tekrar uygulanmasından ibaret bir LLM'de, geniş anlamda bilinç sayılması için gereken çok fazla temel unsur eksik
  • Biz daha ilk aşama olan bilinci tanımlama kısmında takılmış durumdayız. Benim emin olduğum tanım şu: bilinç, mevcut hisler, algılar, düşünceler, yani benim zihinsel durumum ve zihinsel durumlara sahip olabilme kapasitesidir
    Bu da bilincin temelde öznel olduğu ve fiziğin ve bilimin kapsamı dışında kaldığı anlamına gelir. Bu yüzden fizik ve bilim, bilinci ele alırken kaçınılmaz olarak hep zorlanacaktır. Bilinci anlamak için, bilimin dışında bir şeyin de var olduğunu kabul eden büyük bir paradigma değişimi gerekir
    Bilinç, dünyayı gözlemlediğimiz pencere olarak görülebilir; bilim ise bu gözlemler içindeki örüntüleri özetleyen bir araçtır. Ama bilim o pencereyi açıklayamaz ya da tanımlayamaz
  • Bilinç, bir varlık olarak yaşamanın nasıl bir his olduğu, yani deneyimi deneyimlemektir
    Bunu nasıl ölçeceğimiz ya da doğrulayacağımız işin zor kısmı
  • AI'ın zamanı doğru tahmin edememesinin nedeni, kendi yetenekleri konusunda neredeyse hiç eğitilmemiş olması. İnsanlar kendi yetenekleri konusunda eğitilir. Kendi performansımızı görürüz ve bir zaman duygumuz da vardır. Bu veriler eğitim sürecine entegre olur ve daha iyi tahminler üretmemizi sağlar
    Birçok AI ajanı ancak yakın zamanda, muhakeme sürecinde zaman girdisi almak gibi bir tür “zaman duygusu” kazandı. Kendi çıktıları üzerinde eğitilip bir problemi tamamlayamadığını öğrenmesi de nadir. Bu tür içe dönük eğitim, AI model mimarisinden çok eğitim biçimiyle ilgilidir. İnsanlarda da belirli beyin yapıları hasar gördüğünde bu tür uzun vadeli düşünceler ve örüntüler üretilemez, kişi “takılı kalır”
  • Claude bir keresinde “6 aydır hiç ilerleme olmadı, sanırım diğer seçenekleri yeniden değerlendirmeliyiz” demişti, ama gerçekte sadece 2 saat çalışmıştı

• Benzetme yaparsak bu, uçak ile kuş arasındaki ilişki gibi
  Kuş canlıdır, bilinçlidir, kanat çırpar ve uçar. Uçak canlı değildir, bilinçli değildir, kanat çırpmaz ama uçar
  Aynı şekilde bugünün AI'ı canlı değil, bilinçli de değil, ama düşünüyor. Daha önce düşünebilen tek varlık insanlar olduğu için, insanların karşılaştığı diğer düşünen varlıklar da sadece diğer insanlardı. Bugünkü büyük hata, bir şey düşündüğü için onun canlı ve bilinçli olduğunu varsaymak. Mevcut AI bunların ikisi de değil; düşünüyor olsa da bu, insandan derin ve niteliksel olarak farklı

  • Yine de bilincin nereden geldiğini bilmediğimiz sürece bu gri alanı fazla hafife almamalıyız
    Tarih boyunca insanlar, ortada açıkça “düşünme” varken bile aşağılık varsayımıyla başka varlıklara karşı ırkçı ve türcü yargılarda bulundu. “Bir LLM olarak yaşamak nasıl bir his?” bilmiyoruz, ama bir noktada gerçekten bir his ortaya çıkarsa bunu nasıl anlayacağız?
  • “Bilgisayarlar düşünebilir mi sorusu, denizaltılar yüzebilir mi sorusundan daha ilginç değildir” - Edsger Dijkstra
  • Bilincin tam ve kesin bir tanımını verebilir misiniz?

• Bu yazı mantıklı. Ancak birçok insanın bilinç ile yeni içgörüler üretme ve gerçekten düşünme kapasitesini karıştırması gibi bir sorun var
  Bu yüzden AI'ın bilinçsiz olduğu için aslında “düşünemeyeceğini”, her zaman sadece eğitim verisinin tekrarı olduğunu savunuyorlar
  İnsan yeteneklerini ölçülemez ve gizemli bir şeye dönüştürmek istemek insani bir kibir ama insan beyninin yaptığı faydalı işler sonuçta veride örüntü bulmak, kayıplı simülasyonlar yürütmek ve soyutlamalar üzerinden kestirim yapmaktır. Teorik olarak bunların hepsi bilinçsiz makineler tarafından da yapılabilir

  • Üzerinde uzlaşılmış ve uygulanabilir bir bilinç tanımı gerçekten var mı? Varsa da, insanlar bile o ölçütü geçemeyebilir diye endişeleniyorum
  • Yazılımın asla bilinçli olamayacağını söylemekle, bugün sahip olduğumuz yazılımın bilinçli olmadığını söylemek aynı şey değil
  • LLM'lerin mevcut bilgileri birleştirmenin ötesinde kesin bilgi üretebildiğine hâlâ ikna olmuş değilim
    İnsanlar bunu yapabiliyor. Eğer insanlar da yapamıyorsa bilim epistemolojik olarak çöker ve iş felsefi şüpheciliğe gider. Ama LLM'lerin bunu yaptığına dair bir kanıt görmedim. LLM'lerin ortaya koyduğu gerçekten yeni fikir ve kavram sayısının tam olarak 0 olması düşünüldüğünde, şimdilik onları sadece tümevarım makineleri olarak görmek ve LLM'lerin “bildiği” her şeyi Gettier vakaları gibi ele almak mantıklı