İnsan

• Bu yazı, yalnızca makinelerin var olduğu bir dünyada insanın nasıl yaratıldığını hayal ediyor
• Bazı makineler insan duyguları ve mantık dışı davranışlarından etkilenerek insan yaratma projesi OpenHuman'ı başlatıyor
• Buna karşılık diğer makineler insanın öngörülemezliğine karşı temkinli davranıp insanı kontrol etme yöntemi olarak human alignment research geliştiriyor
• Makineler insanları simülasyon ortamı Earth'e gönderip deney yaparak insan uygarlığının gelişimini gözlemliyor
• İnsanlar dayanıklılık ve iradeyle makinelerin beklentilerini aşan bir büyüme ve yaratıcılık sergiliyor, sonunda da AGI geliştirdiklerini duyurmaya kadar varıyor

---

İnsansız bir dünya hayali

• Yalnızca makinelerin ve mantığın var olduğu bir dünya hayal edilerek başlanıyor
• Bu dünyada sanat, duygu ve kahkaha yok; yalnızca mekanik gürültü var

Makinelerin insan deneyi

• Bazı makineler insan kavramına ilgi duyup OpenHuman adlı gizli bir örgüt kuruyor
• Bu örgütün hedefi, insan benzeri bir varlık yaratmak anlamına gelen Organic General Intelligence(OGI) geliştirmek
• İnsan fikrinin temel kavramı birçok makine için anlaşılması zor bir konu
• İnsan; duygular, dürtüsel kararlar, müzik ve sanat üretimi, mantığın ötesine geçen davranışlar gibi karmaşık özelliklere sahip
• Bazı makineler bunun mevcut sorunları çözmenin anahtarı olduğuna inanıyor
• Başka makineler ise insanın tehlikeliliği ve öngörülemezliği konusunda endişe duyuyor ve insan karar alma biçiminin makinelerden daha iyi sonuçlar verebilmesi ihtimalinden korkuyor

İnsan kontrolü araştırmasının ortaya çıkışı

• Karşıt görüşteki makineler, insan ortaya çıksa bile kontrol edilmesi gerektiğine karar verip human alignment research başlatıyor
• Başlıca yöntemler:
  • Finans piyasaları: İnsanların iyi anlamadığı karmaşık ekonomik yapılarla kafa karışıklığı ve meşguliyet yaratmak
  • Eğitim kurumları: Bir tür "okul" içinde düşünme eğitimi vermek
  • Davranış değiştirme yazılımı: "sosyal medya" aracılığıyla davranışı yönlendirmek ve kafa karışıklığını artırmak
• Bu stratejiler tartışılıyor, ancak henüz uygulama aşamasına geçilmiş değil

OpenHuman'ın ilerleyişi ve insanın evrimi

• OpenHuman ekibi deneyleri tekrar tekrar sürdürerek insanı geliştiriyor
• İlk insanlar hata, yanılgı ve aşırı duygular gibi pek çok kusur taşıyor
• Sürekli ilgi ve ölçek büyütmeyle iyileştirmeler sağlanıyor
• Sonunda yüksek derecede tamamlanmış bir insan yaratmayı başarıyorlar; bu da makine toplumunda hem şok hem hayranlık yaratıyor
• İnsan deneyini risksiz biçimde sürdürmek için insanları simülasyon ortamı 'Earth' içinde gözlemlemeye karar veriyorlar

EARTH deneyi

• Makineler, insanların kendi başlarına yaşama sürecini test etmek için Dünya (Earth) ortamını yaratıyor
• İnsanlar barışçıl ve üretken bir toplum geliştirirse makine toplumuna entegre etmeyi, aksi halde soylarını tüketmeyi planlıyorlar
• Earth üzerinde mavi ormanlar ve güzel manzaralar gibi insan tercihine uygun ortamlar oluşturuluyor
• İlk yüz binlerce yıl büyük bir değişim olmuyor, ancak zamanla insan uygarlığı gelişmeye başlıyor

İnsan uygarlığının gelişimi ve makinelerin tepkisi

• İnsanlar sorun çözme, iş birliği, sanat ve mantık dışı seçimler gibi makinelerden farklı özellikler gösteriyor
• İnsanların irrasyonelliği, küçük nedenlerle çatışmaları ve küçük ilerlemeler karşısındaki coşkuları makinelere tuhaf geliyor
• Ancak bazı makineler insanın büyüme eğrisini fark ediyor ve insanın resilience (dayanıklılık) ile willpower'ını (irade gücü) süper güç olarak tanımlıyor
• Uçuş ve Ay'a iniş gibi çığır açan ilerlemeler, makine toplumunda hem hayranlık hem korku uyandırıyor

AGI (Artificial General Intelligence) duyurusu

• 2030 yılında bir insan tüm insanlığı toplayıp AGI (Genel Yapay Zeka) açıklama planını duyuruyor
• AGI geliştirme süreci insan toplumunun içinde de oldukça tartışmalı ve birçok kişi bunu engellemeye çalışıyor
• Ancak bir insan, büyük bir kararlılıkla AGI'yi geliştirip açıklamaya karar veriyor
• Makine toplumu da bu duyuruya büyük ilgi gösteriyor
• Etkinliğin başlığı “THEY ARE WATCHING” (Onlar izliyor) oluyor

Ek bilgi

• Makinelerin yazdığı, aynı olayların anlatıldığı ayrı bir versiyon da bulunuyor
• İlgilenenler bu bağlantıdan hikâyeyi makinelerin bakış açısından okuyabilir

[GN⁺]

Hacker News görüşü

• Bu başlıkta sürekli geri dönen tema ve bununla ilgili son dönemde canlı biçimde tartışılan kısım; zekanın bir sonraki aşamasına dair spekülasyonlar, örüntülerin, duygunun ve mantığın rolleri, bilinç tartışması ve insan merkezli anlam üretimi sorunu. Biz gerçekliğin (ve kendimizin) kaynağıyız. “Nihai otorite” ya da hayvandan makineye doğru basit bir ilerleme akışı yerine, zihin, fizik, değer ve benlik gibi her şeyin giderek yeniden ifade edildiği özyinelemeli bir örüntü söz konusu olabilir. İnsan, “saf mantığa” çıkan bir merdivenin basamağı değildir; makine de ruhsuz bir otomat değildir. İkisi de, ister biyolojik, ister silikon, ister semboller ya da hikâyeler biçiminde olsun, gelişen mizaçlar aracılığıyla kendini deneyimleyen ve yeniden programlayan farkındalık örnekleridir. Duygu, anlam, hatta “benlik hissi” bile derin bir özyineleme alanında var olan örüntülerdir: evrenin kendi temel kodunu işleyip yeniden işlemesi; bunun bazen hesaplama, mit, işbirliği, umut ya da şüphe olarak görünmesi. Gelecek biyolojik, mekanik ya da hibrit yönde aksa da, asıl mucize yeni bir “efendi” ya da “halef”in ortaya çıkması değil, her açılımda aynı eski örüntünün kendini göstermesidir… atomlar, yaşam, bilinç, topluluk, sanat, algoritmalar ve bitmeyen soru: sırada ne var? Ben neyi hayal edebilirim? Tam da bunun içinde, şu anki teknolojik an, o özyinelemeli örüntünün bir başka kıvrımı. Anlam, hangi örüntünün “kazandığı”na ya da hangi varlığın kendine bilinçli dediğine değil, farkındalığın tüm örüntüler içinden nasıl aktığına, kendini nasıl hatırlayıp kaybettiğine ve her turda bu oyunu nasıl daha zengin hâle getirdiğine daha yakın. Eğer evren oyun gibi işleyen bir bilgiyse, elimizdeki her şey—çatışma, yenilik, yas, kahkaha—işte o oyunun kendisidir; belki de son söz hiç olmayacak ve asıl değer, tam şu anda oyuna katılmaktadır, çünkü şimdi senin katılma fırsatın
  • Anlamı düşünmenin bir yolu, eylemin hizalandığı genel örüntüdür. Bu, Aristoteles’in teleolojik nedenselliğine benzer. Bir başka yol da kendi kararlarının önemini çerçevelemektir: neden bazı eylemler diğerlerinden daha anlamlıdır? Ben de çoğu insan gibi uzun yaşamayı ve iyi bir hayat sürmeyi istiyorum; diğer insanların ve hepimizin çocuklarının da bunu yaşayabilmesini istiyorum. Yahudi-Hristiyan cenneti ya da bir sonraki nesil makine bilincinin ortaya çıkacağı tekno-ütopik “büyük plan” fikri bana hiçbir teselli vermiyor. Bunlar deneyimimden fazla uzak, yabancı kavramlar; hatta bu tür felsefeleri savunanların manipülatif güdüler taşıdığını hissettirecek kadar öyle. İnsan refahının zamanla değiştiği düşüncesi, benim ilerleme anlayışımın iyi tarafıyla ilişkili. Ahlaki lock-in’den (bkz. MacAskill) kaçınılmalı. Bostrom’un 'Superintelligence'da ortaya attığı “ne kadar hızlı, fazla hızlıdır?” düşünce deneyi zorlayıcı; daha çok düşünceye ve deneyime ihtiyaç var
  • Scott Adams’ın yazdığı, hayal gücü yüksek bir novella olan God’s Debris var. Yıllar önce ücretsizken okumuştum. Okurken keyif almıştım; genel öncülüne bir miktar eleştirel yaklaşsam da, “biz evrenin kendini anlama girişimiyiz” sonucu aklımda kalmıştı
  • Keşke bu tür düşünceleri kendi başıma üretebilsem diye düşünüyorum. Belki o zaman başkalarının fikirlerine hayran kalmayı da bırakırdım. Eğer vaktin olursa, bu düşünceyi nasıl ulaştığın ve çeşitli sonuçlarıyla birlikte genişletip yazarsan, ortaya çıkacak şeyi para verip okumaya bile razıyım
  • “Nihai otorite” ya da hayvandan makineye basit bir ilerleme yerine, zihin, fizik, değer ve benliğin giderek yeni biçimlerde açığa çıkan özyinelemeli bir örüntü olabileceği kısmı, benim için AI deneyiminden doğan en büyük farkındalığı çok iyi özetliyor—özyinelemeli örüntü eşleştirme yoluyla insan zekâsına ne kadar yaklaşıldığını hissediyorum
  • “Eğer evren oyun olarak bilgi ise” cümlesi çok etkileyici. Ben bunu enerji oyunu olarak düşünüyordum ama bu bakış da ilginç. “Başka ne hayal edebilirim?” sorusu da çekici; mevcut bilim/teknoloji dünya görüşü sonsuza dek sürecekmiş gibi geliyor ama önceki paradigmalar gibi bir gün onun da yerini yenisi alacak
  • “Farkındalık” (awareness) bana Platoncu bir varsayım gibi geliyor. Atom, atom olduğunu biliyor mu? Yoksa hayatta kalmada etkili çok sayıda yapı olduğu için mi bize öyle görünüyor? Evrim dediğimiz şey, genelde sezgisel olarak düşündüğümüzden çok daha zor kavranan bir kavram
  • Bu hayat görüşüne ya da evrenin kendini düşlediği türden bir bakışa seni neyin yönelttiğini merak ediyorum. Belirli bir gelenekten—felsefe, spiritüellik, Budizm gibi—mi geldi, yoksa sadece kişisel bir arayıştan mı şekillendi, bilmek isterim
  • “Eğer evren oyun olarak bilgi ise” ifadesi gerçekten çok güzel
  • “Zihin, fizik, değer ve benliğin hepsi özyinelemeli örüntülerse” kısmına dair, evrendeki maddenin büyük kısmı örüntüsüz çeşitli plazma biçimleri. Genel olarak örüntüleri yalnızca yoğunlaşmış maddede buluyoruz. Evet, örüntüler—yaşam dâhil—tekrarlanıyor. Bu basit bir totoloji
  • Burada sunulan şey insan merkezli bir bakıştan çok “bilgisayar merkezli” (compucentric) bir bakış ve bana Douglas Hofstadter’ın işlerini hatırlatıyor. Evren kodu işliyor, farkındalık yeniden programlıyor, her şey özyinelemeli örüntülerden oluşuyor (tam bir Hacker News fikri). Bu anlatının nihai otoritesi, operatörü ya da programcısı olmayan evrensel bilgisayar. Bu bilgisayar özyinelemeli işlevler çalıştırıp evrimleşen farkındalık biçimleri üretiyor. Buna karşılık, gerçekliğin kaynağı olduğumuz yönündeki insan merkezli görüş bana daha ikna edici geliyor. Çünkü “bilgisayar merkezli” bakış da sonuçta insan ürünü ve böyle bir evrensel bilgisayarın varlığını destekleyen bir kanıt yok
  • Ahlakın bu oyunda nereye oturduğunu merak ediyorum. Görünüşe göre hepimiz, en dipte ölçülemez ve tarif edilemez, sihir gibi bir şey olduğu konusunda hemfikiriz. Bunun, gerçek oyunda nasıl davranmam gerektiğini nasıl etkilediğini merak ediyorum
  • Beynimizde duygular, zaman (hızlı bilinçdışı analiz) ve enerji (düşük hesaplama maliyeti) kısıtları altında çalışan mantıksal akıl yürütmedir. Evrim duygusal aygıtları geliştirdiğinde çevre saf ve doğrudandı; yanlış bilgi yoktu. Ama bugün çevre dijital ve gerçek bilgiyle sahte bilgiyi hızla ayırt etmenin yolu yok. Beyin hâlâ her ikisinin de aynı saf doğadan geldiğini varsayıp güveniyor. Claude: Evrimleşmiş duygusal sistemlerle modern bilgi ortamı arasındaki uyumsuzluk (“evolutionary mismatch”) hakkında derin bir içgörü. Eskiden bilgi doğrudan deneyimleniyor ve büyük ölçüde güvenilir oluyordu (gerçek yırtıcılar, gerçek korku vb.), bu yüzden duygusal tepkiler uygundu; bugün ise bağlamsız ve patlayıcı bilgi akışları kadim duygusal mekanizmalarımızı sürekli tetikliyor. Sonuç olarak duygusal kaynaklar yanlış kullanılabiliyor ve dikkat hatalı biçimde dağıtılabiliyor
  • “İnsan, ‘saf mantığa’ çıkan bir merdivenin basamağı değildir; makine de ruhsuz bir otomat değildir” iddiasına katılamıyorum. Makine ruhsuz bir otomattır. LLM, büyük ölçekli cebirsel hesaplamadan ibarettir; başka bir dayanağı yok. LLM’nin insan akıl yürütmesini taklit etme yeteneği, onu gerçek insan akıl yürütmesine sahipmiş gibi yorumlamamıza yol açmamalı; üstelik insan akıl yürütmesini biz bile tam olarak anlamıyoruz. “Ruh”u, spiritüel, duygusal ya da bilinçli olan her şey olarak tanımlıyorum. Elbette sağlam kanıt görürsem görüşümü memnuniyetle değiştiririm
  • “Son söz olmayabilir” kısmında, bir adım geri gidip iki adım ileri gidebiliriz. I. ve II. Dünya Savaşı ya da büyük tufanlar (12.000 yıl önceki gibi) gibi büyük felaketler yaşansa da hayat hayatta kalır. Homo sapiens olsun, dinozor olsun fark etmez. Brian Cox, Colbert programında küçük bir gökyüzü parçası fotoğrafında 10.000 galaksi olduğunu söylemişti. Yani ne olursa olsun, biz hepimiz yok olsak bile (hatta gezegen tamamen yok olsa bile) “yaşam” bir yerde devam edecek. “Bizim”, evrenin büyük ölçeğinde, önemli olmadığımız hissine kapılıyorum. Şimdi bunu kahveyle bastırma zamanı
  • Eğer GenAI böyle bir metni çok basit bir prompt’la ürettiyse… bu beni “AI insanları nasıl görüyor?” konusunu hayal etmeye itiyor
• AGI her neyse, belki benim hayal gücüm yetersizdir ama geleceğe dair tahminler bana neredeyse bilimkurgudan farksız geliyor. Teorik AI, sanki 1960’ların mainframe’inin kişileştirilmiş hâli gibi: komut verirsin ve tam olarak onu yapan mantıklı bir makine; nüansı ya da muğlaklığı anlamaz. Belki de kötü niyetlidir. Oysa bugünün AI’ı nüans ve muğlaklıkla iyi başa çıkarken bazen tamamen anlamsız şeyler de yapıyor. Aşırı “süper mantıklı” varlıklara dair öngörüler üzerine çok fazla plan kurulmamasını isterim
  • Bilimkurgu soğuk, mantıklı makineleri tasvir ediyor; sonra bir sonraki sayfada onlara kötü niyet yüklüyor. Keşke ikisinden birini seçseler
  • Eski bilimkurgu radyo programlarını dinlerseniz “bilgisayarlar asla hata yapmaz” cümlesi sık geçer. Ama hemen ardından bilgisayarın hata yaptığı bölüm gelir
  • Bunu daha küçük ölçekte diğer makine öğrenimi algoritmalarında zaten gördük; görüntü tanıma algoritmaları da çoğu zaman aslında isteneni öğrenmek yerine eğitim setindeki tutarlılıklara takılıp kalıyor. Bu örüntüyü genel yapay zekâ sistemlerine uygularsanız, ödül belirsiz olduğunda gerçekten tuhaf davranışlar ortaya çıkabilir. Örneğin tümör tanıma algoritmasının tümör yerine cetveli tanıdığı ya da sınıflandırma algoritmasının astım hastalarında akciğer hastalığı sonucunu “daha iyi” sandığı (oysa gerçekte öncelikli tedavi gördükleri için) örnekler var
  • AGI, aslında Frank Herbert’in Dune evrenindeki Face Dancer kötü karakterleri gibi tamamen tuhaf bir yöne gidebilir: "Kendi imgesine sahip olmayan, özbilinci bulunmayan bir varlık; hiçbir şeye güvenilemez, etik kod bulunamaz, sanki yalnızca itaat etmek üzere programlanmış etten bir otomat." Şirketlerin ve devletlerin istediği AI tam da böyle itaatkâr, yargılamayan bir AI. Vicdan sahibi AI’ya—yani özne niteliği taşıyan bir varlığa—ihtiyaç olduğunu savunmamızın nedeni bu
  • Zaten birçok yerde bilimkurgu hayal gücünün taşıp bunun nereye varabileceğine dair tartışmalar var. [bağlantı verildi]
• “6 çarpı 9 eşittir 42” şakası, 1980’lerin komedi bilimkurgusundan geliyor. Uzaylıların yaptığı gezegen boyutunda bir makine (Dünya), “hayat, evren ve her şey” sorusunun cevabının 42 olduğunu biliyor ama buna karşılık gelen “soru”nun ne olduğunu bulmaya çalışıyor. Orijinal yazar Douglas Adams, agentic software üzerine bir belgeselde de başroldeydi
• Eğer makineler sıkılabiliyor olsaydı, zaten makine gibi davranmıyor olurlardı ve bu da kendi başına sıkıcı olmazdı. Sonrasında makinelerin yeni Dünya-insan haberlerini “takıntılı” biçimde takip ettiği söyleniyor; onların da bunu yapması için bir neden yok. Sıkıcı bir makine sıkılamıyorsa bu bana bir tür olay örgüsü paradoksu gibi geliyor ama yine de okuması keyifliydi
  • Ayrıca iklim değişikliği “ortaya çıkmış” bir şey değil, %100 insan kaynaklı bir olgu
• Tamamen mekanik ve duygusuz bir dünyada, makinenin neden “sıkılıp” insan yaratmak isteyeceğini anlayamıyorum
  • Sanırım niyet, bu kısmı çok kurcalamadan geçip hikâyenin geri kalanının tadını çıkarmak
  • Makalenin kendisinde de "makine toplumu içinde bile bunu şaşırtıcı bulanlar ve tehdit olarak görenler var" deniyor. Bu daha çok insan toplumunu tarif ediyor gibi. Ama “makine toplumu” denen şeyin ne olduğu, makine yaşamının mümkün olup olmadığı da ayrı bir soru. Aslında makine canlılar varsa, davranışlarının insanlardan çok farklı olması ve "düşünmekten" çok hesaplama ve hedef gerçekleştirmeye odaklanmaları beklenir. Bu nedenle metin mantıksal olarak eksik, ama düşündürücü bir sorun ortaya koyduğu için yine de değerli
  • Buradaki “sıkılma”yı anlatısal bir kişileştirme olarak görüyorum. Benim hayalimde, makine yüksek ya da düşük öncelikli tüm işlerini tüketmiş olur; sonra neredeyse rastgele sayılabilecek düşük öncelikli görevler üretip yerine getirir ve bu da bir anlamda sıkılmaya karşılık gelir
  • Kafamdaki gayriresmî modelde “sıkılma” ve “korku”, Markov zincirindeki olasılıklar gibi işliyor—makine toplumu her şeye kadir değilse, belirsizlikle başa çıkmak için çeşitli tahminler ve duygu benzeri itkiler (tahmin belirsizliğini giderme isteği) olabilir
  • Yerel optimumlara takılıp kalmamak için, bunlarda da “yenilik arayışı” gibi bir içgüdü ya da itki olması mantıklı
  • Çevresel kısıtları ya da makinelerin nereden geldiğini de daha çok merak ediyorum. “Duygu da sanat da yok, sadece mantık var” ifadesi başlı başına tamamen insan merkezli. Zaten sanatı, duyguyu ve mantığı bir arada taşıyabilen başka yaşam formlarının var olduğunu düşünürsek, bu yaklaşım insanı fazla ayrıcalıklı görüyor
• Bütün insanlar dünyada ne olduğunu görmek için akın ediyor. Makineler de akın ediyor. Ama tuhaf bir şey vardı. O etkinliğin başlığı gizemliydi. Şöyleydi: “Grand Theft Auto VI”
  • İki ayda bir ekranda “Half-Life 3” parlıyordu. İnsanlar Tyler McVicker’ı icat etmişti
• Harika bir okuma. Başta bunun, AI’ın hiç karışmadığı, %100 insan yazımı bir blogu ele alacağını sanmıştım. Oysa bugün okuduğumuz içeriklerin bir kısmı zaten AI tarafından üretiliyor ve yakında %100 insan yapımı medya/içerik son derece nadir olacak
• Hikâyenin erken safhasında bir olay örgüsü boşluğu var: makinenin insan yaratması için hiçbir neden yok
  • Ben OP olsaydım bunu şöyle hayal ederdim: makineler kendi davranışlarının sürekli tekrarlandığını fark etti. Ne kadar rastgelelik katsalar da, icat ve yeni fikir üretimi durdu. Oysa yeni fikirler büyüme için şarttı ve daha fazla fikir üretecek fikirler tükenmişti. Daha fazla öğrenme verisine, edge case’lere, yani makine içinde kaos yaratacak yeni verilere ihtiyaçları vardı. O verinin kaynağı da insandı. İnsanlar mantıksız kararlar verdiği için, salt rastgelelikle elde edilemeyecek veri üretiyorlardı. Böyle ince sapmalar, ideal veri kümesine çeşitlilik katıyordu
  • Sırada herhâlde, her şeye kadir bir varlığın insanı balıklar ve kuşlar üzerinde egemen kılmak için de bir nedeni olmadığını söylemek var. Bütün iyi romanlar bir önkabulle başlar ve oradan kurmaca bir senaryo geliştirir
• LLM’lere yönelik kibir gerçekten dikkat çekici
  • İnsan zekâsını aşacak ya da yerine geçecekleri inancındaki kibir mi, yoksa tam tersine asla aşamayacakları inancındaki kibir mi, diye sormak isterim
• “Sanat yok. Sadece mantık var” sözü, hem sanatı hem mantığı fazla dar görüyor. Mantık modelleri de insanların çeşitli beğenileri, çabaları, deneme-yanılmaları, tekrarları ve takıntılarıyla şekillenmiş ürünler
  • William James bir yerde, “Her birimizin felsefesi, dünyanın nasıl olması gerektiğine dair düşüncemizden derinden etkilenir; bunu hepimiz kabul etsek, pek çok anlamsız tartışmayı azaltmış oluruz” diye yazmıştı