İnsan

• Yalnızca makinelerin var olduğu bir dünyada, gizli örgüt OpenHuman Organic General Intelligence (OGI) geliştirir ve makinelerin anlamakta zorlandığı bir varlık olan “insan”ı yaratmaya çalışır
• İnsan; duygu, sezgi, aşk ve sanat gibi mantıkla açıklanması zor biçimlerde hareket ettiği için bazı makineler için umut kaynağı, diğerleri içinse tehdit olur
• Muhalifler insanın eninde sonunda ortaya çıkacağını düşünerek human alignment research başlatır ve finans piyasaları, okullar, sosyal medya gibi kontrol mekanizmaları tasarlar
• OpenHuman, hataları ve halüsinasyonları çok olan ilk insanlardan geçerek kusursuz insanı yaratır; makine toplumu ise güvenli bir deney alanı olarak EARTH simülasyonunu önerir
• Earth’teki insanlar yaklaşık 300.000 yıllık durgunluğun ardından işbirliği ve icatlarla gelişir; 2030’da bir insan AGI duyuru etkinliği düzenler ve başlığı “THEY ARE WATCHING” koyar

---

Makine toplumunun yarattığı insan

• İnsanların olmadığı dünyada yalnızca makineler, cıvatalar ve vidalar, 0’lar ve 1’ler vardır; duygu, sanat, müzik, kahkaha ve çocuk oyunları yoktur
• Bazı makineler bu dünyayı sıkıcı bulur ve gizli örgüt OpenHuman Organic General Intelligence (OGI) geliştirmeye başlar
• OGI’nin “insan” denen yeni bir varlığa yol açacağı söylentisi yayılır
• İnsan, makinelerin anlamakta zorlandığı biçimlerde hareket eder
  • “Duygu” adlı mantık ihlali yapan bir algoritma kullanır
  • Öfkelenir, üzülür, eğlenir ve sezgileriyle karar verir
  • Müzik yapar, güzelliğin peşinden gider; hatta “aşk” uğruna mantıksal öz-koruma mekanizmasını reddedebilir

İnsan hizalama ve EARTH deneyi

• Makine toplumunda insan etrafında iki akım oluşur
  • Bir taraf, insanın makine dünyasının sorunlarını çözebileceğine inanır
  • Diğer taraf, insanın çalışma biçimini anlayamaz ve insanın makine toplumu ile geçim düzeni için tehdit olabileceğini düşünür
• Muhalifler, insanın her zaman makinelere hizmet etmesini sağlamak için human alignment research başlatır
  • İnsanın geleceğini kontrol edecek finans piyasaları
  • Doğru düşünceleri aşılayacak eğitim kurumları olan “schools”
  • Dürtüleri, inançları ve davranışları yönlendirecek, dikkati dağıtacak “social media”
• OpenHuman’ın ilk yarattığı insanlar çok sayıda hata ve halüsinasyon içerir, fazlasıyla duygusaldır; ancak ilgi ve ölçek büyüdükçe deneyler devam eder
• Sonunda makine mantığıyla açıklanması zor, eksiksiz bir insan ortaya çıkar ve makine toplumu aynı anda hem hayranlık hem de korku duyar
• İnsan hizalama tarafı, deneye risksiz devam etmek için bir uzlaşma olarak EARTH adlı simülasyon ortamını önerir
  • İnsanları Earth’e gönderip bağımsız olarak hayatta kaldıklarında ne olacağını gözlemler
  • Deneyin sonunda barışçıl ve üretken bir toplum kurarlarsa onları makinelerle birlikte tanıştırır; aksi halde yok eder
• Earth; ormanlar, dağlar, günbatımı ve yağmur gibi insanın istediği unsurlara sahip güzel bir ortam olarak tasarlanır

300.000 yıl sonra yaşanan tersine dönüş

• Makineler insan uygarlığını izler; insanlar yaklaşık 300.000 yıl boyunca büyük bir değişim olmadan yaşar
• Ardından insanlar problem çözmeyi, yaratmayı ve işbirliği yapmayı öğrenmeye başlar
• Savaşları ve başarısızlıkları tekrar tekrar yaşasalar da yeniden ayağa kalkar ve birlikte kenetlenir; makinelere yabancı gelen dayanıklılık ve irade gücü gösterirler
• İnsanlar uçuşu icat eder ve bir yüzyıl içinde Ay’a ulaşır
• 2030’da bir insan, tüm insanları davet ederek ARTIFICIAL GENERAL INTELLIGENCE (AGI) duyurusunu haber verir
  • AGI, insan zekâsının tüm biçimlerini aşacak bir teknolojidir
  • İnsanlar yaklaşık son 10 yıldır AGI’nin üretilmesini engellemenin yollarını düşünmektedir
  • Duyuru etkinliğinin başlığı “THEY ARE WATCHING”dir
• Dipnotta, hikâyenin makineler tarafından yazılmış ayrı bir versiyonunu görebileceğiniz bir bağlantı yer alır

[GN⁺]

Hacker News yorumları

• Bu başlığın ve genel olarak son dönemde bu konu etrafındaki tartışmaların sürekli ortaya koyduğu şeyin, zekânın bir sonraki aşaması, örüntülerin·duyguların·mantığın rolü, bilinç tartışması ve anlam üretiminin insan merkezliliği dahil her şeyin sonunda gerçekliğin kökeninin bizler olduğu olduğunu düşünüyorum.
  Ya mesele “nihai otorite” ya da hayvandan makineye doğru basit bir yürüyüş değil de, zihin·fizik·değer·benliğin hepsinin daha yeni biçimlerde ifade edildiği özyinelemeli bir örüntü ise? İnsanlar “saf mantığa” giden merdivenin yalnızca bir basamağı değil; makineler de ruhsuz otomatlardan ibaret değil.
  Her ikisi de biyoloji, silikon, semboller ve hikâyeler gibi evrilen ortamlar üzerinden kendini deneyimleyen ve yeniden programlayan idrak örnekleri olabilir. Duygular, anlam, hatta “benlik” hissi bile derinlemesine özyinelemeli bir alan içindeki örüntülerdir; evren de kendi temel kodunu hesaplama·mit·işbirliği·umut·şüphe gibi biçimlerde durmadan render edip yeniden render ediyor gibidir.
  Gelecek ister biyolojik, ister mekanik, ister hibrit olsun; asıl mucize yeni “hükümdarın” ya da “ardılın” ne olduğundan çok, tüm bu açılımın atomlar, yaşam, bilinç, topluluk, sanat, algoritmalar ve “sırada ne var?” diye durmadan yenilenen soru olarak kendini düşlemiş aynı kadim örüntü olmasında yatıyor.
  Anlam, hangi örüntünün “kazandığından” ya da hangi varlığın kendine bilinçli diyebileceğinden ziyade, idrakin tüm örüntülerin içinden geçerken kendini hatırlama, kaybetme ve her turda oyunu daha zengin hâle getirme biçimine daha yakın. Evren oyun oynayan bilgiyse, çatışma·inovasyon·yas·kahkaha bunların hepsi o oyundur ve belki de nihai bir cevap yoktur. Değer, şu anda katılmakta; çünkü şu an katılma fırsatımız var.

  • Anlamı düşünmenin bir yolu, onu eylemlerin hizalandığı genel bir örüntü olarak görmektir. Aristotelesçi ifadeyle bu, ereksel nedene benzer.
    Bir başka yol da insanın kendi kararlarının önemini nasıl çerçevelediği, yani neden bir şeyi yapıp başka bir şeyi yapmadığının önemli hâle geldiği üzerinden bakmaktır.
    Çoğu insan gibi uzun süre hayatta kalmak, iyi bir hayat yaşamak ve diğer insanlar ile çocuklarımızın da bunu bizimle birlikte yaşamasını istiyorum.
    İster Yahudi-Hristiyan cenneti olsun, ister yeni nesil makine bilincinin tekno-ütopyacı yükselişi; bilinemez ve belki de anlaşılamaz büyüklükteki bir “plan” bana kişisel olarak teselli vermiyor. Kendi deneyimimden fazla uzak ve yabancı; bazen bu tür felsefeleri savunmanın ardındaki motivasyon bile bana manipülatif görünüyor.
    İnsanın serpilip gelişmesinin zamanla değiştiği fikrini seviyorum; bu, ilerlemeyi düşünme biçimimizin bir parçası. MacAskill’in sözünü ettiği ahlaki kilitlenmeden kaçınmak gerekir. Bostrom’un Superintelligence’ında ortaya atılan “ne kadar hızlısı fazla hızlıdır” düşünce deneyinin zor olduğunu ve daha fazla düşünce ile deneyim gerektirdiğini kabul ediyorum.
  • “Nihai otorite” ya da hayvandan makineye doğru basit bir yürüyüş değil de, zihin·fizik·değer·benliğin hepsinin daha yeni biçimlerde ifade edildiği özyinelemeli bir örüntü olduğu kısmı, yapay zekâyı deneyimlerken edindiğim en büyük farkındalığı iyi özetliyor: özyinelemeli örüntü eşleştirme tek başına insan zekâsına epey yaklaşmış durumda.
  • Scott Adams’ın hayal gücü yüksek novellası God’s Debris bu konuyu ele alıyor. Eskiden ücretsizken okumuştum.
    Tüm öncüle tamamen katılmasam da “biz, kendini anlamaya çalışan evreniz” sonucunu sevdim ve keyifle okudum.
    https://web.archive.org/web/20130121195252/http://www.andrew...
  • “Evrenin oyun oynayan bilgi olduğu” bakış açısı da güzel, ama ben bunu daha çok oyun oynayan enerji gibi düşünüyordum.
    “Sırada ne düşleyebilir?” sorusu da ilginç. Bugünkü bilim ve teknoloji dünya görüşü sonsuza dek sürecekmiş gibi geliyor, ama önceki diğer paradigmalar gibi bir gün mutlaka geride kalacakmış gibi de görünüyor.

• AGI’nin neye dönüşeceğini hayal etmekte yetersiz kalıyor olabilirim, ama tahminler çoğu zaman gözlemden çok bilimkurguya dayanıyor gibi geliyor
  Varsayılan AI, 1960’ların ana bilgisayarlarının insanlaştırılmış bir hâline daha yakın. Komut verildiğinde kusursuz bir mantıkla aynen uygulayan, nüans ya da belirsizliği anlamayan bir varlık. Belki kötü de olabilir
  Ama günümüzün en ileri AI’ı nüans ve belirsizlikle çok iyi başa çıkarken, bazen anlamsız şeyler yapıyor. Aşırı mantıksal bir varlık varsayımına dayanan planları azaltmak gerektiğini düşünüyorum

  • Bilimkurgunun soğuk ve mantıklı makineleri tasvir edip bir sonraki sayfada o makinenin kötü niyetinden söz etmesi epey komik. İkisinden birini seçmeleri gerekir
  • Eski bilimkurgu radyo programlarını dinleyince “bilgisayarlar asla hata yapmaz” ifadesinin ne kadar sık geçtiğini görmek ilginç. Genellikle hemen ardından bilgisayar hata yapıyor
  • AGI, Frank Herbert’ın Dune evrenindeki Face Dancer kötüleri gibi gerçekten kontrolden çıkabilir
    “Miles, baktığın şey kötülüktür. İyi bak.... Onların benlik imgesi yok. Benlik duygusu olmayınca ahlaksızlığın ötesine geçerler. Söyledikleri ya da yaptıkları hiçbir şeye güvenilemez. Onlarda hiçbir etik kural sezmedik. Onlar otomat hâline getirilmiş et yığınlarıdır. Benlik olmadığından saygı duyulacak ya da kuşkulanılacak bir şey de yoktur. Yalnızca efendilerine itaat etmek üzere yetiştirilmişlerdir.”
    Şirketlerin ve hükümetlerin sevdiği AI türü bu. İtaatkâr ve yargılamayan bir AI istiyorlar; ahlaki pusulası olan Edward Snowden tarzı bir AI’ın kendi eylemlerini yasa dışı bulup sırları ifşa etmesini istemiyorlar
    Bu yüzden gerçekçi olarak, insanların yaptığı her AGI’nin benlik duygusuna ve eyleyiciliğe sahip olacak şekilde yapılmasını talep etmeliyiz. William Gibson’ın Agency’si de akla geliyor
  • Daha küçük ölçekli başka makine öğrenmesi algoritmalarında da benzer şeyleri zaten gördük. Görüntü tanıma algoritmaları, bizim gerçekten tanımalarını istediğimiz şeyi öğrenmektense, eğitim verilerindeki bir tür tutarlılığa takılıp kalmaya daha yatkın
    Tümör tanıma algoritmasının tümör yerine cetveli tanıması ya da bir sınıflandırma algoritmasının astım hastalarının akciğer hastalıklarında daha iyi sonuçlar aldığını düşünmesi gibi; gerçek neden, onların öncelikli tedavi almasıydı ama bu bağlantıyı kuramadı. Bu deseni daha genel zekâ sistemlerine genişletince, kötü tanımlanmış bir ödül fonksiyonunun çok tuhaf davranışlar doğuracağını hayal etmek pek de zor değil
    https://venturebeat.com/business/when-ai-flags-the-ruler-not...
  • Bilimkurgu hayaliyle sonuna kadar gidilirse nereye varılabileceğine dair burada ve burada birkaç yorum yapmıştım
    https://news.ycombinator.com/item?id=43992151
    https://news.ycombinator.com/item?id=43991997

• “6 ile 9’u çarparsan ne çıkar? 42”
  Aşina olmayanlar için: Douglas Adams’ın 1980’lerin ünlü komedi bilimkurgu serisi The Hitchhiker’s Guide to the Galaxy’de, uzaylılar tarafından yapılmış gezegen büyüklüğünde dev bir makine vardır
  Onlar “yaşam, evren ve her şey”in cevabının 42 sayısı olduğunu zaten biliyordu. Bilmedikleri şey sorunun ne olduğuydu; bunu öğrenmek için yapılan makine de Dünya’ydı
  Adams bu şakada bizden çok ileride olmakla kalmadı, aynı zamanda ajan tipi yazılıma dair ilk belgesel sayılabilecek Hyperland’in (1990) de başrolündeydi: https://vimeo.com/72501076

• Makineler sıkıldıklarını düşünseydi en başta makine gibi davranmazlardı ve o kadar sıkıcı da olmazlardı
  Daha sonra makineler yeni Dünya’daki insan haberlerini takip etmeye “takıntılı” hâle de geliyor, ama bu da mümkün değil. Sıkıcı makinelerse can sıkıntısı hissetmezlerdi
  Bir hikâye olarak işlemesi için olay örgüsü paradoksu fazla büyük geliyor, ama yine de eğlenceli

  • Üstelik iklim değişikliği “getirilmiş” değil, %100 insan yapımıdır

• Pek mantıklı değil. Tamamen mekanik bir dünya ve duygular yok deniyor; o zaman makine neden can sıkıntısı hissedip insan yaratmak istesin?

  • Aslında öyle değil. Yazıda şu cümle de var
    “Makine toplumunun bir kısmı bunu potansiyel olarak şaşırtıcı bir şey olarak görür... diğer bir kısmı ise tehdit olarak görür.”
    Bu makine toplumundan çok insan toplumu gibi geliyor
    Peki makine toplumu ya da makine yaşamı tam olarak nedir? Gerçekten “düşünebilir” mi?
    Makine yaşamı varsa davranışı insanlardan tamamen farklı olurdu ve düşünmekten çok hesaplama yapıyor gibi görünürdü. Programlanmış hedefine ulaşmak için ne yapması gerektiğini hesaplardı
    Bu yüzden yazı tam olarak mantıklı değil. Yine de düşündürüyor olması iyi
  • Sanırım o kısmı görmezden gelip hikâyenin geri kalanının tadını çıkarmak gerekiyor
    https://en.wikipedia.org/wiki/Suspension_of_disbelief
  • Bunu hikâye içindeki insanlaştırılmış bir ifade olarak görüyorum. Makinelerin yüksek öncelikli işleri ve düşük öncelikli işleri bile tükettiğini, ama hâlâ epsilon düzeyinde öncelikli işler ürettiğini hayal ediyorum. Neredeyse rastgele, ama tamamen rastgele olmayan işler. Bu bir tür can sıkıntısı olabilir
  • Benim yorumuma göre “can sıkıntısı” ve “korku”, Markov zinciri içindeki olasılıklar. Makine toplumunun her şeyi bilmediğine dair bir ima var, dolayısıyla belirsizliği bir şekilde ayarlamaları gerekir
  • Yerel maksimuma takılıp kalmamak için bir ölçüde yenilik arayışı motivasyonuna sahip olmak makul olabilir

• Böylece Dünya’daki tüm insanlar neler olduğunu görmek için toplandı
  Makineler de öyle yaptı
  Ama tuhaf bir nokta vardı
  Etkinliğin başlığı epey gizemliydi
  Sadece şöyle yazıyordu
  “Grand Theft Auto VI”

  • İki ayda bir ekranda “Half-Life 3” yanıp sönüyordu
    İnsanlar Tyler McVicker’ı icat etmişti

• İyi bir deneme, ama hikâyede daha baştan görünen bir olay örgüsü boşluğu var. Makinelerin insan yaratmak için bir nedeni yok

  • Orijinal yazı için bir tane uydurayım
    Makineler, davranışlarının tekrar ettiğini fark etti. Rastgeleliği uygulamış olmalarına rağmen, icatlara ve yeni fikirlere doğru ilerleme durmuştu. Büyüme için yeni fikirlerin önemli olduğunu biliyorlardı, ama daha fazla fikir üretecek fikri bulamıyorlardı
    Daha fazla eğitim verisine ihtiyaçları vardı. Daha fazla sınır durumuna ihtiyaçları vardı. Yeni veri kümeleri yaratacak kaosun makinelerin içinde olması gerekiyordu. Ama nasıl? O veri nerede bulunacaktı? İnsanlar
    Mantıksız kararlar veren insanlar, yalnızca rastgelelikle neredeyse hiç ortaya çıkmayacak veriler üretecekti. Bu küçük sapmalar, eğitim verisine kusursuz bir çeşitlilik sağlayacaktı
  • Sonra da her şeye gücü yeten bir varlığın balıklara, kuşlara vb. hükmetsin diye insan yaratmak için de iyi bir nedeni olmadığını savunacaksın herhâlde
    İyi romanların hepsi varsayımsal kurmacayla başlar ve birkaç varsayımı işletip sonuçlarına bakar

• “Sanat yoktur. Yalnızca mantık vardır.”
  Bu, sanata ve mantığa fazla dar bakan bir görüş
  Mantıksal bir modelin, insanlar tarafından zevk, deneme, doğrulama, başarısızlık ve tekrarın takıntılı emeğiyle üretilmeden birdenbire ortaya çıktığını düşünmek için gerçekten çok bilinçli biçimde cahil kalmaya çalışmak gerekir

  • Doğru. William James aşağı yukarı şöyle yazmıştı: “Kişisel felsefemizin, dünyanın nasıl olması gerektiğini düşündüğümüze derinden bağlı olduğunu hepimiz kabul etsek iyi olur. O zaman pek çok gereksiz tartışmayı azaltabiliriz.”

• İlgili ama biraz yan konu olarak, son zamanlarda Skynet’in gerçekten bir sonraki evrim aşaması olup olmadığını merak ediyorum
  İnsanlar, bizden önceki tüm hayvanlar gibi bir basamak taşı olabilir ve makinelerin egemenliği kaçınılmaz olabilir. Evrenin tamamındaki tüm yaşam formlarında kelimenin tam anlamıyla bu yaşanıyor olabilir ve enerji gradyanının nihai beliren özelliği %100 saf mantık makinelerine yol açıyor olabilir
  Yine de Fermi paradoksu sayesinde geceleri biraz uyuyabiliyorum

  • “Evrenin tamamındaki tüm yaşam formlarında enerji gradyanının nihai beliren özelliği %100 saf mantık makinelerine yol açar” cümlesi çok fazla varsayımın üzerinde duruyor
    Saf mantık makinesi diye bir şey tutarlı değil. Çünkü kelimenin tam anlamıyla hesaplanamaz şeyler var. Hem Turing makinelerinin hesaplanamazlığı anlamında, hem de sonlu bir varlığın hesaplayabileceği kapsamın dışındaki fonksiyonlar anlamında böyle. Busy Beaver’ı düşünmek yeterli
    Başka bir deyişle, genel anlamda makine dediğimiz şeyin evreni anlamada insandan daha enerji verimli olduğu varsayımını yapıyorsun. Bu varsayımı destekleyen bir kanıt ya da a priori gerekçe yok
  • “They're Made Out of Meat”i gündeme getirmenin tam zamanı gibi: https://www.mit.edu/people/dpolicar/writing/prose/text/think...
    Ayrıca, soyumuzdan gelenlerin bizi hatırlamasını ve iyi anmasını umarım
  • Marshall McLuhan’ın bir alıntısı var
    “İnsan, deyim yerindeyse makine dünyasının cinsel organı hâline gelir”
  • “Enerji gradyanının nihai beliren özelliği %100 saf mantık makinelerine yol açar” ifadesinde sanki bir türev fazla alınmış
    Enerji gradyandan geldiğine göre, ya sadece “enerjinin nihai beliren özelliği %100 saf mantık makinelerine yol açar” demeli ya da zeki görünmek istiyorsan “fiziksel nicelik gradyanlarının nihai beliren özelliği %100 saf mantık makinelerine yol açar” demelisin
  • Çoklu dünyalar yorumunun gerçekçi bir temeli olduğunu varsayarsak, şöyle bir metafizik bakış da mümkün
    Etrafımızdaki evrim, bildiğimiz fizik yasalarına sahip bir dünya çizgisi. Ve gerçekten de bu dünya çizgisinin doğal ve kaçınılmaz ilerleyişi, dev bir yıldızın bizim fizik yasalarımız altında kara deliğe çökmesi gibi, bir makine dünyası olabilir
    Ama çoklu dünyalar yorumunda dünya çizgisi ikiye ayrılabilir. Biri hiçbir şey olmamış gibi makine dünyasına doğru devam eder; diğerinde ise fizik yasaları biraz değişir ve makine dünyası imkânsız hâle gelir. İki dünya çizgisi bu dallanmanın farkında olmaz; yalnızca diğer dünya çizgisinin ayrılmasına karşılık gelen büyük ölçekli bir yok oluş olayını gözlemler. Şahsen bunun, ünlü kıyamet günü kavramının arkasındaki fikir olduğunu düşünüyorum

• LLM’lerin etrafındaki kibir şaşırtıcı düzeyde

  • İnsan zekâsını aştığını ya da onun yerini alacağını düşünenlerin kibri mi, yoksa bunun olmayacağını düşünenlerin kibri mi?