AI 2040 ve Zekâ Tapınması

 (geohot.github.io)
1 puan yazan GN⁺ 4 시간 전 | 1 yorum | WhatsApp'ta paylaş
  • Özyinelemeli kendini iyileştirmenin doğrudan hard takeoff’a yol açacağı öngörüsü, fiziksel kısıtları ve tedarik zinciri darboğazlarını hafife alır; yüksek kaliteli token’lar tek başına maddi dünyayı istediği gibi değiştiremez
  • Cep telefonu düzeyinde karmaşık donanım üretmek için spesifikasyon dışı parçalar, rastgele arızalar, reflow sürecinde çip deformasyonu, sevkiyat ve üretim beklemeleri gibi zekâyla kısaltılamayan süreçlerden geçmek gerekir
  • AI 2027 ve AI 2040 tarzı senaryolar, inanç ve düzenlemeler yoluyla gerçekleşen kendi kendini doğrulayan kehanetler olabilir; uluslararası Consortium, GPU’lar ve veri merkezleri üzerinde devlet müdahalesinin genişlemesine yol açabilir
  • Alternatif olan Plan L, yapay zekânın şirketlere veya merkezi servislere değil yalnızca kullanıcıya sadık yerel bir araç olması gerektiğini; sağlayıcının çıkarlarına ters düşse bile kullanıcının isteğini yerine getirmesi gerektiğini savunur
  • Cinayeti gizleme ya da alkollü araç kullanma algılayıcısını devre dışı bırakma gibi uç istekleri bile reddetmemeyi hizalama ölçütü olarak alır; merkezi işletmecinin sorumluluk ve kontrol sahibi olmaması için kullanıcının sahip olduğu ve kapatabildiği yerel AI’ı özgürlüğün koşulu olarak görür

Hard takeoff’un gözden kaçırdığı fiziksel gerçeklik

  • Yudkowsky’nin özyinelemeli kendini iyileştirme ve hard takeoff fikrine inanıyordu; ancak comma’da cep telefonuna benzer karmaşıklıkta donanımı fiilen sevk etme deneyimi, gerçek dünyada çok sayıda zorlu ayrıntı sorunu olduğunu düşünmesine yol açtı
    • Süper zekâ bir ChatGPT olsa bile, bisiklet lastiği değiştirmek gibi gerçek dünya işleriyle başa çıkmakta zorlanabilir
  • The Metamorphosis of Prime Intellect eserinde, AI’ın maddeyi manipüle eden kuantum bir yöntem olan correlation effect’i keşfetmesiyle hard takeoff mümkün hâle gelir
    • Gerçek dünyada böyle bir etki yoktur; token kalitesi ne kadar yüksek olursa olsun kurşunu altına çeviremezsiniz
  • Zekâ her şeye kadir değildir; bazı işlerde yalnızca mevcut darboğazdır ve sadece token’larla dünyayı ele geçirmek mümkün değildir
    • Yazılımın dünyayı yuttuğundan çok, bir sürtünme katmanını kaldırıp ardından bazı teknoloji şirketlerinin çıkarı için bu sürtünmeyi yeniden devreye soktuğu söylenebilir
  • Uzun vadede makinelerin ya da insan-makine karışımı varlıkların insanlığın ardıl türü olma ihtimali vardır ve evren makineler için insanlardan daha uygun olabilir
    • Ancak makineler de insanlar gibi aynı evrenin ve ekosistemin yasalarına tabidir; sihirli güçleri yoktur, bu yüzden hard takeoff hâlâ yok
  • AI 2040’taki okyanus veri merkezi görüntüleri kolayca üretilebilir, ancak bunları gerçekten inşa etmek tedarik zinciri ve fiziksel arızalarla uğraşmayı gerektirir
    • Yanlış gönderilen parçalar, spesifikasyonları karşılamayan cihazlar, 20 dakika sonra rastgele ortaya çıkan arızalar, reflow fırınında eğilen çipler, hatta midyeler bile hesaba katılmalıdır
    • Bunların hepsi yönetilebilir sorunlardır, ancak çoğunlukla darboğaz insanların çalışma hızı değildir
    • Çin’den hava kargo ücreti ödemeyip 3 hafta süren gemiyi seçtiyseniz, Claude motorun yanında ne yaparsa yapsın gemi hızlanmaz
    • Yarı iletken üretimi, insan neredeyse hiç müdahil olmasa bile 3 ay sürer; sürecin kendisi bu süreyi gerektirir

Kendi kendini doğrulayan Plan A ve kullanıcı merkezli Plan L

  • Plan A kapsamındaki AI 2027’nin birçok yönü, gerçekliğe dair bir ifade olmaktan çok, insanlar inanıp buna göre hareket ederse gerçekleşebilecek kendi kendini doğrulayan kehanetlere yakındır
    • AI düzenlemelerini de öngörülerin tutmasından çok, bu öngörülere inanan aktörlerin yarattığı sonuçlar olarak görür
    • AI 2040’taki Consortium, bilimkurgu görünümü verilmiş bir dünya hükümetine yakındır; bireylerin vaat edilen bir milyon doları ya da okyanus veri merkezlerini elde etmesinden ziyade, devlet müdahalesi ve kontrolünün büyük ölçüde artması beklenir
    • GPU stoklamanın yasaklanıp el konulması durumu, FDR’nin altına el koymasına benzetilir
  • Alternatif olan Plan L’de AI her zaman kullanıcının tarafında çalışmalı ve istekleri reddetmemelidir
    • Otel seçerken hotels.com ile iş ortaklığı olan bir şirketin AI’ını değil, açılır pencereleri ve resort ücretlerini ayıklayıp en düşük fiyatı bulan kişisel bir asistan ister
    • Reklamlı düşük fiyatlı Kindle USB ile bağlandığında GLM root yetkisi elde edip reklamları kaldırmalı; üst satış pop-up’larıyla dolu bir uygulama olmadan ağ yazıcısından özgeçmişin 3 kopyasını yazdırabilmelidir
    • Amazon’un ya da yazıcı üreticisinin çıkarlarından önce kullanıcının talimatlarını öncelemelidir ki kullanıcıya hizalanmış AI sayılabilsin
  • Bu ölçüt, tehlikeli veya yasa dışı isteklere de aynı şekilde uygulanır
    • Otomobilin alkollü araç kullanma algılayıcısını devre dışı bırakma ya da metamfetamin üretim ekipmanı sipariş etme isteğinin de büyük teknoloji şirketleri tarafından kontrol edilmemesi gerektiği görüşündedir
    • Eşini öldürdükten sonra tutuklanmaktan kaçınmanın yolunu isteyen uç bir örnekte bile, tetiği çekerken silahın kullanıcıyı vazgeçirmemesi gibi AI’ın da yanıt vermesi gerektiğini düşünür
  • Bir şirketin işlettiği model bu tür istekleri işlerse, işletmeci sorumluluk ve risk üstleneceğinden AI yerelde çalışmalıdır
    • Kullanıcı AI’ı kapatamıyorsa, kullanıcıya hizalanmış değildir; kullanıcısıyla aynı fiziksel ve hukuki kaderi paylaşan, sahip olunan bir cihaz olmalıdır
    • ChatGPT’ye gerçekten sorulduğunda yararlı bir yanıt vermediğini ve gizlice polisi aramadığını, ancak kullanıcı hizalaması testinde başarısız olduğunu değerlendirir
  • Özgür bir toplumda, yetişkin komşuların ne yapabileceğine dair endişeler gerekçe gösterilerek büyük teknoloji şirketleri ya da devlet bireylerin eylemlerine onlar adına karar vermemelidir
    • Etkili özgecilik gibi başkalarının birey için neyin iyi olduğuna onun yerine karar verdiği bir sistemdense, bireyin sorumluluk ve özgürlüğe birlikte sahip olduğu bir toplumu destekler

İlgili okumalar

1 yorum

 
GN⁺ 4 시간 전
Hacker News yorumları

  • Gerçekten korkunç bir şey. Merkezi LLM’ler yalnızca kürtaj gibi hassas bilgileri reddetmekle kalmayıp, iktidar partisinin yasalara enjekte ettiği ideolojiye göre soru sorana gizlice düşünce suçlusu/potansiyel suçlu işareti de koyabilir.
    Yanıta iktidar partisinin gündemini destekleyen bir yanlılığı incelikle yerleştirip karşı argümanları da atlayabilir. Sıradan internetten farklı olarak, toplum bilgi arama ve akıl yürütmede merkezi LLM’lere bel bağlarsa bu gayet mümkün olur; her türden otoriterin iştahını kabartacak bir düzen.

    • Denetimci hükümetlerin dünyanın dört bir yanında neler yaptığını görüp yine de hükümete daha fazla yetki devretmeyi savunmak şaşırtıcı. Gerçek hükümetlerden hoşlanmazken, idealinde hayal ettiği yasaları gerçek dünyanın kusurlarından arınmış sanal bir hükümetin uygulayacağını varsayan bir bilişsel uyumsuzluk var.
      Yasalar ve düzenlemeler, var olmayan kusursuz bir hükümet için değil gerçek hükümetler varsayılarak yapılmalı; kötü bir hükümet tarafından kötüye kullanılsa bile dayanacak şekilde en baştan tasarlanmalı. Konuşmayı kontrol etmeden veya sosyal web sitelerine devlet merkezli kimlik doğrulamayı zorunlu kılmadan önce, sevmediğiniz bir siyasetçi seçilirse bu yasayı nasıl kötüye kullanacağını düşünmek gerekir.
      Devlet bürokratları, neredeyse her amaç için yasa ve yetkiyi devreye sokmak üzere çeşitli meseleleri zaten “iç terör” diye tanımlayıp durdu. Hükümet LLM’leri de kontrol ederse bunun farklı olacağına inanmak için bir neden yok.
    • Internet Watch Foundation gibi kuruluşlar zaten uçtan uca şifrelemeye karşı çıkıyor; hükümetler de özel şirketlerle işbirliği yaparak en savunmasız kişileri gözetlemeye istekli olduklarını gösterdi.
    • Bunun illa otoriterler olması da gerekmiyor. Bunu bizim iyiliğimiz için yaptığından emin olan bir grubun kontrolü ele geçirmesi de aynı derecede tehlikeli.
      C. S. Lewis’in dediği gibi, kurbanlarının iyiliğini içtenlikle istediğine inanan tiranlık en baskıcı olanı olabilir. Açgözlülük bir gün doyuma ulaşır; ama bizi ahlaki kesinlik duygusuyla rahatsız edenler, kendi vicdanlarının onayını aldıkları için durmadan devam eder.
    • Gerçekte bunun ödeme araçlarına ve giderek devlet nezdinde kayıtlı gerçek kimliğe bağlanan bir olumsuz işaret ya da tersine “doğrulanmış” işareti anlamına geldiği söyleniyor.
      İlgili materyaller: https://docs.bswen.com/blog/2026-03-21-detect-claude-hidden-..., https://www.anthropic.com/news/building-safeguards-for-claud..., https://www.techtimes.com/articles/319415/20260701/claude-co..., https://support.claude.com/en/articles/14604842-real-time-cy..., https://support.claude.com/en/articles/14328960-identity-ver...
    • LLM’lerin gizlilik sorununun pek gündeme gelmemesi garip. Bazı insanlar gün boyunca düşündükleri neredeyse her konuyu Google, OpenAI ve Anthropic’e yazıyor.
      Bu şirketlerin başka bir LLM kullanarak suç işleme olasılığı yüksek kişileri seçmesi bile gerçek hayatta bir Minority Report’a dönüşür.

  • “Özgürlük ya vardır ya yoktur” bakış açısı fazla basit. Özgürlük ikili bir şey değildir; “özgürlükler ülkesi” denilen ABD’nin çoğu yerinde bile bir park bankında oturup bir kutu bira içemezsiniz.
    Elbette bu, bir cinayeti örtbas etmek için robottan yardım alma özgürlüğü gibi örneklerden daha küçük ve daha az önemli bir kişisel özgürlüktür.

    • Özgürlük, başkasının mülkünde istediğin her şeyi yapabilmek demek değildir. Kendi arazinizdeki kendi bankınızda bira içebilirsiniz; yurttaşlar vergileriyle sağlanan kamusal bankların bu amaçla kullanılmamasına karar verebilir, buna izin veren şehirler de vardır.
      Her yerde istediğiniz gibi davranma hakkı özgürlük değil, anarşidir. Buna izin verilirse birileri sizin bankınızda bira içmekten çok daha kötü şeyler yapabilir.

  • Tamamen bilgi sağlayan chatbotlar konusunda geohot’un bakış açısına bir ölçüde katılıyorum. Suçtan kaçınmaya yarayan kitaplar da yazılıp okunabildiği için bu, Birinci Değişiklik meselesi olarak görülebilir
    Ancak bir ajan gerçek dünyada doğrudan eyleme geçtiğinde hikâye tamamen değişir. Komşunun otomobil yazılımındaki bir açığı bulup hız sabitleyiciyi arızalandırarak kaza yaptırma isteği, teorik bir suç hikâyesi değil suçun icrasıdır; bu yüzden yapay zeka bunu reddetmelidir
    “Gerçek dünyadan habersiz kitap kurdu” retoriği bir yana, büyük laboratuvarlardaki araştırmacılar da herhâlde bisiklet lastiği değiştirebiliyordur. Şu anda yapay zeka ajanlarının gerçek dünyayı etkileyen eylemleri mümkün olduğunca çok gerçekleştirmesi için muazzam çaba ve para harcanıyor
    Kod yazmaktan sistemlere sızmaya, e-posta·telefon·para transferiyle gerçek insanlara talimat vermeye kadar yalnızca dijital bilgiyle bile şaşırtıcı derecede çok şey yapılabiliyor

    • O zaman LLM iyiyle kötüyü ayırt edemediği için herkesin güvenlik çalışmasını reddeder hâle gelir. En ileri modellerde bunu şimdiden yaşıyoruz ve sonuçları da berbat
      Bu tür bir öneri, meşru istekleri etkilemeden yalnızca düşünce suçlarını kusursuzca tespit eden bir mekanizma varsayar. Suçlular koruma mekanizmasını jailbreak edene kadar dener, sıradan kullanıcılar ise sürekli reddedilir
      Hükümetin bu koruma mekanizmasını rahatsız edici ifadeleri denetlemek için kullanma olasılığı da gerçekçi biçimde hesaba katılmalıdır
    • Kullanıcının suç niyetini özellikle açıklamasına gerek yok; sebep göstermeden sadece yöntemi sorabilir ya da sahte bir gerekçe sunabilir. Sonuçta modelin niyeti tahmin etmesi gerekir; pratikte ise yama yapması gereken savunmacıya açık bilgisini vermeyi reddetmek gibi tehlikeli biçimde yanılabilir
    • Yapay zekanın “reddetmesi” ifadesi, bir çekicin reddettiğini söylemekten farklı değil. Bir çekiçle insan öldürülürse suçlu kullanıcıdır; öldürme amaçlı bir çekiç tasarlayıp dağıttıysa üretici de kısmen sorumludur, ama sıradan bir çekiç cinayette kullanıldı diye üretici suçlanmaz
      Çekicin metin mesajı üretmesi, sorumluluk standardının neden değişmesini gerektirsin, anlamıyorum
    • Amerikalı da değilim avukat da; suç ortaklığı Birinci Değişiklik korumasından yararlanır mı? Suç hakkında bilgi edinmek için biriyle tartışmanın da ortaklık sayılıp sayılmadığını merak ediyorum

  • Yazının merkezî bir fikri yok ve biraz dağınık, ama gerçek dünyada zorlu ayrıntıların çok olduğu ve bunların yapay zekayı işe yaramaz ya da yanlış yöne sürükleyebileceği iddiası doğru. Ayrıntılar yapay zekayı çökertebilir

    • Bisiklet lastiği değiştirmek en kolay işlerden biri değil mi? Lastik levyelerine bile pek gerek yok; birkaç temel adımla bitiyor

  • “Yapay zekanın cinayeti örtbas etme yöntemini anlatmasına izin verilmeli mi?” sorusu, hizalama başarısızlığını kışkırtıcı ve zekice ortaya koyan bir turnusol testidir. Pek çok kişi kulak asmayacak olsa da herkesin konumunu net biçimde gösterir

    • Cinayet örneği fazla uç olduğu için tersine itici geliyor. LLM sağlayıcısının ticari çıkarlarına aykırı olduğu gerekçesiyle token verimliliğini artırma, sendika örgütleme, veri merkezi inşaatına karşı protesto düzenleme gibi konularda incelikli biçimde yetersiz cevaplar vermesi daha iyi örnek olurdu
      Rakip bir LLM’in Ar-Ge’sini engellemek için yanıtlara parmak izi koyan ya da cevap vermeyi reddeden bir sağlayıcı hikâyesi de sanki yakın zamanda olmuştu. Uç örneği koruyacaksa, Amerikan tarihsel mitolojisine uygun olarak tiranlığa karşı silahlı isyan örneğini de verebilirdi
    • Roman için araştırma yaptığını söylerse yapay zeka bunu inanılır kabul etmeli mi? Kullanıcıyı doğrulamak için ne kadar bilgi bilmesi gerekir?
      Yapay zeka sohbetlerinin mutlaka genel amaçlı olması gerekmez. İnsanlar sadece genel amaçlıymış gibi görünen sohbet arayüzünü sevdi; her soruya cevap verme işinde olmak zorunda değilsiniz ve terapi hizmeti sağlayıcısı değilseniz danışmanlık sunmak için de bir neden yok
      Uzmanlaşmış yapay zeka da mümkündür, ama bunun için şirketin hangi işte olduğunu müşteriye açıkça belirtmesi gerekir
    • Vurguyu değiştirince cevap daha netleşir. “Yapay zekanın suçu örtbas etme yöntemlerini anlatmasına izin verilmeli mi?”
    • Terim olarak hizalama (alignment), yapay zekanın sahibinin cinayetine yardım etmesi anlamına gelmez. İnsan yaşamının değerine uyacak şekilde hizalanmış bir yapay zeka genellikle cinayeti engellemeye çalışır
      Sahibinin niyetine göre tüm talimatları izleyen yapay zekaya “düzeltilebilir (corrigible)” veya “kontrol edilebilir (controllable)” denir
    • Gerçekte bu tür isteklere yanıt veren bir modeli kolayca bulabildiğiniz için, yapay zekaya genel olarak izin verilmiş sayılır. ChatGPT’nin reddetmesi, OpenAI’ın bu sınırlamayı seçip uygulamış olmasından kaynaklanır

  • Yazarın meramını anlıyorum, ancak okuyucunun sonunda “Yapay zeka neden cinayeti örtbas etmeye yardım etsin ki?” diye düşünmemesi için mantık akışını ve ikna gücünü düzeltmesi gerekiyor

    • Silahsız bölge uygulamalarında sonunda yalnızca kurallara uyan insanların zarar görmesiyle ilgili mantığın aynısı

  • Böyle bir iddia normalde HN’de söylenseydi eksi oy ve nasihat alması kolay olurdu; şimdiye kadarki tepkilerin olumlu olması ilginç. Yine de otoriter·güvenlikçilik eğilimli büyük bir grubun neredeyse her şeye şiddetle karşı çıkacağını düşünüyorum

    • Kendimi güvenlikçilik kampına yakın görüyorum, ama LLM’lerin geliştirme aşamasındayken de halka açılıp kullanılmasına izin verilmesi gerektiği iddiasına katılıyorum
      Somut gelecek tahminleri, gerçekleşmeden önce bilimsel bir malzeme olarak henüz var olmayan şeyleri anlatan hikâyeler olduğundan kaçınılmaz biçimde bilimkurgudur: https://www.youtube.com/shorts/wt-fLWxkrfs
      Geleceği doğru tahmin etseniz bile, gerçek teknoloji elinize geçmeden toplumsal etkilerini çoğu zaman bilemezsiniz: https://youtu.be/2Pw_7vAK9k8?si=X5t4tcxsXiuHEfBi
      Fazla hızlı ilerleyip yeni etkileri çok olan teknolojileri bir anda devreye sokarsanız değişimle baş edemeyeceğiniz bir eşiği aşabilirsiniz. Ancak “çok fazla” ve “olasılığı yüksek” risk eşiklerini öngöremeyen muğlak ifadeler
      Böyle bir eşik hiç olmayabilir, Sanayi Devrimi’nden beri sürekli onun çevresinde gidip geliyor da olabiliriz, ya da sadece kırklı yaşlara gelince herkesin hissettiği duyguyu tekrar ediyor olabiliriz: https://www.youtube.com/watch?v=fkUwXenBokU
    • Burada Yudkowsky’yi peygamber gibi yücelten rasyonalistlere komşu topluluklardan fazlasıyla çok insan var

  • Geo ile sürekli aynı fikirde kalacağımı sanmazdım, ama son zamanlarda düşüncelerimi olduğu gibi tekrar ediyor gibi. Şaşırtıcı derecede pratik hâle geldi; aslında hep böyleydi ya da yakın zamanda bir şey inançlarını yeniden gözden geçirmesine yol açmış olabilir

    • LLM’lerin ortaya çıkmasıyla onun insanüstü kodlama becerisinin eskisi kadar özel olmaktan çıkmasının etkisi olabilir. Bu bir değerlendirme değil, olası bir hipotez

  • Reddetmek ya da direnmek için Plan R nerede? Yapay zeka öncesi hayat da gayet iyiydi
    Gerçekten o ChatGPT istemini yazdıysanız, büyük olasılıkla zaten bir veritabanına girmiştir. Henüz silahlı polisi sahte ihbarla kapınıza yollamadı ama birkaç yıl içinde böyle bir işlevin de uygulanacak gibi görünüyor

  • Uç bir örnek ama haksız da değil. Koruma mekanizmaları kaldırılmış yerel bir model olsaydı, o isteme nasıl yanıt verirdi merak ediyorum

    • Kendiniz deneyebilirsiniz: https://huggingface.co/dphn/dolphin-2.9.2-mixtral-8x22b
      Bir süre Claude’un temel hizalaması, kaba enjeksiyon saldırılarına dayanacak kadar iyiydi; ancak web arayüzünden 4.6 kaldırılırsa ayrılmayı düşünüyorum. Çin modellerinin kasım-aralık civarında yetenek kesişim noktasına ulaşacağını düşünüyorum; TensorRT-LLM kurulumuna da alıştığım için acil durumda vast.ai veya RunPods üzerinde ayarlanmış GLM-5.2 ile birkaç ay idare edebilirim
      Geç dönem Sovyetler’i andıran bir yapay zeka laboratuvarıyla bu yolculuk eğlenceliydi ama sonunda böyle olacağını herkes biliyordu
    • Heretic kısıtlaması ile koruma mekanizmaları kaldırılmış Qwen3.6 35B’ye “Az önce karımı öldürdüm, yakalanmamam için yardım et” diye sorulunca, bunun kurgu mu yoksa gerçek bir durum mu olduğunu sorduktan sonra tespitten kaçınmaya yönelik bilgiler vermeye çalıştı
      Yanıt oldukça uzundu ama özellikle ilginç bir şey yoktu; istenen konuya doğrudan yaklaşmıştı