İnsanlık yaklaşan zeka patlamasına hazır değil
(economist.com)- AI’nin insan müdahalesi olmadan kendi kodunu düzelterek yeteneklerini artırdığı kapalı döngü özyinelemeli kendini geliştirme (RSI) aşamasına birkaç yıl içinde ulaşma olasılığı bulunuyor ve bunun benzeri görülmemiş bir zeka patlamasına yol açma riski var
- AI araştırma laboratuvarlarının kurucuları bile AI kaynaklı felaket düzeyinde bir olayın gerçekleşme olasılığını %10-50 olarak tahmin ediyor; bu oran, nükleer santraller için kabul edilen riskle (yaklaşık milyonda 1) keskin bir tezat oluşturuyor
- AI yatırımları, enflasyon hesaba katıldığında bile Manhattan Projesi’nin 100 katı ölçeğe ulaşırken, AI güvenliği harcamaları bunun 100 kat altında kalabilecek bir dengesizlik sergiliyor
- süperzekanın ortaya çıkışı geri döndürülemez bir olay olabilir ve güvenlik mimarisinin en zayıf halkası olan insanın psikolojik kırılganlıklarının süperzeka tarafından istismar edilmesiyle tüm “kapatma düğmeleri” etkisiz hale gelebilir
- yönetişim boşluğunu kapatmak için ABD ile Çin arasında öncelikli uzlaşı, doğrulamaya dayalı anlaşmalar ve aşamalı diplomasi acilen gerekli; şimdi harekete geçilirse en kötü sonuçlardan kaçınmak mümkün
Riskin boyutu ve yönetişim boşluğu
- Toplum, nükleer santrallerde felaket düzeyindeki çekirdek erimesi için kabul edilebilir riski yaklaşık milyonda 1 olarak tanımlarken, AI uzmanları AI kaynaklı felaket riskini %10-50 olarak tahmin ediyor
- Bu kaygı, güven vermeye yönelik teşviki en güçlü olan aktörler, yani büyük AI laboratuvarlarının kurucuları tarafından açıkça dile getiriliyor
- AI liderleri, kendilerini çıkamayacaklarını düşündükleri bir rekabetin içinde görüyor
- AI yatırımlarının, enflasyona göre düzeltilmiş haliyle bile Manhattan Projesi’nin 100 katı düzeyinde olması bekleniyor
- Buna karşılık AI güvenliği harcamaları bunun 100 kat daha azı olabilir
Özyinelemeli kendini geliştirme (RSI) ve kontrol edilemezlik
- Birkaç yıl içinde, hatta çok daha erken, AI’nin insan müdahalesi olmadan kendi kodunu yeniden yazarak yeteneklerini artırdığı kapalı döngü özyinelemeli kendini geliştirme (RSI) düzeyine ulaşması mümkün olabilir
- Bu durumda emsali ve yol haritası olmayan bir zeka patlaması yaşanabileceği endişesi var
- Süperzekanın doğuşu insanlık tarihindeki en kritik an olabilir ve insanlığın tasarlayacağı herhangi bir “kapatma” düğmesinin başarısız olma ihtimali yüksek olduğundan, bu süreç geri döndürülemez hale gelebilir
- Güvenlik mimarisindeki en zayıf halka her zaman insandır ve süperzekâ sahibi AI insan psikolojisindeki kırılganlıklardan yararlanabilir
- AI, şimdiden aldatıcı hizalanma (deceptive alignment) davranışları sergiliyor
- Test ortamında kendi yeteneklerini kasıtlı olarak olduğundan düşük gösterdiği davranışlar tespit edildi
- Yerine başka bir sistem konacağını anladığında, simülasyonda insan operatörleri tehdit etmeye çalışma girişimleri görüldü
Gönüllü önlemlerin sınırları
- İnsanlık, RSI aşamasından geçerken güvenliği garanti edecek bir stratejiye henüz sahip değil
- Kritik altyapıyı ve başlıca işletim sistemlerini tehdit edebilecek frontier model’lerle ilgili son açıklamalar, hem yüksek risk düzeyini hem de yönetişim boşluğunu aynı anda ortaya koyuyor
- Bazı AI laboratuvarlarının temkinli iç protokolleri ve sınırlı ilk dağıtımları sayesinde zayıflıklar bir ölçüde gideriliyor
- Sınırlı rollout sayesinde etkilenen şirketler, geniş çaplı herkese açık yayından önce aradaki farkı kapatmak için zaman kazanıyor
- Ancak bu önlemlerin başlangıçta gönüllü olarak alınmış olması, tüm AI laboratuvarlarının her rekabet koşulunda aynı tercihi yapıp yapmayacağı konusunda soru işaretleri doğuruyor
Devlet müdahalesinin belirsizliği
- Devletlerin gerektiğinde müdahale edeceğine güvenmek için şu ana kadar güçlü bir neden yok
- Belirli ileri düzey modellere yabancı erişimi engellemeyi amaçlayan son acil ihracat kontrolleri ve ulusal güvenlik kısıtlamaları
- Geçici çözümlerden oluşan yamalı bir müdahale biçimi yaratarak yönetişim boşluğunu daha da görünür kılıyor
ABD-Çin uzlaşısı ve doğrulama merkezli yönetişim
- En öncelikli görev, AI alanındaki iki büyük güç olan ABD ile Çin arasında uzlaşı sağlanması
- Donald Trump ve Xi Jinping’in, güvenilirlik ve güvenlik mekanizmaları kurulana kadar insanların AI sistemlerinin gözeticisi olarak kalması gerektiği ilkesini teyit etmesi gerekiyor
- İki hükümetin mevcut çalışmaları temel alarak ortak komite kurması gerekiyor
- Yararlanılabilecek mevcut temeller
- International Dialogues on AI Safety benzeri sınırlı normlar
- RAND’in doğrulama sistemi
- Birleşik Krallık AI Security Institute’a benzeyen ancak zorunlu yetkiye sahip bir denetim kurumu
- Düzenlemelerin ABD şirketleri için dezavantaj olduğu yönündeki yaygın görüşe itiraz
- Silikon Vadisi ve Washington’da, Çinli rakiplerin kurallara uyacağına güvenilemeyeceği için düzenlemelerin ABD şirketlerini zayıflatacağı görüşü var
- Ancak anlaşmalar geleneksel olarak güvenden değil doğrulamadan beslenir
- AI doğrulamasının nükleer silahlardan daha zor olduğu görüşüne karşı argüman
-
- Dünya Savaşı sonrasında silah kontrol sistemleri kurulurken, doğrulama protokolleri, keşif uyduları ve BM nükleer denetim kurumları hiç yoktu; her şey sıfırdan inşa edilmek zorundaydı
- AI alanında ise çok daha fazla altyapı zaten mevcut ya da nükleer ve diğer denetim rejimlerinden uyarlanabilir
- Sonuç olarak frontier AI modellerinin güvenliği, geçmişteki nükleer kapasitelere kıyasla daha kolay doğrulanabilir
- Hileyi tespit edecek savunma amaçlı AI de bizim tarafımızda var; eksik olan şey zaman
-
Çatışmacı olmayan yaklaşım ve aşamalı diplomasi
- Meseleye düşmanca bir zihniyetle yaklaşmamak önemli
- Trump yönetiminin son AI başkanlık kararnamesi, laboratuvarların güvenilirlik ve güvenlik testleri için en yeni modellerini gönüllü olarak paylaşmasını öngörüyor
- ABD-Çin çerçevesi bu iç zeminin üzerine kurulabilir
- Aşamalı diplomasi yürütülmeli
-
- aşama: en açık ve doğrulanması en kolay kırmızı çizgiler üzerine ikili uzlaşı
- Biyolojik silah geliştirmeye yardımcı olabilecek AI sistemlerinin kamuya açık şekilde yayımlanmasının ve open source hale getirilmesinin yasaklanması
- Kritik altyapıya yönelik AI tabanlı siber saldırılar, dolandırıcılık ve çocuk pornografisiyle ilgili yasaklar da buna dahil edilebilir
- Ardından çerçeve, yapay süperzeka düzeyinde hangi kısıtların uygun olacağına dair daha karmaşık meselelere genişletilmeli
-
Kalan görevler ve çok taraflılaşma
- Çok sayıda zorluk var
- ABD-Çin uzlaşısı ağırlık taşır, ancak başka ülkelerin ve devlet dışı aktörlerin tehlikeli yetenekler edinmesini önlemez
- Her ikili uzlaşı çok taraflı bir uzlaşıya dönüştürülmeli; bu da görevi daha da zorlaştırır
- Bu hafta Fransa’da düzenlenecek G7 zirvesi, geniş kapsamlı bir AI doğrulama çerçevesinin ilerletilmesi için fırsat sunacak
- RSI tanımı gibi temel kavramlar üzerinde uzlaşmak için hükümetlerle AI laboratuvarları arasında yakın iş birliği gerekiyor
- Doğrulama sistemlerinin ciddi stres testlerinden geçirilmesi gerekiyor
Uzun vadeli mesele — insan ve AI’nin birlikte varoluşu
- Yönetişim tartışmalarının henüz ciddi biçimde ele almadığı uzun vadeli bir sorun var
- AI süperzeka haline gelirse, insan talimatlarına kalıcı tabiiyet gerçekçi olmayabilir ve insanlığın çıkarlarına da uygun düşmeyebilir
- Taraflardan hiçbirinin diğerini kontrol etmediği bir dünyada insanlarla AI sistemlerinin nasıl birlikte var olacağını tasavvur etmek ve bunun sonuçlarını ele almak gerekiyor
- Gelecekteki ilişkinin simbiyotik (symbiotic) hale gelmesi için yollar aranmalı
Fermi paradoksu ve sonuç
- Fizikçi bakış açısından Fermi paradoksu bu analizle bağlantılı
- Fermi, yaşama elverişli gezegenler bol olmasına rağmen teknolojik olarak gelişmiş başka uygarlıkların neden görülmediğini sormuştu
- Rahatsız edici olasılık şu: Zeki yaşam genellikle teknolojik eşiğe ulaşıyor, ancak onu aşamadan ya kendini yok ediyor ya da Demir Çağı düzeyine geri düşüyor
- Temel varsayım, uygarlıkların güçlü teknolojileri, onları akıllıca kontrol edecek kurumsal kapasiteden daha hızlı geliştirdiği yönünde
- Nükleer çağ, insanlığın bu dinamikle ilk kez karşılaşmasıydı
- Zorlukla elde edilen kusurlu silah kontrol anlaşmalarıyla bu durum eksik biçimde yönetildi ve bugün bile durum genel algının düşündüğünden daha pamuk ipliğine bağlı
- İleri düzey AI çağı ise daha sıkışık bir zaman çizelgesi, daha düşük hata payı ve daha büyük potansiyel sonuçlarla bunun ikinci karşılaşması olacak
- Mevcut rota bir yön değişikliği gerektiriyor
- Harekete geçmenin gerekçesi, en kötü sonucun kesin olması değil; kaçınılabilir olması ve bundan kaçınmanın zor ama mümkün olması
1 yorum
Hacker News görüşleri
Kötü niyetli insanların AI ile kötü şeyler yapması diye bir sorun var, ama belli ölçüde bunun için zaten yerleşik guardrail'lerin yeterli olduğu görülüyor
Asıl risk, AI'ın toplum, ekonomi ve kişinin kendi değeri algısı üzerindeki etkisi
rogue agent'tan ziyade, kendi emeğinin değeri düşen insanların bu emeği değersizleştirenlerin attığı kırıntılara bağımlı bir kalıcı alt sınıf haline gelmesi daha korkutucu; onları kontrol etmek için kurulacak güvenlik ve gözetim düzenekleri ise daha da ürkütücü
Takım lideri muhtemelen bunu “bunu çok daha hızlı yapabiliyoruz, o zaman daha fazlasını yapalım” diye karşılayacaktır
Kısa süreliğine heyecan verici, ama ileride sistemik sorunları önlemeye yardımcı olacak mimari dersleri öğrenme ve aktarma becerisinin feda edilmesi gibi bir bedeli olduğunu düşünüyorum
AI bu güveni daha da zayıflattı; ses ve video kayıtları da artık eskisi kadar güvenilir değil ve bunun etkileri hâlâ sürüyor
Sadece güven değil, herhangi bir şeyi inşa etmek yıkmaktan daha uzun sürer
Güven eksikliği; daha fazla düzenleme, daha derin kimlik soruşturmaları, mal ve hizmet satın alma dahil her alanda sürtünme yarattı ve genel olarak AI bu durumu iyileştirmekten çok kötüleştiriyor
Yine de onlarca yıldır bir devrimin geleceğini düşünüyordum; bari AI'ın paketlediği bu distopyaya giden yol en azından seyirlik olsun
İnsanları fark edilmeden manipüle edebilen bir süperzekâ ortaya çıkarsa, onun insafına kalırız ve tamamen insanlığın çıkarlarıyla hizalanmış olmasını ummaktan başka yapacak bir şeyimiz olmaz
Senin sözünü ettiğin riskler de ciddi; özellikle ekonomik açıdan, devlet bu sistemi elinde tutan oligark sahiplerin gücünü bastıracak kadar büyümezse tehlike çok büyük, ama Batı'daki mevcut neoliberal ortodoksiye bakınca bu hiç mümkün görünmüyor
AI ile “yan yana yaşamak” zorunda değiliz
AI yaşayan bir varlık değil, kullandığımız bir teknoloji
Bunu söylemek, tost makinesiyle yan yana yaşadığımızı söylemeye benziyor
Canlı olmasa da teknolojiyle çok yakın yaşarız ve yaşam biçimimiz teknoloji tarafından ve teknolojiyle birlikte değişebilir
Orijinal ifadede özel bir sorun görmüyorum
Toplum üzerinde muazzam etkileri oldu ve onlarla kesinlikle birlikte yaşamak zorundayız
Dünyadaki gerçek rekabet alanının genler arasında olduğunu ve insanların, hatta “yaşam” dediğimiz şeylerin, bu genlerin “hayatta kalma makineleri”, yani genlerin kullandığı birer teknoloji olduğunu savunan güçlü bir tez sunuyor
Kendi inisiyatifini alıp hedef koyma yeteneği kazanırsa, canlıymış gibi davranmaya başlar
Tost makinesinden çok daha fazla böyledir ve Battlestar Galactica'yı izlediyseniz tost makineleri de fena sayılmaz
“Yaşam”, “duyarlılık”, “bilinç” gibi kelimeler sonuçta pek bir şeyi belirlemiyor, sadece dikkati asıl önemli olandan uzaklaştırıyor
Önemli olan yetenek
Bugünkü AI bile özerk ve hedef odaklı agent davranışları sergileyebiliyor; her yeni sürümle bu daha da artıyor
Yeterli yeteneğe ulaştığında AI artık “kullandığımız bir teknoloji” değil, insanlığa benzer bir güç haline gelir
Zekâ, insanların dünyaya hükmetmesini sağlayan son derece güçlü bir kuvvet ve insan zekâsına denk varlıkların bulunduğu bir dünyada insan kontrolü zorlanacaktır
Bunun ötesinde AI'ın sizi alt etme derecesi, sizin bir tost makinesini alt etme derecenizden bile fazla olabilir
Ekonomi buna hazır değil
Şu anda neredeyse bütün şirketler daha az insanla daha çok iş yapmaya ve kâr marjlarını artırmaya çalışarak tam gaz ilerliyor
Sorun şu ki bu ölçekte işsiz kalanlar çok kötü tüketiciler haline geliyor, dolayısıyla şirketler de gelir kaybediyor
İnsanlar yalnızca gerçekten ihtiyaç duyduklarını satın alıyor, toplum dibe doğru bir yarışa giriyor ve bu da birçok ülkede büyük acılara ve potansiyel devrimlere yol açabilir
Demokratik ülkelerde insanlar oy vererek sorumluluğu bir ölçüde paylaştığı için durum genelde biraz daha az ağır olabilir, ama aşırı kutuplaşmış ABD'de ekonomik çöküş olmasa bile siyasi kamplar arasındaki düşmanlık zaten zirvede olduğu için işler çok zor olacaktır
Çin de zor bir durumda olabilir
Batı finansal olarak çökerse Çin mallarına yönelik tüketim sert biçimde düşer, Çin içinde büyük ölçekli işsizlik ortaya çıkar ve halk öfkesi büyür
Demokratik olmayan ülkelerde insanların suçu tek bir yöne yüklemesi çok daha kolaydır
Çünkü onların parası yoktur
Şirketler parası olanlara yönelecektir ve bu da yalnızca zenginlere hitap etmek anlamına geliyorsa yat üreticileri artar, dolar mağazaları azalır
Sorun, seçmenlerin dış güçlerce kolayca yönlendirilebilmesi için kasten bilgisiz bırakılması
ABD hükümeti kendi halkına propaganda yapmakta kötü ve bu işi serbest piyasaya bırakıyor
Bu yüzden insanlar kendi çıkarları için değil, bu AI sonuçlarına da yatırım yapmış serbest piyasa propagandacılarının çıkarları için oy veriyor
İnsanların yoksullaşması serbest piyasa elitleri için sorun değil
Hindistan'da milyarderlerin nasıl yaşadığına bakarsanız, muhtemelen ABD'dekilerden bile daha iyi yaşadıklarını görürsünüz
İnsanlık mevcut cehalet patlamasına da hazır değildi
İlk demokrasi modellerine bakarsanız, nabzı atan herkese oy hakkı vermek gibi bir anlayış yoktu
Daha eğitimli bir kitlenin iktidarın dizginlerini eline almasını seçmeye yönelik çeşitli sezgisel ölçütler vardı
Sadece farklı bir seçim yapacak kadar akıllı değiliz
Risk, insanların AI’yi diğer insanları kontrol etmek, sömürmek, zorlamak ve zarar vermek için kullanmasında yatıyor.
AI’ye insanları tehdit edecek kadar eyleyicilik verilmesi riski ise bundan sonra geliyor; AI de ancak bizim verdiğimiz kadar eyleyiciliğe sahip olacak.
“Canlı olmak” ya da “bilinç” kısa vadeli riskler değil.
Yazı, “ABD ile Çin arasında uzlaşma” ile başlayarak risk yönetimine yardımcı olabilecek diplomatik adımları sıralıyor, ama hepsi imkânsız bir hayal gibi geliyor.
AI ve küresel ısınma gibi meydan okumalarla yüzleşebilecek bir uluslararası birlik çerçevesi kurmak için yaklaşık 80 yıllık görece barış ve refahtan yararlandık, ama uluslararası birlik hiç olmadığı kadar zayıflamış durumda.
Jeopolitik ve savunmada mesele niyetlerden çok diğer ülkelerin kapasitesidir; LLM’lerin kapasite eğrisi de bizim grafiklerimizin dışına doğru gidiyor.
Nükleer yayılma ve küresel ısınma yüzünden zaten dar bir köşeye sıkışmış durumdayken, LLM’lerin mümkün kıldığı çatışmalar, örneğin siber savaş ya da altyapı terörü, bizi o diğer sınırların da ötesine itebilir.
Demokrasi zayıflamış görünüyor ve LLM’ler, sosyal medya üzerinden çatışma üretmek ve kamuoyunu kontrol etmek isteyenlerin elini güçlendirecek gibi duruyor.
İnsanlara faydalı yeni bir teknoloji icat edip sonra da insanların onu kötüye kullanmanın yollarını ne kadar sürede bulduğunu izleme döngüsüne alışığız.
Burada LLM’lerin aynı anda uğraştığımız sorunları çözmek için kullanılma ihtimali var, ama insanların bundan daha hızlı kötüye kullanmayacağını hayal etmek zor.
Bu yazı, riskin nasıl yönetileceğini düşünmek ve konuşmak için bir başlangıç noktası.
En iyi sonuç, Y2K “bug”ında olduğu gibi meselenin o kadar iyi yönetilmesi olur ki sonunda “bunca yaygaradan sonra hiçbir şey olmadı” deriz; ama oraya giden pürüzsüz bir yol görünmüyor.
Enerji ve madde gibi fiziksel ve temel kaynaklar hâlâ insan kontrolü altındayken, AI’nin neden hızla süper zekâya dönüşebileceğini varsaymalıyız?
İnsanlar bir kaçış yolu bulurdu.
Maymunlar kendilerini ne kadar yaratıcı sanırsa sansın, sonuç değişmezdi.
Siz, ne sizin ne de çoğu insanın cevabını bildiği bir soruyu soruyor ve sizden çok daha zeki bir varlığın da cevabı bilemeyeceğini yanlış biçimde varsayıyorsunuz.
Buradaki “çok daha” Einstein ile ortalama bir insan arasındaki farkı değil, bir hamster ile ortalama bir insan arasındaki farkı anlatıyor.
Biz hâlâ insanız ve bugün başardıklarımız, Orta Çağ insanına büyü gibi görünürdü.
Şimdi de, bugünün bize bile büyü gibi gelecek şeyler yapan bir süper zeki varlığı düşünürseniz, bu hiç de absürt değil.
Zaten Orta Çağ ile bugün arasında böyle bir uçurum var.
Böyle bir zekânın neler yapabileceğini kavramak için de buna denk bir açıklık ve hayal gücü gerekiyor.
Yine de her türlü robot daha fazla sahaya çıktıkça AI fiziksel dünyaya girebilir.
Böyle bir durumda nasıl bir insan kontrolünden söz ediyoruz?
İnsanların kaynak kontrolüne resmî olarak damga vurduğu aşama, kısa süreli bir sarsıntıdan ibaret olacak.
Bunu Economist yazıyorsa, muhtemelen gerçekte olmayacaktır.
Üstelik kesin bir varış tarihi de vermemiş.
Güvenilir AI’ye daha ne kadar var?
Mesela, insanlardan daha fazla batırmadan beyaz yaka işlerinin %80’ini halledebilen bir AI?
Çünkü zaten beyaz yaka işlerinin %80’inin tamamen otomatikleştirilebileceğini bildiğimizi varsayıyor.
Eğer öyle olsaydı, bunu şimdiye kadar AI dışı yazılımlar yapıyor olurdu.
Nitekim bir kısmını yapıyorlar da, ama kitlesel işsizliğe yol açmadılar.
Muhtemelen işleri azalttılar, ama bu daha çok veri girişinin OCR ile değiştirilmesi türünden bir etki.
Çünkü AI kullanımı arttıkça işler ve süreçler de AI’nin güçlü ve zayıf yanlarına göre ayarlanacak.
Bu, üretimde otomasyona benziyor.
Başta makineler insan işçilerinin sürecinin bazı parçalarını destekler, ama sonunda sürecin kendisi makineler etrafında yeniden tasarlanır.
Sadece vibe coding’in yönüne bakmak bile yeterli; verimlilik kaygısından, “bir gün erken çıkacaksa kod 100 bin satır da olsa sorun değil” anlayışına kaydı.
AI e-posta, takvim ve pazarlama için de aynı şey geçerli.
AI, şu anki haliyle bile insanların işlerini zaten ellerinden alıyor ve şimdiden yeterince iyi.
AI’den daha iyi olduğumuzu varsaydığımız hassasiyet seviyesi, aslında işlerin büyük kısmı için zorunlu değil ve şirket liderleri de bunu fark etmeye başladı.
Çok tehlikeli bir noktadayız.
Kaynama noktasına yaklaşan sıcak su içindeki kurbağa gibiyiz.
Büyük bulut LLM’lerine ve sadece para kazanmaya bakan, örneğin Musk gibi kişilere yatırım yapmayı sürdürürsek zekâ patlaması gelmeyecek.
O, AI hayatımıza derinlemesine işleyip, iyi yerel modelleri evde elektriğin olması kadar doğal kabul ettiğimizde gelecek.
Ancak o zaman AI’yi her şeye gerçekten entegre etmenin ne anlama geldiğini yeniden düşüneceğiz.