Yann LeCun: Asıl kıyamet senaryosu, yapay zekanın “%1’lik sahiplerinin” kalıcı iktidarı ele geçirmesi

• Meta baş yapay zeka bilimcisi Yann LeCun, yapay zekanın gerçek riskinin insanlığın yok oluşundan çok, az sayıda şirketin uzun vadeli kontrolünde olduğunu düşünüyor
• Eleştirinin odağında Sam Altman, Demis Hassabis ve Dario Amodei’nin yapay zeka güvenliği tartışmalarını öne çıkararak korku yayması ve şirket lobiciliği yapması var
• Mart 2023’te 1.000’den fazla teknoloji liderinin yapay zeka geliştirmeye 6 ay ara verilmesi çağrısı yapan açık mektubu imzalamasıyla, yapay zeka riski tartışması endüstri regülasyonu ve güç yapıları meselesine dönüştü
• LeCun, “süper zekayı açtığımız anda insanlık biter” diyen hard take-off görüşünün abartılı olduğunu; asıl meselenin yapay zekanın nasıl geliştirildiği ve yayımlandığı olduğunu düşünüyor
• Kapalı, kâr amaçlı şirketler merkezli yapay zeka geliştirme ile açık kaynak yapay zekanın zayıflaması birleşirse, az sayıda şirket platformları ve insanların dijital ortamını belirleyebilir

---

LeCun’un endişesi: kıyametçilikten çok regülasyonun ele geçirilmesi

• Yann LeCun, yapay zekanın daha gerçekçi tehdidini güç yoğunlaşmasında görüyor
  • Az sayıdaki “one-percenters”ın yapay zekanın yarattığı serveti tekelleştirip geri kalan insanları dışarıda bırakmasından endişe ediyor
• X paylaşımında OpenAI’dan Sam Altman, Google DeepMind’dan Demis Hassabis ve Anthropic’ten Dario Amodei’yi doğrudan anıyor
  • Bu kişilerin yapay zeka güvenliği regülasyonu tartışmalarında büyük ölçekli şirket lobiciliği yaptığını eleştiriyor
  • Bu girişim başarılı olursa “az sayıda şirketin yapay zekayı kontrol edeceğini” söylüyor; LeCun bunu “catastrophe” olarak nitelendiriyor
• Altman, Hassabis ve Amodei, Insider’ın yorum talebine hemen yanıt vermedi
• Sözler, fizikçi Max Tegmark’ın X paylaşımına yanıt olarak geldi
  • Tegmark, LeCun’un yapay zekaya dair kıyamet risklerini yeterince ciddiye almadığını düşünüyor
  • Birleşik Krallık’taki küresel yapay zeka güvenliği zirvesine değinerek Turing, Hinton, Bengio, Russell, Altman, Hassabis ve Amodei’nin yapay zeka kaynaklı varoluşsal risk tartışmalarının yalnızca sinizm ya da şirket lobiciliğiyle çürütülemeyeceğini söylüyor

Korku söylemi ile açık kaynak yapay zeka arasındaki gerilim

• ChatGPT’nin çıkışından sonra yapay zeka sektöründeki önemli isimlerin kamuoyu üzerindeki etkisi arttı; LeCun, bazı kurucuların sattıkları teknolojiye yönelik korkuyu büyütmeye çok zaman ayırdığını düşünüyor
• Mart 2023’te Elon Musk, Altman, Hassabis, Amodei ve 1.000’den fazla teknoloji lideri, yapay zeka geliştirmeye en az 6 ay ara verilmesi çağrısı yapan açık mektubu imzaladı
  • Mektup, varsayımsal yapay zeka sistemlerinin “toplum ve insanlık için derin riskler” doğurabileceği konusunda uyarıyordu
  • İmzacılardan Tegmark, yapay zeka geliştirmeyi “suicide race” olarak nitelendirdi
• LeCun ve diğer eleştirmenler, bu tür uyarıların gücü pekiştirebileceğini ve yapay zekanın acil risklerini bulanıklaştırabileceğini düşünüyor
  • Distributed AI Research Institute, işçi sömürüsü ve veri hırsızlığını gerçek riskler olarak gösteriyor ve faydanın “az sayıda varlığa” döndüğünü savunuyor
• LeCun, insanların “hard take-off” miti nedeniyle yapay zeka riski konusunda aşırı tepki verdiğini düşünüyor
  • hard take-off, süper zeki bir sistemi açtığımız anda insanlığın sona ereceği fikridir
  • LeCun, yeni teknolojilerin geniş ölçekte dağıtılmadan önce gerçekte düzenli bir geliştirme sürecinden geçtiğini düşünüyor

Temel mesele yapay zekanın nasıl geliştirildiği

• LeCun’a göre şu anda odaklanılması gereken nokta, yapay zekanın performansından çok geliştirme biçimi
  • Yapay zeka geliştirmenin kapalı, kâr amaçlı şirketlerin içinde hapsolmasını ve çıktıların kamuya açılmamasını riskli görüyor
  • Yapay zeka açık kaynak topluluğunun ortadan kalkmasından da endişe ediyor
• Meta, GPT ile rekabet eden büyük dil modeli LLaMa 2’yi belirli ölçüde açık kaynak olarak yayımladı
  • Amaç, daha geniş teknoloji topluluğunun modelin içine bakabilmesini sağlamak
  • Diğer büyük teknoloji şirketleri benzer bir açık kaynak yayını yapmadı; OpenAI’ın ise açık kaynak bir yapay zeka modeli yayımlamayı değerlendirdiğine dair söylentiler var
• LeCun, açık kaynak yapay zekanın regülasyonla ortadan kalkması halinde, ABD’nin Batı Yakası’ndaki ve Çin’deki az sayıda şirketin yapay zeka platformlarını ve insanların tüm dijital beslenmesini kontrol edeceğini düşünüyor
  • Böyle bir durum demokrasi ve kültürel çeşitlilikle ilgili sorulara yol açar

[GN⁺]

Hacker News görüşleri

• Archive.is önbelleği: https://archive.is/HbRLy

• Mevcut güçlü oyuncuların X-Risk ve insanlığın ani yok oluşu gibi abartılı iddiaları kullanarak düzenleyici ele geçirme yoluyla iktidarı ele geçirmeye çalışması, teknoloji sektöründe şimdiye kadarki en alaycı numaralardan biri gibi görünüyor
  Açık kaynak elimizdeki en büyük armağanlardan biri; yapay zekayı saçma lisanslar ve raporlama yükümlülükleriyle kapatmaya çalışma girişimleri anlamsız
  Kötü niyetli veya suistimale açık yazılım kullanımı zaten mevcut yasalarla ele alınabilir

  • “Duralım” demek düzenleyici ele geçirme değildir. Bazı büyük yapay zeka şirketleri “durmayı” “bunu yalnızca biz dikkatli şekilde yapabiliriz” diye çarpıtıyor ama varoluşsal riski önlemenin gerçek yolu durmaktır
    https://twitter.com/ESYudkowsky/status/1719777049576128542
    “Durmak”, lisans ya da raporlama yükümlülükleri değil, kelimenin tam anlamıyla durmak demektir
  • Onların gerçekten risk olduğuna inanmadığından ne kadar emin olabilirsiniz? Yalnızca duyduklarıma dayanarak söylüyorum ama OpenAI’de alt kademedeki bazı kişilerin de bu riski ciddiye almaya değer gördüğü izlenimini edindim; bu sadece alaycı CEO numaralarından ibaret değil
    Sam Altman, Yudkowsky ile birkaç kez konuştu ve hizalama sorununu düşük güçlü modellerle çözmenin en iyi seçenek olduğunu düşündüğü için önce modelleri geliştirip sonra ilerleme hızını yavaşlatmaya çalışıyor gibi görünüyor
    Başarı olasılığı yüksek görünmüyor ama şu anda belirgin biçimde daha iyi bir seçenek de yok gibi
  • Ben de neredeyse aynı noktadayım. Yok oluş riski argümanı uzun vadede bir ölçüde makul görünüyor ama bu düzeyde bir sorunun çok yakında kapımıza dayanacak kadar yakın olduğu izlenimini vermiyor
    Buna karşılık bu teknolojinin, bazı insanların diğerleri üzerinde daha fazla güç sahibi olmasına yol açması gibi gerçekçi ve acil riskleri var
    Yok oluş riski tarafının önerdiği hamleler ise bu acil riski daha da kötüleştiriyor. Herhangi bir teknolojinin bazı kişiler tarafından başkalarını kontrol etmek için kullanılmasını engellemenin tek yolu, ona herkesin erişebilmesini sağlayacak şekilde demokratikleştirmek oldu
    Erişimi kısıtlarsanız, insanlar yasayı çiğnemek zorunda kalsa bile erişim hakkına sahip olan tarafta daha fazla güç birikir
    %95 güven aralığının alt sınırını alsam bile bunu 50-100 yıl sonrası olarak görüyorum. Makul insanların bu tahmine katılmadığını biliyorum ama dürüst değerlendirmem bu
  • Mevcut yasalar yeterli değil. Öyle olsaydı otomatik ırksal profilleme, kitlesel yüz tanıma, kredi ve sosyal puanlama gibi şeyler olmazdı
    Yapay zeka, sanki hata yapmazmış gibi görülerek bunu daha da kötü hale getirebilir
    Bu yüzden AB yapay zeka düzenlemeleri; temel modeller için kapsamlı belgelendirme ve eğitim verilerinin açıklanması, sosyal puanlama gibi yüksek riskli kullanım alanlarının yasaklanması, yapay zeka kararlarının insanlar tarafından anlaşılabilir biçimde açıklanabilmesi ve bir AI sistemiyle etkileşimde olunduğunun açıkça belirtilmesi zorunluluğunu içeriyor
  • Bu makaleye ortak yazar olarak katılan dünya çapındaki bilim insanları arasında büyük laboratuvarlarda çalışan kimse yok: https://managing-ai-risks.com/
    Bu komplo tam olarak nasıl işliyor deniyor? Yoshua Bengio’ya rüşvet verildiği mi ima ediliyor?
    Bu arada ben büyük bir laboratuvarda güvenlik alanında çalışıyorum ama bu destekçilerin kendileri öyle değil

• Teknoloji çevrelerinde ortaya çıkan bu düzenleme karşıtı havaya direnmek gerektiğini düşünüyorum
  Yann’a söylemek gerekirse, şu anda yapay zeka araştırmalarını yavaşlatıp kontrol altına almaya yönelik güçlü önlemleri tamamen destekliyorum. İlgili şirketlerde hiçbir çıkarım yok ve her hafta birkaç kez yapay zeka etkinliği düzenlenen bir binada 1 yıl yaşamış biri olarak bilgisiz de değilim
  İnsanlığın uygun ölçüde temkinli gerçek bir karşılığı tartıştığı neredeyse tek alan burası. Bu x-risk tartışmasıyla Covid’e verilen hızlı tepki, insanlığın kendini yok etmeme kapasitesine sahip olduğuna dair bana umut veren az sayıdaki şeyden
  Daha sonra yapay zeka x-risk’inin %100 temelsiz olduğu kanıtlansa bile yine aynı şeyi söylerdim
  İnsanlık kolektif olarak frene basma becerisini neredeyse hiç göstermedi ve sadece “bunu yapabiliyor muyuz” sorusunu test etmek bile büyük değer taşıyor. Gerçekten gerekli ve memnuniyet verici bir şey

  • Sorun dikkatli olmamız gerekip gerekmediği değil, Sam Altman’ın bu temkinliliği kendi şirketinin değerini artırmak için alaycı biçimde kullanması
    Silicon Valley’deki zengin bir kişiye diğer herkesten daha fazla güvenmek için hiçbir sebep yok. Neden o oturup bizim ne yapamayacağımıza karar verirken kendisi daha da zenginleşsin? Makalenin asıl noktası da bu
  • Bu frene basmanın en olası sonucu, az sayıdaki çok zengin veya güçlü kişinin yüksek performanslı yapay zekayı tekelleştirmesi
    Bunu kendi zekalarını artıran bir araç olarak kullanabilir ve insanlığın geri kalanına düşük kaliteli erişim kiralayarak çok daha zengin olabilirler
    Eğer yapay zeka bazı kişilerin öngördüğü kadar patlayıcı biçimde ilerlerse, şu anda tanık oluyor olabileceğimiz güç ele geçirmenin boyutunu gerçekten kavramamız gerekir
    En makul “foom” senaryosu, az sayıdaki insanın süperzekayı kullanarak yaşayan tanrılara dönüşmesi. Foom’un kendisinin oldukça spekülatif olduğunu düşünüyorum ama bu versiyon inandırıcı. Çünkü insanların zaten böyle davrandığını biliyoruz ve yapay zekanın ise henüz özbilinç ya da bağımsızlık düzeyinden söz edilecek aşamada olmadığını
    Yapay zekadan endişe duyan gerçek bilim insanlarının çoğunun bunu istediğini sanmıyorum ama düzenleyici bir rejimde sonuç bu olur. Uygun insanlar her zaman istediklerini yapabilir ve düzenlemeler yoksullara ve siyasi bağlantısı olmayanlara uygulanır
    Yapay zeka gelişimi sürecek, yalnızca tekelleştirilecek. Herhangi bir foom senaryosu mümkünse yine yaşanacaktır ve onu yaratan ayrıcalıklı sınıftan miras kalan muazzam ayrıcalıkların üstünden başlayacaktır
    Gerçekte bir “durma” yaşanma olasılığı 0
  • Yapay zekanın ortaya koyduğu riskleri fazlasıyla kabul ediyorum ve bunun insanlık için genel olarak korkunç sonuçlara yol açma ihtimalinin yüksek olduğunu düşünüyorum
    Ama analiz yeteneğim ve internetin anonimliğinin verdiği rahatlıkla dürüst olayım: tam anlamıyla süperzeki yapay zekayı görmeye yönelik muazzam bir arzu, nesnel yargımı ciddi biçimde kirletiyor
    Bunun gerçekleştiğini o kadar çok görmek istiyorum ki, beynimin temel tepkisi “sonuçları boş ver, sadece ne kadar çılgınca havalı olacağını düşün”e yakın
    Bunu dışarıda söylemezdim ama içten içe böyle hissediyorum. Özellikle de yapay zeka geliştirmeyi hayatının işi yapmış insanlar için: cennete ulaşmak için hayatını adamışken o meyveden bir lokma bile almadan nasıl durabilirsin ki
  • Kıyamet senaryosu savunucularının ölüm riskinden söz etmesi, dış dünyaya çıkarsan ölme riskin olduğunu söylemeye benziyor. Elbette risk var ama risk-ödül dengesi yüzünden yine de dışarı çıkmak gerekir
    Yapay zekada da riskin ucu her zaman ölüme çıkabilir ama ödül çok daha büyük. Bu tartışmaya anormal derecede düşük risk toleransına sahip insanların üşüştüğü anlaşılıyor
  • Bir tarafta popüler kültürden çıkmış gibi duran gösterişli ama saçma bir “risk” var, diğer tarafta ise binlerce yıldır sayısız kez kendini gösteren insan doğasının çirkinliği
    Bunlar devasa kaynaklara sahip insanlar ve her zaman olduğu gibi daha fazla servet ve güç elde etmeye takıntılılar
    Söylemi manipüle ederek mevcut gerçek tehlike olan kendilerinden dikkati uzaklaştırıyor ve hayali risk olan “Terminator geliyor” tarafına kaydırıyorlar
    Kurmacalardaki Terminator’lerin çoğu, tam da Altman ve benzerlerinin bulunduğu hükümetler veya büyük şirket araştırma laboratuvarları tarafından yaratılır. Düzen her zaman paçoz isyancıların milyarder kötü adamlara ya da yüzsüz örgütlere karşı savaşması şeklindeydi
    İnsanlığın geleceğini yapay zekadan korumak istiyorsan, mevcut insan güç odaklarına odaklanman gerekir. Bu senaryonun kötüleri onlar ve hep de öyleydi

• “Bir prototip yap, küçük ölçekte test et, sınırlı dağıt, sorunları düzelt, daha güvenli hale getir, sonra geniş çapta dağıt” sözü, sorunlu teknolojinin kasıtlı olarak geliştirildiği varsayımına dayanıyor
  Ama bu, kasıtlı yapılmış bir teknolojiden kendiliğinden ortaya çıkan bir özellik de olabilir
  Zaten bu tür ortaya çıkan özellikler için bir adımız var: “bug”. Heartbleed’i kimse sınırlı dağıtmadı; Spectre ve Rowhammer için de durum aynıydı. Sonuçlarıyla yaşamak zorunda kaldık ve bu hâlâ bitmiş değil
  Teknolojinin risklerinin, evrensel dağıtıma ulaşana kadar gizli kalmayacağını kim garanti edebilir

  • Bu iddia özellikle temenniye dayalı düşünme gibi görünüyor. Son 10 yılda teknoloji sektöründe ne gördünüz de şimdi kalkıp “yavaş ilerleyip dikkatli dağıtım yapacağız” stratejisinin benimseneceğini düşünüyorsunuz, anlayamıyorum
    Ayrıca “We have no moat and neither does OpenAI” argümanını bir kenara bıraksak bile durum bu. Başlıca paydaşlar ne kadar dikkatli olursa olsun, teknoloji bir kez var olduğunda çok geçmeden açık kaynak sürümleri neredeyse hiçbir güvenlik kaygısı olmadan oraya buraya dağıtılacaktır
  • Evet. Hatta 20 yıllık virüsler bugün bile özerk biçimde programların peşinden gidip sorun çıkarıyor
    Onları ilk yapan insanlar artık bundan çıkar sağlamıyor, bunlar artık hiçbir insan niyetiyle uyumlu değil ve “kapatılamıyor” da

• Bence Yann muhtemelen haksız.
  “Kıyametçi” argümanları samimiyetle ele almaya çalışmıyor. Aynı türden motive edilmiş akıl yürütme Yann’ın kendisine ve Meta’nın finansal hedeflerine de uygulanabilir; bu yüzden ikna edici bir çerçeve değil.
  Sadece hakaret etmeyen tartışma girişimlerinde bile, çok zeki birçok insan tanıdığını ama onların başkan olmadığını ya da kendi kedisinin de epey zeki olduğunu ama kendisini yönetmediğini söyleyen örnekler veriyor. Bu, zekanın her zaman kontrol anlamına gelmediğini ima ediyor; fakat riski ciddiye almadığına dair oldukça iyi bir kanıt.
  Risk, zeki insanlarla aptal insanlar arasındaki zeka farkı değil. Parlamentoda kaç şempanze var? Ön seçimlerde? Hiç yok.
  AGI varoluşsal riskinde yetenek farkı bundan çok daha büyük ve temelde çok daha az hizalanmış durumda.
  Neyse ki iktidardaki diğer kişiler Yann tarafından ikna edilmiş değil.

  • Kimin bakış açısı ikna edici ve bu bakış açısını anlamak için ne okumak ya da izlemek gerekir? Epey LessWrong yazısı ve Eliezer konuşması izledim ama mantığın dayanaklarını hâlâ anlamakta zorlanıyorum; anladığım kısımlar da çok muğlak görünüyor.
    Şimdiye kadar bana anlamlı gelen tek öneri FEP tarafı. Birisi bir AI’a kendini üretme mekanizması kurarsa, o AI insanlar için değil, kendi hayatta kalma olasılığını artıracak şekilde davranabilir.
    Ama büyük oyuncuların buna kaynak ayırması için bir teşvik varmış gibi görünmüyor; o yüzden olası da gelmiyor. Benim kaçırdığım bir şey mi var?
  • AI’ın insanlığın soyunu tüketeceğine dair açık, pratik ve rasyonel bir senaryo hâlâ yok. Lütfen AI’ın fırlatma kodlarını ele geçirip rastgele ateşleyeceği hikâyelerini anlatmayın.
  • Ben de tam olarak aynı şeyi düşünüyorum.
    Eliezer’in kıyamet senaryolarına katılmıyorum ama ortaya atılan riskleri tartışmadan, halk korkusunu körükleyen ve iktidarın ele geçirilmesi korkusuna oynayan bir bilim insanı tarafından ikna edilmek zor.
  • AGI’ın toplumsal güç dinamiklerini nasıl etkileyeceğini en iyi anlayacak kişiler muhtemelen AI araştırmacıları değil, politik hayvanlar olacaktır.
    AI araştırmacıları arasında usta bir siyasetçi varsa bu bir istisna olurdu ama öyle biri varmış gibi görünmüyor.
  • “Kıyametçi” mantık, tek bir mantıksal değerlendirmeyle bile görece kolay çürütülebilir.
    Her ülkede, diğer tüm gruplardan çok daha tehlikeli bir grup var. Bunların milyarlarca, hatta yüz milyarlarca dolarlık “gelirleri” var ve bu parayı sadece insan öldürmenin, hükümetleri yıkmanın ve bir ülkenin başka bir ülkeye iradesini zorla kabul ettirmesinin yeni yollarını bulmak için harcıyorlar. Ayrıca tam yasal dokunulmazlığa sahipler.
    Ve kamuya açık olarak hangi kuralı veya anlaşmayı benimsediğimizden bağımsız biçimde, “sınırlı” AI modellerine sınırsız, hatta muhtemelen münhasır en ileri seviye erişime sahip olacak olan grup da tam olarak bu grup.
    O halde beni tam olarak kimden korumaya çalışıyorsunuz? Komşumdan mı? Sokak suçlusundan mı? Sosyopatlardan mı yoksa o gruptan mı?
    Birkaç kürdan ve bir tüp diş macunuyla kitle imha silahı yapmaya yarayan gizli bir numara yok; bu, web aramasıyla veya kütüphane taramasıyla zaten geniş ölçüde erişilebilen “numaralardan” fazlası değil.
    Kısıtlı senaryolarda, bizi kıyamet türü senaryolara sürükleme ihtimali ezici biçimde daha yüksek olan gruplar AI türü sistemlere tamamen sınırsız erişimi koruyor. Toplumu koruma mantığı tamamen sinik ve gülünç.

• Önde gelen AI araştırmacılarına AI Godfather etiketi yapıştırılmasına son verilmesini isterdim. Fazlasıyla gülünç ve gerçeklerle de pek uyuşmuyor.
  AI kavramı Turing’den beri var; eğer birine “AI’ın babası” gibi bir unvan verilecekse buna daha çok o uyardı.
  LeCun’dan sadece Meta’nın Chief AI Scientist’i diye söz etmek yeterli.

  • LeCun’a Meta’daki görevi nedeniyle değil, 1989’da evrişimli sinir ağları üzerine öncü çalışmalar yaptığı için AI godfather deniyor.
  • LeCun, 1989 tarihli “Backpropagation Applied to Handwritten Zip Code Recognition” makalesinin baş yazarı ve bu, geri yayılım ile uçtan uca eğitilmiş sinir ağlarının en erken gerçek dünya uygulamalarından biri.
    “AI godfather” ifadesi yeterince yerinde.
  • Bu ifade genelde 2018 Turing Award kazanan üç kişiyi, Geoffrey Hinton, Yoshua Bengio ve Yann LeCun’u ifade ediyor.
  • LeCun’un evrişimli sinir ağları çalışması modern AI’a katkı yaptı; bu yüzden lakap oldukça uygun. Facebook’un onu kadrosuna katmak istemesinin nedeni de buydu.
  • Sözlüğe göre godfather, “bir hareket veya organizasyonda etkili ya da öncü erkek” olarak tanımlanıyor.
    Önde gelen AI araştırmacılarının önde gelen kişiler sayılmasının nedeni, AI ile ilgili akımları etkilemiş olmaları değil mi?

• Açık kaynak modeller yasadışı hâle getirilmeye çalışılırsa, AI’ı terör aracı olarak kullanmak isteyen çevresel aktörler neredeyse hiç rekabetin olmadığı ve savunma yöntemlerine dair bilginin çok az olduğu bir ortama kavuşur.
  Bu aracın kötüye kullanıldığında, tarihte insan öldürmek için kullanılmış diğer araçlardan daha kötü hâle gelebileceğine pek inanmıyorum ama sırf yeraltına itince de ortadan kaybolmuyor.
  Hapse girecek olanlar yalnızca entelektüel merakı olan sıradan insanlar olur; suçlular ise bunu yapmayı sürdürür ve bizi sömürmeye devam eder.

  • Teröristlerin AI ile yıkım yaratacağı iddiası, el kol hareketi düzeyinde muğlak bir söylem. Teröristler zaten web’den fazlasıyla bilgi edinebiliyor.
    Büyük dil modelleri onlara yeni bir üstünlük sağlamıyor; AutoGPT ile “katil bot” ordusu kurup “yıkım” yaratacak sihirli bir durum da yok.
    Şu an olan şey daha çok, filmlerden çıkmış fikirleri tekrarlayan insanların argümanlarını aynen yinelemek.
  • Nükleer fisil malzeme sıkı biçimde kontrol ve regülasyona tabi, hem de oldukça başarılı şekilde.
    AI geliştirmeyi durdurmak için gereken önlemler hoşunuza gitmeyebilir ama durdurulabilir.

• İnsanlar şu anda fazlasıyla yaygınlaşmış büyük dil modelleri ve difüzyon modellerine odaklanıyor, ancak hisse seçimi ve tahmin için kullanılan AI gerçekten bambaşka bir seviyeye gelip mevcut modelleri istikrarlı biçimde geride bırakırsa muazzam bir serveti içine çekecektir
  İşletmeciler kısa vadeli hırslarına kapılıp sistemi bir gecede çökertmedikleri sürece, fiilen topluma sahip bile olabilirler

  • Tartışmaya açık olsa da, bunun geçmişte en az iki kez zaten yaşandığı söylenebilir. Biri Black-Scholes modeli keşfedildiğinde, diğeri ise yüksek frekanslı işlem ve fiilen emir önceliği mümkün hale geldiğinde oldu
    Piyasanın ilginç yanı, genelde ancak fiyatlar yanlış belirlendiğinde para kazanabilmenizdir. Bu yüzden tam bilgiye sahip bir aktörün bile toplam potansiyel kazancı sınırlıdır
    Şirketin gelecekteki nakit akışlarını ve gelecekteki faiz oranlarını neredeyse kesin biçimde tahmin eden bir AI modeli olsa bile, iskonto edilmiş nakit akışını hesaplayarak bugünkü ya da gelecekteki adil hisse fiyatını kolayca belirleyebilirsiniz
    Piyasa çökme yerine daha istikrarlı hale gelir ve hisseler tahvile daha yakın hareketler gösterir
  • Tahminin temel sınırları vardır. Bu sınırları tanımlayan şey algoritmik bilgi teorisinin temel bir parçasıdır ve AI iyileştirmeleri için de geçerli olan bir sınırdır
    Fizik tarafından kısıtlanan algoritmik bilgi teorisinin “güçlü ani hızlanma” senaryolarına pek izin vermemesi, bu senaryolara yönelik güçlü karşı argümanlardan biridir
    https://en.wikipedia.org/wiki/Algorithmic_information_theory
  • Bu mantığı pek takip edemiyorum. Böyle bir sistem işlem kaynaklı serveti içine çekebilir, ama bu şirket sahiplerine atanan özsermaye değeri ve onların yarattığı servetle karşılaştırıldığında çok küçük kalmaz mı?
  • Finans dünyasında makine öğrenimi modellerinin sınırlarının zaten bilindiğini düşünüyorum
    Geçmiş finans verilerinden tahmin edilebilecek şeylerin bir sınırı var
    Makine öğrenimiyle para basan bir makine yapmanın bir yolu olsaydı, bu zaten gerçekleşmiş olurdu
    Bu, dil ya da görüntü üretiminden çok daha kolay bir problem alanı
  • BlackRock zaten topluma “sahip” durumda
    İnsanlar düşüncesiz algoritmalara saplanıp kalıyor, ama asıl işler her zaman insanlar arasında olur. Yazılım algoritmaları ne kadar sofistike olursa olsun, insan satranç tahtasındaki taşlardan ibarettir
    Çok uzak bir gelecekte silikon yaşam kendi koşullarıyla o satranç tahtasına girebilir. Şimdiki zamanda bundan kazanç sağlamaya çalışmak için bu uzak olasılığı kullanmak tuhaf
    Ama görünüşe göre bu strateji işe yarıyor. Bu da, dayanağı zayıf olsa bile hikâye güzelse kandırılabilen, düşük zekâlı bir lemming sürüsüne daha yakın olduğumuzu gösteriyor

• Büyük dil modellerinde tekel kurmak için artık çok geç. Bunları yapma tekniği biliniyor ve maliyetler düşmeye devam ediyor
  Endişelenecek şeyler var, ama bu onlardan biri gibi görünmüyor

  • İki unsur var
    GPU fiyatları madencilik çılgınlığındaki kadar yüksek değil, ama A100 paketleri almak için yine de bir araba parası gerekiyor. Ayrıca Google gibi yerler yeni nesil makine öğrenimi hızlandırıcıları geliştiriyor ve en iyi ürünlerini hiç satmıyor
    Hesaplama kaynakları sorunun sadece yarısı. E-posta, akıllı asistan sorguları, Ring kapı zili gibi biçimlerdeki veri erişimi, diğer yarı olarak çok daha fazla küçümseniyor
  • Evet. Büyük model eğitiminin yasallığını sınırlamaya yönelik zemin hazırlığı zaten yapılıyor. Son yürütme emrine bakmak yeterli
    Eğitim çalıştırmalarını ve veri merkezlerini devlete bildirme eşiği olarak oldukça küçük bir cutoff ölçeği belirleniyor
    Ayrıca x-risk ve CBRN risk test çerçeveleri ile güvenli ortamlar geliştirilmesi yönünde emirler verildi; bunlar, özel sektör dâhil model geliştiricilere gereklilik olarak dayatılmak üzere tasarlanıyor
    Büyük dil modelleri geliştirmek için gereken bilginin açık kaynak olduğu ve herkesin erişebildiği söylenebilir; bu tam olarak doğru olmasa da genel olarak doğru
    Ancak federal hükümet şu anda bunu yalnızca belirli kişilerin yasal olarak yapabileceği hale getirme sürecinde
  • Eğitim hâlâ çok pahalı. Ucuzlasa bile, performansı daha yüksek yeni nesil modeller yeniden pahalı olacaktır
    Sadece tüketici donanımıyla son teknoloji modeller eğitmek çok zor olabilir
  • Kurum dışındaki kişilerin yetişip yetişemeyeceğinden emin değilim
    OpenAI, Amazon ya da bol fonlu unicorn'ların peşlerinden gelmesini engellemek için büyük dil modellerini düzenleyici yakalama yoluyla kontrol altına almaya çalışıyor. Bu oyuncular bir kez yerleşirse geride kalanlar için oyun biter
    Ortalama bir HN okuru OpenAI ile rekabet edemez. Amaçları, yeterli girişim sermayesine sahip daha fazla rakibin çıkmasını engelleyip pastadan olabildiğince büyük pay almak
    Büyük dil modellerine yönelik abartı ve finansman döngüsü büyük ölçüde sona erdi. Siz Anthropic değilsiniz ve bu oyuna girmek için muhtemelen artık çok geç
  • Bu sorunda teknoloji maliyeti önemli değil
    Önemli olan çekiç değil, inşaat ruhsatı

• Bazı spekülatörler, bolluk çağına girdiğimizi ve paranın çok daha az önemli hale geleceğini, hatta tamamen önemsizleşeceğini söylüyor
  Ama öyleyse şirketler bugünkü “kâr her şeydir” durumundan “para önemli değildir” noktasına nasıl geçecek?
  Bana kalırsa tekelci yoğunlaşma çok daha olası görünüyor

  • Kimin için bolluk? Şu anki üretim araçlarıyla bile tüm türümüz, son Roma imparatorunun hayal bile edemeyeceği şeylerin tadını çıkararak rahat yaşayabilir
    Buna rağmen hâlâ çocuğunu besleyemeyen, fazla çalışmaktan ölen ve toprak yüzünden birbirini öldüren insanlar var
  • Biz uzun zamandır bolluk durumundayız. Sadece o bolluğu dağıtmamayı seçtik
  • Roblox ya da Second Life gibi yerlerdeki güçlü sanal mal piyasaları ve kayda değer sanal ekonomi göz önüne alındığında, kıtlık sonrası ne kadar ileri gidersek gidelim piyasaların her zaman var olabileceğini ve fiilen var olacağını düşünüyorum
    Bu, insanlığın mevcut biçimiyle sürmesi ve tüketim tercihlerinin istikrarlı kalması varsayımı altında geçerli. Kapitalist modelin kendisinden daha az eminim, ama o da varlığını sürdürebilir. Belki sadece eğlence olsun diye bile
    https://en.wikipedia.org/wiki/Virtual_economy
  • İflas, düzenleme, tröstlerin parçalanması ve sabotaj var