Yılda 12 bin dolarla yaşayıp yapay zekanın gidişatını öngören anonim yazar Gwern ile röportaj
(dwarkeshpatel.com)- Anonim internet araştırmacısı ve yazar Gwern Branwen, 2020 civarında birçok AI yorumcusunun gözden kaçırdığı LLM scaling eğilimini erken kavrayan isimlerden biri olarak tanıtılıyor
- Anonimlik, misillemeden kaçınmanın ötesinde, okurun yazarı belirli bir kimliğe ya da niche’e hapsedip anında göz ardı etmesini zorlaştırarak önce okunma şansı yarattığı şeklinde değerlendiriliyor
- Şirketlerde otomasyonun CEO’dan aşağı inen bir yapıdan ziyade, alt düzey işlerden yukarı doğru çıkan bottom-up baskı ile ilerlemesinin daha güçlü olduğu; insan yöneticilerin AI organizasyonlarının uzun vadeli kararlarını üstlendiği bir yapının daha gerçekçi olduğu düşünülüyor
- Gwern, zekayı Turing machine araması olarak görüyor; GPT-1·GPT-2·GPT-3, 2017 tarihli Baidu scaling laws paper, AlphaZero ve BigGAN üzerinden compute·data·trial and error gücünü vurguluyor
- AGI’nin birkaç yıl içinde geleceği varsayımında, tüm projeleri bizzat bitirmektense AI’nin yerine karar veremeyeceği tercih·arzu·değerlendirme·yargı gibi unsurları kayda geçirip gelecekteki uygulama için malzeme bırakmak daha önemli hale geliyor
Anonimlik, avatar ve otomatikleşmiş organizasyonlar
- Röportaj yüz yüze kaydedildi, ancak Gwern’in anonimliği korunmak için avatar kullanıldı
- Videodaki yüz ve ses gerçek değil; yalnızca sözler Gwern’e ait
- Anonimliğin yeterince takdir edilmeyen avantajı, okurun yazarı belirli bir kimliğe ya da niche’e yerleştirip peşinen görmezden gelmesini zorlaştırması
- Misillemeden kaçınma etkisi de var, ancak Gwern bunu, bağlam nedeniyle anında dışlanmadan en azından okunma fırsatı elde etmek açısından daha önemli görüyor
- Evine eroin gönderilmesinden ya da hakkında SWAT ihbarı yapılmasından kaçınmış olmasını da bir fayda sayıyor
- Şirketlerde otomasyonun, CEO’nun önce yerini aldığı top-down bir modelden çok, çalışanlardan ve alt düzey görevlerden yukarı çıkan bottom-up baskı ile ilerleyeceğini düşünüyor
- Mevcut organizasyonlarda alt kademedeki görevlerin yerini alıp zamanla yukarı çıkmak daha kolay kabul görüyor
- Nihai olarak, AI’lardan oluşan bir şirketi denetleyen insan yöneticiler modelini öngörüyor
- Pekiştirmeli öğrenme açısından, insanların AI’dan daha iyi olabileceği alanlar uzun vadeli vizyon, yeni uzun vadeli stratejiler ve fırsat yakalama olabilir
- İnsan CEO’nun vizyon koyduğu, AI organizasyonunun öneri ve uygulamayı üstlendiği, ardından insan CEO’nun bunlar arasından seçim yaptığı bir yapı mümkün görülebilir
- Bu tür insan liderliğindeki şirketlerin, tamamen AI’dan oluşan şirketlerden uzun vadede daha iyi kararlar alabileceği düşünülüyor
- Gwern, kendi işinde en sona kalacak insan rolünü de Steve Jobs tarzı seçim yapma işine benzetiyor
- AI minion’lar denemeleri getirirken, kendisinin hangi yazının daha iyi olduğuna ve hangi yönün daha fazla zorlanacağına karar verdiği bir rol hayal ediyor
AI organizasyonları ve seçim birimi
- AI’lardan oluşan bir şirkette seçim birimi, tek tek modellerden daha büyük olan “zihin paketleri” ya da departman düzeyi olabilir
- Tekil modeller kusursuz biçimde kopyalanabiliyorsa, seçim birimi daha üst seviyeye taşınır
- Tek tek zihinler diferansiyellenebilir biçimde eğitilebilir, ancak zihinler arası etkileşimleri doğrudan eğitmek zordur
- Belirli etkileşim öğelerine indirgenemese bile, bütün olarak iyi çalışan model grupları olabilir
- Örnek olarak programmer, manager type, secretary type, financial type, legal type gibi rolleri içeren bir department unit veriliyor
- Yeni bir unit gerektiğinde temel paketin kopyalanıp her bileşene rastgele mutasyonlar verildiği, ardından performansı iyi olan paketin korunduğu bir evrim mümkün olabilir
Singularity soy ağacı ve zeka teorisi
- Singularity’nin ne zamandan itibaren öngörülebileceği konusunda Gwern, en azından Samuel Butler’ın 1872 tarihli Erewhon eserine ya da 1863 tarihli “Darwin among the Machines” makalesine kadar geri gitmek gerektiğini düşünüyor
- Butler, 1863’te makine yaşamının giderek gelişip özerklik kazanacağını ve sonunda insanlık için tehdit oluşturacağını açıkça yazmıştı
- Butler, makineler hakkında “war to the death should be instantly proclaimed against them” sonucuna varıyor
- Gwern, 1863 öncesinde daha net bir Singularity senaryosu olduğundan emin olmadığını söylüyor
- Isaac Newton’un, kendi dönemindeki icatları ve ilerlemeyi gerçek bir teknolojik hızlanma olarak değil, uygarlığın birkaç bin yılda bir yıkılıp geçmiş bilginin yeniden keşfedilmesi olarak açıkladığı belirtiliyor
- Dwarkesh bunu, uzaydaki uygarlıklara ilişkin Fermi paradox’tan çok, zamanda farklı uygarlıklara ilişkin bir Fermi paradox gibi görüyor
- Gwern, Lucretius’un da yaklaşık 1.700 yıl önce Roma’daki yenilik ve öğrenimi görerek benzer bir akıl yürütme yazdığını söylüyor
- Gwern’in zeka teorisi, “Turing machine’ler üzerinde arama” şeklinde özetleniyor
- Olan her şey, farklı uzunluklardaki Turing machine’lerle tanımlanabilir
- Öğrenme ya da scaling, daha fazla ve daha uzun Turing machine’i arayıp bunları belirli örneklere uygulama sürecidir
- Genel bir master algorithm ya da özel bir intelligence fluid yoktur; asıl olan, çok büyük sayıda özel durumu öğrenip beyne encode etmektir
- İnsan zekası farklarını da, daha fazla compute ile daha çok Turing machine’i daha uzun süre arama farkı olarak görüyor
- Beyinde fluid intelligence’tan sorumlu bir “IQ gland” benzeri bölge olmadığını söylüyor
- Beynin çok sayıda özel problemi tek tek öğrendiğini, bunların daha sonra yeniden birleşerek fluid intelligence gibi göründüğünü düşünüyor
- Büyük neural network model, birçok küçük probleme uyarlanmış small model’lardan oluşan dev bir ensemble gibi görülebilir
- İnsan düzeyinde genel zekanın evrimleşmesinin uzun sürmesinin nedeni, birçok canlı için belirli problemlere özel mekanizmaların general-purpose intelligence’tan daha uyumlu olabilmesi olabilir
- Küçük Turing machine’ler, yeterli evrim olduğunda genler tarafından daha doğrudan encode edilebilir
- Statik niche’lerde, zekanın çok pahalı olduğu niche’lerde ya da ömrü kısa olup öğrenmeye yeterli zamanı olmayan canlılarda, insan tarzı öğrenmeden ziyade belirli problemlere yönelik mekanizmalar daha iyi olabilir
Ölçeklemeyi erken benimseme süreci
- Gwern’in ölçekleme perspektifi, 2000’lerin ortasında Moravec ve Ray Kurzweil okumasıyla başladı
- Bu iki ismin, yeterli compute olduğunda insan beynine uygun neural network architecture’ların keşfedilmesine varılabileceğini savunan connectionist bir tez ileri sürdüğünü söylüyor
- Gwern o dönemde bunu bir tür “magical thinking” gibi görmüş; algoritmaların karmaşık olduğunu, derin içgörü ya da zor matematik gerektiğini düşündüğü için şüpheciymiş
- LessWrong, transhumanism ve AI risk ile ilgilenirken Shane Legg’in yazılarını takip etti ve Legg’in öngörüleriyle karşılaştı
- Gwern’e göre Legg, Moore’s Law sürerse 2019 civarında ilk generalist system’i, 2025 civarında generalist capabilities’e sahip humanish agents’ı, 2030 civarında ise AGI’yi öngörüyordu
- DanNet ve AlexNet sonrasında Gwern, connectionism için etkileyici başarı örnekleri gördü
- Bunun izole bir başarı mı olduğunu, yoksa GPU’lar ortaya çıktıkça daha iyi algoritmaların belireceğini söyleyen Kurzweil·Moravec·Legg çizgisinin bir parçası mı olduğunu izlemeye başladı
- Deep learning literatürünü okumayı sürdürürken dataset size, model size ve GPU kullanımının büyüdüğünü; neural network’lerin kullanım alanının dar use case’lerden giderek daha geniş alanlara yayıldığını gördü
- arXiv’de CNN’lerin her gün farklı problemlere uygulandığını görerek “zeka, çok miktarda compute, data ve parameters uygulanmasından ibaret olabilir” görüşüne kaydı
- GPT ailesi, fikrini değiştiren önemli bir dönüm noktası oldu
- GPT-1’deki unsupervised sentiment neuron, kendi kendine öğrenmesi açısından şaşırtıcıydı
- GPT-2’nin prompting ve summarization yetenekleri, güçlü biçimde ölçekleme dünyasında yaşadığımız hissini verdi
- GPT-3’ü, GPT-2’nin büyük ölçekli bir scale-up’ı olarak ve Go gibi dar bir task değil, ölçeklemenin geçerliliğini ölçmek için kritik bir test olarak gördü
- GPT-3 makalesinin başındaki few-shot learning chart’ını görüp “we are living in the scaling world” sonucuna vardı
- 2020 civarında birçok AI yorumcusunun LLM, GPT-3 ve scaling laws’u kaçırmasının iki nedeni olduğunu düşünüyor
- Önceki ölçekleme sonuçlarını yeterince yakından takip etmediler ve hangi sonuçların önemli olduğunu geriye dönük olarak doğru değerlendiremediler
- Algoritmaların compute’tan daha önemli olduğu inancını paylaşıyorlardı
- Gwern, compute’un trial and error ile serendipity’yi mümkün kıldığı için önce geldiğini düşünüyor
- Hyperparameter’lardaki küçük farklar ya da architecture seçimi sonucu büyük ölçüde değiştirebilir; ancak yalnızca birkaç deneme yapabiliyorsanız bir şeyin çalışmadığına karar verip vazgeçmek kolaydır
- Compute bol olduğunda denemeye devam edip iyi çalışan çözümü bulabilir, ardından basitleştirme, iyileştirme ve nedenleri anlama yoluyla bunu robust bir solution’a dönüştürebilirsiniz
- Eski deep learning literatüründe modern fikirlerin zaten bulunduğunu, ancak compute yetersizliği yüzünden pratikte kullanılamadıkları örnekler olduğunu düşünüyor
- ResNet’in 1988’de yayımlandığını ve çalıştığını, ancak ölçeğin çok küçük olması nedeniyle pratik bir fayda üretmediğini ve unutulduğunu; ancak 2015’te deep learning devriminin parçası olarak yeniden ortaya çıktığını anlatıyor
- BigGAN’in 300 million images’a kadar scale edildiği örneği de insanların yeterince dikkat etmediği sonuçlardan biri olarak görüyor
AGI çağında projeler ve yazı
- Gwern’in AGI timeline’ı 2005~2010 döneminde 2050 sonrası gibi çok uzaktı
- AlexNet ve DanNet sonrasında ise bu timeline’ın her yıl iki yıl öne geldiğini söylüyor
- Deep learning’in engelleri aşmayı sürdürdüğünü; alternatif paradigm’ların iyi performans göstermediğini, buna karşılık bu paradigm’ın çok iyi çalıştığını düşünüyor
- AlphaGo sonrasında bazı kişilerin AI hype’a aşırı tepki verdiğini düşünüyor
- Dota sonrasındaki büyük reinforcement learning girişimleri, simulated game universe dışındaki zor problemlerde iyi çalışmayınca, Gwern de kendisinin fazla ileri gittiğini düşündü
- GPT’nin ortaya çıkmasıyla bu fikrinden vazgeçti ve RL’nin, generative model adlı pastanın üzerindeki cherry olacağını düşünüyor
- AGI’nin birkaç yıl içinde geleceğini ciddiye alırsanız her projeyi bizzat hayata geçirmeniz gerekmez
- Yapmak istediği ya da keyif aldığı şeyleri, AI bunları üç yıl sonra yapabilecek olsa bile şimdi yapıyor
- Bazı projelerde ise ne istediğini, bunun neden iyi olduğunu ve nasıl yapılacağını net biçimde sketch edip, uygulamayı daha iyi bir AGI’ye bırakabilirsiniz
- Gwern, gelecekte daha fazla kaydetmek istediği şeyleri preferences, desires, evaluations, judgments olarak görüyor
- AI “sizin yerinize dondurma yiyemez” ve hangi dondurmayı sevdiğinize de sizin yerinize karar veremez
- Bir işe yaklaşımındaki ölçüt üç maddeden oluşuyor
- Gelecekteki AI’dan bağımsız olarak keyif aldığı için yaptığı bir iş mi
- Yalnızca insanın yapması gereken kısmı yapıp geri kalanını AGI’nin sonra üstlenebileceği bir iş mi
- Bugün kaydedilmemiş bir şeyi yazarak gelecekteki AI versiyonu olan kendisine yardımcı olduğu bir iş mi
- Bu üçüne girmeyen işleri temelde yapmamaya çalışıyor
- AI’nin Gwern kalitesinde essay yazabileceği zamana dair, tüm corpus birleştirilirse AGI olmadan da bunu mümkün kılabilecek fikirleri olduğunu söylüyor
- Birçok potansiyel essay fikri, corpus içinde zaten büyük ölçüde tamamlanmış durumda; bunları ortaya çıkarmak için super intelligence gerekmeyebilir
- Genel AGI planlaması açısından bakıldığında Anthropic’in 2028 timeline’ının iyi bir başlangıç noktası gibi göründüğünü söylüyor
- Yazmayı, geleceğin Shoggoth’unu etkileme eylemi olarak görüyor
- LLM’in tahmin etmesi gereken token’lar, AI’nin algıladığı az sayıdaki currency’den biri ve yazmak geleceğe oy vermeye benziyor
- Online metinlerde ifade edilmemiş değerler, zevkler ve arzular AI için fiilen var olmuyor
- “If it wasn’t written down, it wasn’t written down” sözünde olduğu gibi, kayda geçirilmemiş otobiyografik bilgiler ya da belirli bir andaki duygular daha sonra izlerden yeniden kurulması zor şeylerdir
Rabbit holes, işitme engeli, Wikipedia
- Gwern, hayatta maksimize etmeye çalıştığı şeylere rabbit holes diyor
- Hiç bilmediği yeni fikirlerin ya da alanların içine derinlemesine dalmayı en çok heyecan verici şey olarak görüyor
- Catnip'e tepki vermeyen kediler örneğinden yola çıkarak, neden bazı kedilerin catnip'e bağışık olduğunu ve alternatif catnip benzeri maddeleri bile araştırdığını söylüyor
- Aynı anda derinlemesine keşfedilebilecek rabbit hole sayısının en fazla 2-3 olduğunu düşünüyor
- Bunun ötesi, gerçekten emek verip derine inmekten çok geçici bir ilgiye yaklaşıyor
- Rabbit hole'un takıntılı olması gerektiğini, insanı sürekli çekmiyorsa gerçek bir rabbit hole olmadığını söylüyor
- En uzun süre içine düştüğü ama tatmin edici biçimde sürdüremediği rabbit hole olarak Neon Genesis Evangelion hakkındaki ilk çalışmalarını örnek veriyor
- İngilizce yazılmış neredeyse tüm kaynakları okuyup yapım sürecini ve eserin neden o hale geldiğini anlamaya çalışmış, ancak o dönemde net bir cevap bulamadan tükenmiş
- Yıllar sonra bunu tesadüfen anladığını, ama tekrar yazacak ya da tamamlayacak kadar ilgisinin kalmadığını söylüyor
- Gwern, doğuştan işitme engelli olduğunu ve anaokulundan önce işitme engelli ve diğer engelli çocuklara yönelik bir özel eğitim okuluna gittiğini anlatıyor
- Okulda, öğretmene bağlı işitme cihazını ve büyük kahverengi kutuyu her derse taşımak zorundaymış; bunun da onu diğer çocuklardan farklı hissettirdiği için utanç verici olduğunu söylüyor
- O dönemde işitme cihazlarının performansı iyi olmadığı için konuşmaları anlamakta hep bir adım geriden geldiğini, bunun sosyalleşmesini ciddi biçimde olumsuz etkilediğini belirtiyor
- Okumanın işitme engelinden etkilenmeden yapabildiği bir etkinlik olması nedeniyle kendisini bir bookworm'a dönüştürmesinde payı olduğunu düşünüyor
- Bloguna başlamadan önce Wikipedia'da editörlük yapıyormuş
- Wikipedia'nın gwern.net'ten önce gwern.net gibi bir işlev gördüğünü ve bugün kendi sitesinde yaptıklarını o zaman English Wikipedia'da yapacağını söylüyor
- Fujiwara no Teika maddesiyle hâlâ gurur duyuyor
- Yazı yazma konusunda öğrendiği pek çok şeyin okuldan ya da üniversiteden değil, Wikipedia editörlüğünden geldiğini söylüyor
- Bugünün English Wikipedia'sında eskisi gibi rabbit hole temelli bir eğitim yapmanın zorlaştığını düşünüyor
- 2004'e kıyasla maddelerin çok daha dolu olduğunu ve editör topluluğunun ayrıntılı, takıntılı araştırma niteliğindeki katkılara daha düşmanca yaklaştığını söylüyor
- Bu tür katkılar silinebiliyor ya da original research ve onaylanmamış kaynak gerekçesiyle reddedilebiliyor
- İlk büyük başarısının Silk Road yazısı olduğunu söylüyor
- Adrian Chen Gawker'da Silk Road'dan LSD satın aldığı bir yazı yayımlayınca, Bitcoin'in internette gerçekten uyuşturucu satın alabilecek kadar gerçek bir şey olduğunu düşünüp tutumunu değiştirmiş
- Gwern, Silk Road'u bizzat kullanıp sipariş sürecini ekran görüntüleriyle birlikte belgelediğini anlatıyor
- Yazının yayımlandıktan sonra yüz binlerce görüntülenme aldığını ve Google Analytics grafiğinde dikey bir sıçrama gibi göründüğünü söylüyor
Çalışma biçimi, yazma motivasyonu, site tasarımı
- Gwern, insanların kendi zekâlarını abarttığını düşünüyor
- Çok şey hatırladığı ve uzun süre boyunca çok yazdığı için her şeyi anında yapabilen biri gibi göründüğünü söylüyor
- Gerçek konuşmalarda çoğu zaman daha önce yazdığı ya da uzun süre düşündüğü şeyleri aktarıyor
- Anlık olarak hızlı güncellenebilen insanlarla karşılaştırıldığında özellikle çok zeki olmadığını, ama sonuçta önemli olanın ortaya çıkan üretim olduğunu düşünüyor
- Çalışma süreci, dâhiyane tek bir hamleden çok uzun zaman boyunca küçük notların birikmesine benziyor
- “Garip”, “Bu desenin bir başka örneği” gibi notlar 10 yıl boyunca birikince ortaya çıkan şey sihirli görünebiliyor
- Penn & Teller'ın “Sihir, makul bir insanın beklediğinden daha fazla emek harcamaktır” sözünü sevdiğini söylüyor
- “Evolution as Backstop for RL” gibi denemeler, aynı deseni tekrar tekrar görmenin sonucu olan sentezler
- Aptalca ve verimsiz bir öğrenme biçimiyle daha akıllı olanın öğrenildiği ama ilk yöntemin tamamen ortadan kaldırılamadığı yapı, bunun merkezinde yer alıyor
- Şirketler, meta reinforcement learning, neural networks ve pain gibi örnekler birbirine bağlanarak bugünkü yapıyı oluşturuyor
- Bazı denemeler bir eureka anından çıkıyor, ama ondan önce birbirine bağlı olduğu bilinmeyen çeşitli notlar uzun süre elde duruyor
- Bir gün ansızın hepsinin bağlantılı olduğu fark edildiğinde devasa bir denemeyi tek seferde yazıya döküyor
- “The Melancholy of Subculture Society” bunun gibi eureka tipi denemelere örnek
- Günlük çalışma akışı, bir önceki günün web sitesi çalışmalarını toparlamakla başlıyor
- formatting, spelling errors ve yerleşim sorunlarını düzeltiyor; ek düşünceler ya da önemli yorumlar ekliyor
- Sonrasında Twitter ya da RSS feed üzerinden bolca okuyor, yorumlar ya da sorular dikkatini çekerse yazı yazıyor
- Akşamları gerçek projeler ya da katkı işleri yapmaya çalışıyor, ardından gym'e gidiyor
- Gym'e gitmesinin nedeni, bilgisayar başında oturup okumaktan tamamen farklı bir etkinlik olması
- weightlifting'i özel olarak sevdiği için değil, burnout'tan kaçınmak için mümkün olduğunca farklı şeyler yapmak gerektiğini düşündüğü için gidiyor
- Çevrimiçi tartışmalar, Gwern için güçlü bir yazma motivasyonu
- Yazıp düşünceyi kristalize ederek “hasat etmek” için motivasyona ihtiyaç duyduğunu söylüyor
- İnternette insanların yanlış olmasından doğan öfke ve tartışma motivasyonunun bol olduğunu düşünüyor
- Ancak spite'ı yalnızca gerektiği sürece kullanmak ve sonrasında bırakmak gerektiğini, aksi halde insanın kendini zehirlediğini söylüyor
- Web sitesinin CSS'i ve tasarımı için çok zaman harcamasının toplumsal fayda açısından bütünüyle savunulabilir olmadığını kabul ediyor
- Bunu sevdiği için yaptığı bir hobi olarak görüyor; güzel bir web sitesinin kendi yazılarını tekrar tekrar okumayı daha katlanılır hale getirdiğini düşünüyor
- Site bakımının yazar için bir tür spaced repetition olabileceğini söylüyor
Geçim, Patreon, yılda 12.000 doların altında yaşamak
- Tam zamanlı yazarlığını Patreon ve birikimleriyle sürdürüyor
- Patreon geliri ayda yaklaşık 900-1.000 dolar seviyesinde
- Erken dönem Bitcoin varlıkları sayesinde uzun süre yetecek kadar para kazanma şansı bulmuş, ama bunun sonsuza kadar yetecek kadar olmadığını söylüyor
- Mümkün olduğunca harcamaları kısarak yazma runway'ini uzatmaya çalışıyor
- Patreon ve Substack'in ödül yapısı Gwern'e garip geliyor
- Bir paywall oluşturmadan iyi ödüller yaratmanın zor olduğunu düşünüyor
- Scott Alexander gibi düzenli bülten tarzı güncellemeleri seven insanlar için Patreon ve Substack'in iyi işlediğini, ama kendisinin bu tarzı sevmediğini söylüyor
- Yılda 12.000 doların altında yaşamanın koşulu aşırı tutumlu olmak
- Uzak bir yerde yaşıyor, seyahat, dışarıda yeme ve sağlık sigortasına neredeyse hiç harcama yapmıyor; kendi yemeğini yapıyor ve ücretsiz spor salonu kullanıyor
- Yatak odasının zemini nemden çürüyüp çökmeye başladığında hurda kereste ve kirişlerle desteklediğini, böceklerin içeri girmesine de katlandığını örnek veriyor
- Kendi yaşamını “daha iyi ramen yiyen bir lisansüstü öğrenci”ye daha yakın diye tanımlıyor
- Bu yaşam tarzının ideal ya da başka yazarların birebir uygulayabileceği bir model olmadığını söylüyor
- Şimdiye kadar sağlığının çok iyi gitmesini ve büyük acil durumlar yaşamamış olmasını da bir şans olarak görüyor
- Bitcoin, keşiş gibi yaşamaktan memnun bir mizaca sahip olması ve sağlığının aynı anda denk geldiği özel bir durum olduğunu belirtiyor
- Yazar ya da blogger olmak isteyenlerin, Substack kullanmak ya da bir teknoloji şirketinde JavaScript işi yaparken yan tarafta yazmak gibi kendilerine uygun farklı geçim modelleri bulmaları gerektiğini söylüyor
- San Francisco'ya taşınmamasının başlıca nedeni para
- San Francisco'da geçireceği her bir ay için birkaç aylık yazma runway'inden vazgeçmek zorunda kalacağını düşünmek istemediğini söylüyor
- Birisi ona yılda 50.000-100.000 dolar verip SF'ye taşınmasını ve şu anki gibi tam zamanlı yazmaya devam etmesini sağlasa bunu hemen kabul edeceğini söylüyor
Yapay zeka model çeşitliliği, GLP ilaçları, çevresel faktörler, psychedelics
- Gwern, “yetenek” dışında yapay zeka modellerinin bilişsel olarak zaten insanlardan çok daha çeşitli olduğunu düşünüyor
- Farklı LLM’lerin yalnızca örneklere bakıldığında bile belirgin biçimde farklı şekillerde düşündüğünü savunuyor
- LLM’lerin GAN’lardan farklı olduğunu, GAN’ların da VAE’lerden farklı olduğunu; özellikle küçük veya düşük performanslı modellerde latent space, artifact ve hataların çok daha farklılaştığını düşünüyor
- Chatbot Arena’da modellere göre çıktıları ayırt etmenin zor olduğu durumlar hakkında Gwern, bunun son dönemde LLM’lerle sınırlı ve heavily tuned bir durum olduğunu düşünüyor
- Herkesin birbirinin yöntemini takip ettiği ve neredeyse aynı verilerle eğitildiği bir bağlam olduğu için bunu “tek yumurta ikizleri”ne benzetiyor
- Deep learning’in geneline bakıldığında ise zihin ve düşünme biçimi yelpazesinin çok geniş olduğunu düşünüyor
- GAN ile diffusion model arasındaki farkın ellerin temsil edilme biçiminde ortaya çıktığını düşünüyor
- GAN’ların adversarial loss nedeniyle bir şeyi gizleme teşviğine sahip olduğunu; bu yüzden elleri ekran dışına göndermek ya da eller hakkında hiç düşünememek gibi sonuçlar verdiğini söylüyor
- Diffusion model’lerin ise elleri “düşündüğünü” ama onları devasa ve canavarca biçimlerde gösteren hatalar yaptığını belirtiyor
- İnsanların şu anda sonuçlarını yeterince kavrayamadığı bir eğilim olarak GLP sınıfı kilo verme ilaçlarını gösteriyor
- Sağlık, bağımlılık ve çok çeşitli davranışlar üzerindeki etkilerinin şaşırtıcı olduğunu söylüyor
- Sonuçların hâlâ preliminary olduğunu ama gerçek bir etki varmış gibi göründüğünü belirtiyor
- Bunun insan iradesi ve işlev bozukluğu hakkında önemli şeyler öğretebileceğini düşünüyor
- GLP drugs’un Algernon argümanını çürütüp çürütmediğini söylemek için henüz erken olduğunu düşünüyor
- GLP’nin gerçekte ne yaptığını henüz anlamadığımızı söylüyor
- Faydaların, doğurganlık açısından fitness’ı düşürüyor olabileceğini ya da genetik olarak kopyalanması çok zor bir şekilde bedende etkili olabileceğini belirtiyor
- Obezite krizinin ancak 1990’lar civarında belirginleşen yakın dönemli bir olgu olduğu için 20-30 yıllık ölçekte Algernon argümanını uygulamanın zor olduğunu düşünüyor
- Modern çevrede, antik Roma’daki kurşun zehirlenmesi gibi büyük etkiler yaratan unsurların bulunma ihtimalini neredeyse %100 görüyor
- Kimyagerlerin sürekli yeni maddeler ürettiğini, microbiome ile ilgili etkenlerin de bulunduğunu, plastics’in popüler bir aday olduğunu ama mutlaka plastics olmak zorunda olmadığını söylüyor
- Belirli bir nedene inanmadığını ama “burada %1, burada %1” şeklinde biriken zararlı bir şey olabileceğini düşünüyor
- Zaman serilerine bakıldığında intelligence genel olarak oldukça istikrarlı göründüğü için, gerçek zararlı etkenlerin intelligence’tan çok obesity ile ilgili olmasının daha olası olduğunu düşünüyor
- Bay Area tarzı psychedelics deneylerine şüpheyle yaklaşıyor
- Psychedelics’in etkileri acute olabilir ve permanent sonuçlar doğurabilir
- Nootropics’in etkilerinin ise görece daha manageable ve kontrol edilebilir olduğunu düşünüyor
- LSD gibi maddelerin, LSD kullanımı hakkındaki bakışı ya da psychiatric state’i kalıcı olarak değiştirebileceğini söylüyor
- Birkaç kullanımın iyi olabileceğini ve kendisinin de fayda gördüğünü, ancak bunun ötesinde kişi ne kazandığını ve nasıl değiştiğini ciddi biçimde sorgulamalı diyor
Edebiyat, kurgu, kalan sorular
- İnternet olmasaydı Gwern’in, resmî akademide hayatta kalmak için ilgi alanlarını daraltıp düzenli yayın yapan biri olabileceğini ya da Jorge Luis Borges gibi kütüphaneci olma yoluna sapabileceğini söylüyor
- Borges’in “cenneti bir kütüphane olarak hayal etme” fikrine hep katıldığını ve kendisinin de kütüphaneleri sevdiğini belirtiyor
- Artık çoğunlukla bilgisayarda okuduğu için fiziksel kütüphanelerde çok zaman geçirememesine üzüldüğünü söylüyor
- Borges, Gwern için kahraman gibi bir yazar
- Dan Simmons’ın Hyperion ve The Fall of Hyperion’ı, Kevin Kelly’nin Out of Control’ü ve “The Library of Babel” üzerinden Borges’in kurgu ve kurgu dışı toplu eserlerini tekrar tekrar okuduğunu anlatıyor
- Derin bilgisini temel alarak yaratıcı, eğlenceli ve kışkırtıcı kısa öyküler ve denemeler yazabilmesine hayran kaldığını; herhangi bir yazar gibi olabilecek olsaydı Borges olmak isteyeceğini söylüyor
- Başta anlamayıp sonradan anladığı edebiyat eserleri olarak Ted Chiang’ın “Story of Your Life”ı ile Gene Wolfe’un “Suzanne Delage”ını anıyor
- “Suzanne Delage”ı, Dracula’nın kasabayı istila edip bir kadını kaçırdığı ve anlatıcıyı Bram Stoker usulü hipnotize ederek olan biteni unutturduğu incelikli bir Dracula yeniden anlatımı olarak yorumluyor
- “Story of Your Life”ı zaman yolculuğu ya da geleceği görme üzerine değil, her şeyi zaten belirlenmiş bir hikâyenin ve kaçınılmaz sonun parçası olarak gören, yabancı ama eşit derecede geçerli bir zihin üzerine bir hikâye olarak anladığını söylüyor
- Kurgunun faydası konusunda alaycı
- Bir insanın ömrü boyunca yalnızca fiction okuyup, başkalarının uydurduğu şeylere dair çok sayıda önemsiz bilgi ezberlemek dışında hiçbir kazanç elde etmemesinin mümkün olduğunu düşünüyor
- Okuduğu bilimkurgunun %99’unun tamamen işe yaramaz olduğunu; bakış açısını gerçekten değiştirecek kadar içgörülü eserlerin ise roman ve öyküler arasında yaklaşık 20 parçaya indirgenebileceğini söylüyor
- O en üst düzey eserlerin ortak noktasının insan dışı zekâyı ciddiyetle ele almaları olduğunu belirtiyor
- İnsanların hayatında üstlenmek istediği rolün, Claude-3 gibi LLM’lerde “Gwern” karakterinin bir mentor ya da yaşlı bir büyücü olarak belirdiği role benzediğini söylüyor
- Duruma dair içgörü sunan ve “sen de yazabilir, bir şey yapabilir, düşünebilirsin” türünden bir call to adventure veren figüre daha yakın olduğunu belirtiyor
- Okurun sadece eğlenmek ya da bilgi almakla kalmayıp, web sayfasının ve internetin daha iyi olabileceğine dair bir aspiration taşımasını istediğini söylüyor
- Gerçekte ise bazı insanlar için bir guru ya da trickster devil gibi bir figüre dönüşebileceğinden endişe ediyor
- Onu sevenler için sitedeki her şeyi gospel gibi kabul edilebilecek biri olarak görülebileceğini ve kendisinin bundan hoşlanmadığını söylüyor
- Ondan hoşlanmayanlar içinse covert, malicious, neo-Nazi, eugenicist, totalitarian, communist, anti-Chinese bir devil figure gibi abartılı bir kötü karakter olarak görülebileceğini belirtiyor
- 2050’ye kadar yanıtını görmek istediği open rabbit holes, insan ve uygarlıkla ilgili büyük sorular
- Neden uyuyoruz ve rüya görüyoruz
- Neden insanlar yaşlanıyor
- Neden eşeyli üreme var
- Neden insanlar hem birbirlerinden hem de günden güne bu kadar farklı
- Neden insanların teknolojik uygarlık geliştirmesi bu kadar uzun sürdü
- Uzaylılar nerede
- Sanayi Devrimi neden Çin’de değil de başka bir yerde gerçekleşti
- Deep learning revolution nasıl öngörülmeliydi
- İnsan beyni neden artificial neural networks ile karşılaştırıldığında bu kadar oversized
1 yorum
Hacker News yorumları
Yazı yazmak, Shoggoth’un kabul ettiği az sayıdaki para biriminden biri olan, yani tahmin edilmesi gereken tokenlarla geleceğe oy vermektir. Yazmamak, geleceği ve o gelecekteki rolünü terk etmek demektir; iyi bir yurttaş olarak yaşamanın, oy vermenin, çöp toplamanın ve geri dönüşüm yapmanın yeterli olduğunu düşünebilirsin ama bu, geleceği umursamadığın anlamına gelir
AI tahminleri, gerçek insanların AI üretimi medyanın insan yapımı eserlerin yerini almayı başarıp başarmadığını ya da en başta başarıp başaramayacağını nasıl değerlendireceğini neredeyse hiç hesaba katmıyor gibi görünüyor. Şu anda bir projenin AI üretimi olarak bilinmesi daha çok olumsuz bir şey; 2 yıl önce blog başlığında bir AI görseli olması havalı görünürken, şimdi modası geçmiş biri gibi gösteriyor
Bu yüzden süper zekâ AI’nın insan üretimi eserlerin, denemelerin, yazıların, videoların vb. hepsinin yerini alacağı tahminlerine kuşkuyla bakıyorum. Bir şeyin mümkün olması, gerçekten öyle olacağı ya da insanların bunu önemseyeceği anlamına gelmez. Aksine, insan olduğunu doğrulama yöntemlerinin yerleşmesi, ilgi ekonomisinin hâlâ gerçek insanlara odaklanması ve kimsenin etkileşime girmediği bir AI çöp mezarlığının ortaya çıkması çok daha olası görünüyor
AI’nın ele geçiremeyeceğine dair mantık şu: biz semboller ve anlatılar etrafında örgütleniyoruz, zayıf ya da aşağı görülen memlere karşı çok hassasız, bu yüzden AI her seferinde kendini “AI olmayan bir şey” olarak yeniden icat etmek zorunda. Ama müziği örnek alırsak, sınırlı varyasyonların on yıllarca hüküm sürdüğü de oldu ve endüstriyel makinelerin ürettiği pop yıldızı benzeri çöplüklerden milyonlarca insanın zihnini hayat boyu elinde tutan baskın memlerin çıktığı örnekler de var
Günümüz AI’sı, bu tür pop yıldızlarının bütün anlam sistemini taklit edebiliyor; TV Tropes, insanların bağışıklık kazanması gereken kültürel çöplerin tüm unsurlarını zaten katalogluyor ama buna rağmen milyonlarca insan pop çöplüğünden aldığı karakterler ve anlatılarla yaşamayı sürdürüyor. Bugün müzik, TV ve filmler insanların ontolojisini nasıl şekillendiriyorsa, AI çöpünün ontolojiyi şekillendireceği uzun bir kuyruk da kesinlikle ortaya çıkacak; bu, AI simülasyonuna kapılmaya epey yakın ve hatta daha incelikli olabilir. Ya da insanlar bunu basitçe üstlerinden atabilir
İnsanlık, hard takeoff öncesinde performans artışlarında azalan getiri yaratacak, baş edilmesi zor bilgi kuramsal sınırlara çarpılacağı düşüncesine geleceğini bağlamış durumda; ama şu an kanıtlanmış yöntemlerin herhangi bir S eğrisinin üst kısmında bulunduğu iddiasına bugün için güvenmek zor. AI modelleri bu yıl geçen yıldan, geçen yıl da önceki yıldan dramatik biçimde daha iyiydi ve önümüzdeki birkaç yıl boyunca da iyileşmeye devam etmeleri kuvvetle muhtemel
Bu bile tek başına toplumsal ve ekonomik süreçlerin önemli bir kısmını iyi ya da kötü yönde büyük ölçüde değiştirmeye yeter
Örneğin Dall-E 2, ilk çıktığında bugünkünden çok daha iyiydi; mevcut sürüm, çağdaş sanatçıların çıktısına benzer şeyler üretemesin diye ayarlanmış durumda ve geri kalan her şeyin de göze batan turuncu-mavi tonlarda render edilmesi için değiştirildiği açıkça görülüyor. Sonunda daha iyi bir model çıktığında ya da sızdığında, hangi görselin AI üretimi olup olmadığını ayırt etmek imkânsız olacak
Hatta kendi görüşüne uygun içeriği üretken AI ile spamlemek ya da Kenya’ya gidip düşük ücretli RLHF işi yapmak, belki de daha büyük bir oy hakkı kullanmak anlamına gelir
Gwern’in bu yazıda anlatıldığı kadar tutumlu yaşadığına inanmak zor; hatta gerçekten kendisi olup olmadığını da bilmiyorum. Gwern’in göstermek istediği bir personası var ve tutumlu görünmesi de neredeyse kesin olarak bunun bir parçası
“Gwern kimdir?” sorusuna cevaben, insanların zihnine tohum ekip hikâyenin geri kalanını onların tamamlamasına izin veren bir tip olduğunu düşünüyorum. Yine de yazdıklarının çoğunu seviyorum; özellikle de çoğu insanın düşünmeyi bile bırakacağı kadar tuhaf ve dar konuları ele alışını
Gwern’in batık maliyet safsatası üzerine yazdığı deneme sayesinde sonunda istemediğim dövmeyi yaptırmadım. Kaporayı ödediğim için neredeyse yaptıracaktım ama dövmeden bir hafta önce o yazıyı okuyup “küçük çocuklar ve hayvanlar bile batık maliyete kanmıyorsa ben de kanmamalıyım” diye düşündüm. Kelimenin tam anlamıyla, Gwern’in yazısı sırtımdaki deriyi kurtardı
İnsanların artık onu sadece etkili tutumluluğu üzerinden kalıba sokmasından hoşlanmıyorum ama bunu telafi edecek kadar, doğrudan ya da patreon.com/gwern üzerinden bolca destek almasını isterim
Dinlemesi zor bir röportajdı; bunun nedeni de birbiriyle ince biçimde benzeyen iki şeydi
Ses sanki tekinsiz vadiye takılıyormuş gibiydi; gerçekçi ama dinlemesi zordu. Daha açık söylemek gerekirse, o seste anlamı birbirine bağlamak bilişsel olarak zordu ve ses tonu ile anlam birbirini desteklemiyordu. Çocuklar böyle rastgele tonlu seslerin içinde büyürse bu değişebilir
Konuşma da gereğinden fazla uzundu. Geniş bir kelime dağarcığı çoğu zaman zayıf muhakemeyi örtebilir ve bazı dinleyiciler için kelimeleri anlamaya harcanan çaba, kelimeler arasındaki ilişkiyi yani anlamı kavramayı engelleyerek, zeki görünen kelimelerin birbirine karışmış hali gibi duyulabilir. Kelime dağarcığını, ince alayı ve “anlattığımdan daha fazlasını biliyorum” tarzını çıkarınca, geriye hem yanlış hem de muhakemesi tamamlanmamış çok sayıda gevezelik kalıyor. Böyle daha az muhakemeli konuşmanın kendisi sorun değil ama bunu yabancı kelimeler ve bir üslupla paketlemek yanlış anlamalara yol açıyor ve dostça değil. “Zeki görünmeye çalışan” bazı parçalar aslında sadece süslenmiş aptalca parçalar
Yapay zeka ile üretilmiş seslerin güncel seviyesini çok iyi bilmiyorum, o yüzden yanılıyor olabilirim ama sahte gibi gelmedi ve verilen kaynak da bunun insan olduğunu söylüyor. Muhtemelen konuşma dökümünü okuyan bir insan bunu konuşma gibi duyurmaya çalıştığı için tuhaf gelmiştir
Yapay zeka temalı ilginç podcast röportajlarının çok çıktığı bir haftaydı
Bunun dışında Anthropic’in önde gelen isimleriyle Lex Fridman’ın röportaj serisi https://youtu.be/ugvHCXCOmm4 ve AI risk üzerine Stephen Wolfram ile Eliezer Yudkowsky’nin uzun sohbeti https://youtu.be/xjH2B_sE_RQ de var
En sevdiğim Gwern içgörüsü Bitcoin is Worse is Better. Bitcoin’e yönelik uzun itiraz listesini özetledikten sonra ortak bir nokta olup olmadığını soruyor ve cevap şu oluyor: “Hayır, Bitcoin’in sorunu çirkin olması”
Ağ güvenliğini yalnızca karşı taraftan daha fazla kör hesaplama gücüne dayandırması da çirkin; çift harcamayı önlemek için şimdi de gelecekte de işlem kapasitesinin yarısından fazlasına ihtiyaç duyması da çirkin; durmadan büyüyen hash ağacı da çirkin; proxy ve dolambaçlı yollar olmadan offline kullanılamayan bir sistem olması da çirkin; tüm işlemleri kamuya açık biçimde izlemek zorunda olması da çirkin. Para arzının sabit olması gerektiğini kabul etseniz bile, 21 milyonluk keyfi sınırın neden o sayı olduğu, neden daha yuvarlak bir sayı ya da 2’nin kuvveti olmadığı da soruluyor. Madencilik de erken katılanlara fazla büyük bir hediye ve yanlış adrese gönderildiğinde Bitcoin’in basitçe yok olabilmesi de dahil, genel eleştiri bunun bütün olarak çirkin ve zarafetten yoksun olduğu yönünde
https://gwern.net/bitcoin-is-worse-is-better
Tepede yalnızca vizyon sahibi tek bir kişinin bulunduğu bir AI şirketine dair bu umut yüklü hayale neden bu kadar kredi verildiğini anlamak zor
Birincisi, gerçekten vizyoner CEO son derece dar bir niş. İkincisi, şirketlerin çoğu böyle işlemez ve insanların var olması, şirketin ürettiği şey kadar önemlidir. Üçüncüsü, ücretli emeğin en yaygın ekonomik motor olarak birden ortadan kalktığı bir toplumda o hizmetleri ya da ürünleri kim satın alacak veya kiralayacak?
Toplumsal sonuçlar tamamen yok sayılabilirmiş gibi sistemleri keyfince değiştirip dönüştürebileceğini varsayan bu tür sistem düşüncesi çok rahatsız edici. Etrafta fiilen kendinden geçmiş, parlatılmış silo tipi mühendisler “düşünür” rolüne bürünüyor
Newton ile ilgili alıntılanan paragrafın bağlantısı Gwern sitesindeki bir yazıya gidiyor; o yazıda birçok iç ve dış bağlantı var ama Newton’un “ilerleme” bakış açısını destekleyen bir bağlantı bulamadım
“Hızlı ilerleme” kavramı görelidir. O zaman da hızlı ilerleme vardı, şimdi sadece daha da hızlı ilerleme var; ortada bir çelişki yok. Birkaç yüzyıllık gemi yapımı iyileştirmeleri, Latince felsefi uzun şiirler, iğne ya da matbaaya bakıp pek etkilenmediğimiz sözüne de katılmıyorum. Gayet de etkileniyoruz
Bu röportajın nasıl bu kadar çok öneri aldığını bilmiyorum ve zaman kaybı gibi hissettirdi
https://gwern.net/newton#excerpts içindeki ikinci büyük alıntı, https://www.newtonproject.ox.ac.uk/view/texts/normalized/THEM00173 sayfasına oldukça belirgin biçimde bağlı ve Newton’un damadına doğrudan söylediği sözlerden geldiği için iddiamı fazlasıyla gerekçelendirdiğini düşündüm. Lucretius gibi başka tarihsel ifadelerle de yakından paralel; onları da açık kaynakça ve somut alıntılarla sundum
Bunun hiç desteklemediğini söylemen bana biraz anlaşılmaz geliyor; acaba başka bir sayfaya mı bakıyorsun diye düşündüm
Bunun nedeni mevcut zaman çizgisinde gelişmiş insan uygarlığının kendini yok ettiğine inanmam değil; kısa bir sürede hayatı değiştiren çok fazla atılım ortaya çıkmasının Büyük Filtreye doğru durmaksızın süren bir yürüyüş gibi görünmesi
Biraz saldırganca gelebilir ve aslında kısmen öyle ama, bu forumda Gwern ile etkileşime girdim ve aklımda kalan şey, Gwern’in a^nb^n’i düzenli bir dil sanıp yorumuma “not even wrong” dediği şu başlık oldu
https://news.ycombinator.com/item?id=21559620
Olumsuz konuştuğum için üzgünüm ama o dönemde bile Gwern, topluluğun epey büyük bir kesimi tarafından AI alanında önemli bir etkileyici figür olarak görülüyordu. Bana göre bu, araştırma yapmaktan çok sosyal medyada etki yarışı veren çoğu AI influencer’ının aslında AI ve bilgisayar bilimini pek bilmeyip, ikincil bilgiyi derleyip popülerleştirmekte iyi olmasına güzel bir örnekti. AI’nin ana akım bakış açısına amigo olmak kolay. Zor olan, kendine ait bir yön bulup onu izlemek
Transformer’lar a^nb^n’i zihinsel olarak kolayca kavrayabilir ama keyfi uzunluktaki dizgelerin o dilin bir öğesi olup olmadığını belirleyemez. Ancak bu sınırlama insanlarda da var. Dizge yeterince uzunsa insanlar da eninde sonunda saymayı kaçırır
Her tür çabayı takdir ederim ama mühendislik, her şeyi bilmek zorunda kalmadan insanların kullanabileceği şeyler üretmektir. İnsan bir Google arama motoru olmaktan çok daha ilginç bir uğraş
Avatar fikri ilginç ama konuşan bir avatar yapmak yerine sadece ses ve ses dalga biçimi olsaydı daha iyi olurdu diye düşünüyorum. Tanımadığım birine dair zihinsel bir imge istememek gibi kişisel bir tercih de olabilir. Film uyarlamasını izledikten sonra kitabı okumaya benziyor
Bir oyuncunun sesi dublajlaması normal ama oyuncunun anonim kişinin yüzünü göstermesi epey alışılmadık bir tercih
Anonimliğin avantajı: “İnsanların evime eroin göndermesi ya da polise yalan ihbarda bulunup SWAT baskını yaptırması engellendiği için çok faydasını gördüm”
Anonimliğin dezavantajı: bedava eroin yok