Derede Oynayan Çocuklar
(hgreer.com)- Çocukluktaki dereyi kapatma oyunu, güç ve bilgi arttıkça basit bir şaka olmaktan çıkıp oyunun sınırlarını bozabilecek bir seçime dönüşür
- Büyük bir kürekle nehir kıyısını çökertmek, baraj yapma bulmacasını kolayca kazandırır; ama o anda yeniden oynanabilecek oyun alanı daralır
- K'Nex mancınığı, havai fişek denemeleri ve yay yapımı gibi sınırları sınayan etkinlikler, tehlike ve sonuçlar anlaşıldıktan sonra artık tüm güçle zorlanamaz hale gelir
- Yatırım bankacılığı teklifi, “mümkün olduğunca çok para kazanma oyununun” da aynı aşamaya ulaştığını fark ettiren bir dönüm noktasıydı
- Yapay zeka geliştirme de aynı benzetmenin içinde yer alır; tüm güçle başarıya ulaşmak, mecazi bir havai fişek patlaması gibi daha az tatmin edici bir sona dönüşebilir
Artık tüm gücünle oynayamadığın an
- Çocuklukta arka bahçedeki dereyi kapatma oyunu; taş, yaprak ve kumla delikleri doldurup suyu ne kadar yükseltebileceğini görmeye çalışmaktı
- Bir noktada 5 fitlik büyük kürekle nehir kıyısını çökertirsen daha düzgün, büyük bir baraj yapabileceğin fikri akla gelir
- Babası, o bulmacayı artık çözdüğü için dereyi artık gönlünce kapatma oyununu oynayamayacağını söyler
- Zaferin bedeli, oynanabilir alanın daralmasıydı; şah mat tahtanın üzerinde değil, oyunun dışında gerçekleşti
- Aynı değişim başka oyunlarda da tekrarlandı
- Tavanda delik açtıktan sonra K'Nex mancınığı yapmak, dikkatsizce keyfi çıkarılabilecek bir etkinlikten dikkat edilmesi gereken bir etkinliğe dönüştü
- Havai fişekleri birbirine bağlayıp ne kadar büyük bir patlama yapılabileceğini görmek, sınırın sonuna kadar aranmasına izin vermeyen bir şeye dönüştü
- Tillering tekniğini öğrendikten sonra, arkadaşlarla arka bahçede savaşmak için yay ve okları tüm gücüyle yapmak artık mümkün olmadı
- Bir yatırım bankasından teklif almak için leetcoding, build sistemleri çalışmak ve özgeçmişi parlatmak için çok uğraştı; ama teklifi aldığı anda mümkün olduğunca çok para kazanma oyununu sürdüremeyeceği sonucuna vardı
AI geliştirme için de aynı benzetme
- Yeterince güçlü bir rakip varsa, uzun süre tüm gücünle mücadele edebilirsin
- Gelgit çekildiğinde kıyıdaki gelgit havuzunun çıkış akıntısında oynanan sahil oyunu buna bir örnektir
- Ellerle kumu durdurup göller, deltalar ve kanyonlar yapılabilir; ama yaklaşan gelgit çok daha güçlüdür ve tüm sonuçları silip süpürür
- Anlayış arttıkça seçenekler yeniden daralır
- Ellerle ya da kürekle kum itme düzeyinin ötesine geçip belediye meclisine groin ya da seawall kurulması için lobi yaparsan, sahil kumunu gerçekten büyük ölçüde hareket ettirebilirsin
- Bu yüzden gerçekten tüm gücünle davranamazsın; zaten bunu istemezsin de
- Ellerle kum kazarken bile, dalganın ardından yeniden kuma gömülen coquina midyelerinin izleri görülür; dört yaşındayken görülmeyen sonuçlar artık görünür hale gelir
- 2 fitlik küçük bir inşaat çalışmasına tesadüfen hızla gömülen midyelerin yeniden yüzeye çıkıp çıkamayacağı merak edilir
- Çoğunun bunu yapabileceği varsayılır ve devam edilir
- Bu benzetme yapay zeka geliştirmeye de uzanır
- Tüm gücünle uğraşma süreci ilginç ve gerçekten tatmin edici bir maceraydı
- Ancak başarıya ulaşıp mecazi bir havai fişek patlamasıyla elini uçurmak, daha az tatmin edici bir sonuç olur
- Bu yargı, komşunla kimin önce elini uçuracağı konusunda yarıştığın bir duruma ya da herkesin tek bir eli paylaştığı şeklinde genişletilse bile değişmez
- Olumlu tarafından bakıldığında Anthropic, eğitim alanındaki kullanıma ilişkin en son raporunda en azından coquina midyelerini fark ediyor gibi görünüyor
1 yorum
Hacker News yorumları
İyi bir yazı, ama bence asıl mesele yapay zeka geliştirme değil; yazının başındaki “mümkün olduğunca çok para kazanmak” kısmı
Yapay zekada görülen sorun, geliştirmenin kendisinden çok pazarlama ve yayılma tarafında ortaya çıkıyor. Eğlence olsun diye derenin önünü kapatıp başarısız olmak ya da elini incitmek kötü, ama ölçeği kendiliğinden sınırlı. Çünkü eğlence ya da meydan okuma için yapılan şeylerin, bireyin keyif alabileceği sınırları aşıp büyük ölçekte gerçekleşmesi zor
Herkes yapay zekayı eğlence için dereyi kapatır gibi ele alsaydı pek sorun olmazdı. Modeller güçlü olsa bile, para kazanmaktan çok kurcalayıp oynamaya ilgi duyulduğu için muhtemelen tuhaf ve parçalı kalırlardı. HN’de paylaşılan türlü hobi projeleri gibi “havalıymış” denip geçilir, önemli bağımlılık noktalarına konmazlardı
Yapay zeka olsun ya da olmasın, bir şeyi “mümkün olduğunca çok para” kazanmak için kullanmaya başladığın anda sorun çıkıyor. Ayrıca yazının sonunda Anthropic’in istiridyeleri fark etmeye başladığı söyleniyor gibi, ama yazıdaki birçok örnekte durduran şey öz değerlendirme değil, ebeveyn gibi dış bir otoriteydi. Çoğu insan yazar kadar kendini sorgulayan biri değil; “kaybetmesi için hiçbir neden olmayan insanlara karşı sıfır toplamlı oyunu kazanmayı” ya da istiridyeleri umursamayabilir. Birinin küreği ellerinden alması gerekiyor
“Mümkün olduğunca çok para kazanmak”, “bir şey bozulana kadar devam etmemek gerekir” ilkesinin istisnası gibi görüldüğü sürece, yapay zeka olsun olmasın bu sorunlar sürecek
Şimdi emekliyim; kendi “yazılım bahçemde” bir şeyleri kurcalayarak vakit geçiriyorum. Yapay zekayı sorun çözme ve kod taslakları üretme için de kullanıyorum, ama amaç kişisel tatmin
Aracı olan kişi azsa zanaatkâr çok değerlidir. Bilgi ya da gerçek beceri aşırı arz edilmediği için çok para kazanabilir; başkalarının araçları ve becerileri olmadığı için ona yetişmesi zordur. Başta verilen emekle zengin olunabilir
Herkes aynı araçlara sahip olduğunda zanaatkâr hâlâ değerlidir. Zamanla biriktirdiği bilgi ve beceri nadirdir; daha da öne geçmek için becerisini geliştirmeyi sürdürme motivasyonu vardır
Araç işi onun yerine yaptığında zanaatkârın değeri sınırlanır. Bir tür kalıntıya dönüşür; uzmanlığını ne kadar artırırsa artırsın çoğu kişi aracı açıp yeterince iyi sonuçlar alır
Şu an 2. aşama ile 3. aşama arasındayız. Mülakatlarda hâlâ algoritma tasarımı ya da yaklaşımın karmaşıklığı soruluyor, ama birçok insan “o zaman şimdi ne yapmalıyız?” denen geçiş noktasına geçemiyor
Artık değer, otomasyonun nasıl çalıştığını bilmekten daha az; aracı ortalama insandan daha büyük değer yaratacak şekilde kullanmaktan daha çok geliyor. Yalnızca bu bilgiyle istikrarlı ya da kârlı bir hayat yaşayabileceklerini öğrenmiş insanlar için zor bir geçiş
Artık SDE mülakatlarının zamanı geçti; mühendis ararken aracın bir versiyonunu bizzat yapabilen kişiden çok, bugünü kabullenip erişilebilir araçlara insani fayda katarak bütünü parçaların toplamından büyük hale getirecek kişiyi arar olacağız
Yazılım yapmanın en güzel tarafı yaratıcılıktı ve o kısım değişmedi. Hatta şimdi daha önemli hale geldi
Sonuçta tüketicilerin kullanacağı şeyler yapıyoruz. Dere başka yöne akmaya başladıysa, eskiden suyun aktığı yere taş yığmaya devam etmek yerine bunun değiştiğini kabul edip uyum sağlamak gerekiyor
Ebeveynlerinin malına zarar vermenin bir sınırı olduğunu bildiği için kendini tebrik ediyor; sahildeki kumu varoluşsal bir sadelik Instagram anı gibi takdir edebildiği için kendini tebrik ediyor; elini uçurabilecek kadar zeki olduğu için kendini tebrik ediyor. “Leetcoding” nedir bilmiyorum ama o da aynı; şüpheli bir işi sıkıldığı için bıraktığını söyleyip belki de vicdan geliştirmiş olabileceğini ima ediyor. Sonunda da “elbette bu, yapay zeka geliştirme hakkında bir hikâye” diye bitiriyor
Buna bir şey daha eklersem: paradan çok sevgi isteyen, ama aslında ikisini de isteyen bir psikoloji görüyorum; hâlâ dünya için kötü bir şeyi önemli bağımlılık noktalarına itmeye çalışıyor. Sevgi ya da para, hangisini elde edebilirse onu alma girişimi gibi görünüyor. Annem babam buna “iyi ilgi ya da kötü ilgi fark etmez, yeter ki ilgi görsün isteyen çocuk” derdi
Son 20 yıldaki teknoloji milyarderlerinin çoğunun temel itkisinin bu olduğunu düşünüyorum. Bezos, Zuck, Jobs, Dorsey, Musk’ı birbirine bağlayan şey “Baba bak, sadece paranı almadım. Havai fişekle elimi uçuracak kadar zekiydim ama bak, iki elim de yerinde. Senin paranla bu kadar çok para kazandım. Neden gurur duymuyorsun? Sevgiyi nerede bulacağım? Ne kadar Leetcoder olduğumu, kötü yapay zeka yapabilecek olsam da sadece iyi yapay zeka yaptığımı söylersem herkes beni sever mi?” türü bir arzu
Elbette ben de bu duygulardan azade değilim. İyi işler yapmak istiyorum; yaptığım şeyleri insanların sevmesini istiyorum. Ama bu tür yazılarda fazlasıyla çıplak bir gösteriş arzusu ve narsisizm var. Gerçekten dâhiyse istiridyelerle uzanıp kalsın ya da roman yazsın. Gerçekten vicdanı varsa vicdanı olduğunu söyleyecek cesareti göstersin. Geri kalanını rahat bıraksın; anlamadığı dünyayı çocukça açgözlülük ve kendine saplantıyla kirletmesin diye düşünüyorum
Harika bir deneme; yazarla benzer hissediyorum ama muhtemelen bunu bu kadar iyi ifade edemezdim.
Yine de yapay zeka araştırmacılarının bu tavsiyeyi benimseyip yavaşlayacağını bekliyorsanız, beklememeniz daha iyi. Yazar, ahlaki nedenlerle yüksek maaşlı finans işinden ayrıldığını söylüyor; bu saygı duyulacak bir şey. Ama Wall Street dönmeye devam ediyor ve “mümkün olduğunca çok para kazanma” oyununu oynamak isteyen insan sıkıntısı yok.
Şirketleri ve kurumları yapay zekaya benzeten yakın tarihli bir HN yorumunu [0] hatırlıyorum. Bu tür organizasyonlar zaten insanüstü zeka gibi çalışıyor.
[0] https://news.ycombinator.com/item?id=43580681
Amazon, Google, OpenAI gibi şirketler dünyayı oldukça hızlı biçimde mahvediyor; Citadel gibi şirketler ise sadece parayı oradan oraya taşıyor.
Burada sözü edilen tillering, çimlerde yan sürgünlerin çıkması anlamında değil; yay yapmak için ahşabı bükülecek şekilde işleme anlamındaymış. Yeni kelime öğrenmek eğlenceli.
[1]: https://www.howtomakealongbow.co.uk/part-5-tillering
[2]: https://en.wikipedia.org/wiki/Tiller_(botany)
Büküp bakmak, yontmak, tekrar büküp bakmak; ahşabı aşamalı olarak kaldırdığınız yinelemeli bir süreç.
Dereyi tıkamak ya da sahilde kumla oynamakla ilgili kısım sağlıklı olduğu için güldürdü. Bulmacayı çözmek, oyunun artık eğlenceli olmamaya başladığı kötü sona daha yakın.
İnsanlar bir şeyleri daha iyi yapmak için değil, eğlenceli olduğu için yapmaya daha fazla zaman ayırmalı. Kıyamet bizim ömrümüzde gelsin ya da gelmesin, ben her iki durumda da hayatın tadını mümkün olduğunca çıkarmaya çalışıyorum.
Bunu en iyi Vonnegut söylemiş.
https://richardswsmith.wordpress.com/2017/11/18/we-are-here-...
https://www.goodreads.com/quotes/12020560-talking-about-when...
“Karıma bir zarf almaya çıkacağımı söylediğimde, bana fakir biri olmadığımı, internetten 100 zarf alıp dolaba koyabileceğimi söyler. Ben de duymamış gibi yapar ve bir zarf almaya çıkarım. Çünkü tek bir zarf satın alma sürecinde çok keyifli vakit geçireceğim. Bir sürü insanla karşılaşacağım, hoş insanları göreceğim, bir itfaiye aracı geçerse başparmağımı kaldıracağım, bir kadına köpeğinin hangi cins olduğunu soracağım. Hikayenin dersi şu: Biz dünyaya aylaklık etmeye geldik. Elbette bilgisayarlar bunu elimizden alacak. Bilgisayar insanlarının bilmediği ya da umursamadığı şey, bizim dans eden hayvanlar olduğumuzdur.”
― Kurt Vonnegut
Yazarın yapay zeka riski, yani “yapay zekanın hepimizi öldüreceği” konusunda endişelendiği anlaşılıyor; bu da LessWrong’da sık rastlanan bir konu.
Ancak en yeni yapay zeka modellerini sık kullanan biri olarak bakınca, öngörülebilir zaman aralığında böyle bir riskin var olup olmadığı hiç de açık değil. Günümüzün en iyi modelleri bile kolayca inanıyor; içgörü ve özgünlükten yoksun.
Dwarkesh daha önce şöyle bir soru sormuştu: “Bu modeller fiilen insan bilgisinin tamamını ezberlemiş sayılırken, keşfe yol açacak tek bir yeni bağlantı bile kuramamış olmalarını bir bilim insanı olarak nasıl görüyorsunuz? Ortalama zekâda bir insan bu kadar şeyi ezberlemiş olsaydı, ‘bu şu belirtiye yol açıyor, o da aynı belirtiye yol açıyor; demek ki tedavi burada’ gibi şeyleri fark etmez miydi? Bunu beklememiz gerekmez mi?”
Ben de kısa süre önce benzer bir şey yaşadım. GPT-4.5 “Deep Research”e belirli bir makine parçası için hangi malzemenin en iyi olduğunu sordum; ilk yanıt gülünç derecede aptalca bir LinkedIn yazısını aynen kopyalamıştı, ikinci yanıt ise pazarlama kokan bir basın bülteninden geliyordu. Hiçbir özgün içgörü yoktu; sonunda araştırma ve deneyleri bizzat benim yapmam gerektiği sonucuna vardım.
Asıl mesele, büyük dil modellerinin insanlığın tamamını öldürecek kadar korkutucu ve yeni yöntemler üretebileceğini düşünmemem. Son 5 yılda bu konuda hiçbir şey değişmedi. Artık sadece LinkedIn yazılarını tarayıp web’de basın bültenleri bulabiliyorlar.
Üstelik bu modellerin bağımsız iradesi yok; zaman ve mekân algıları da yok. İlkesel olarak bakıldığında bile gerçek bir bağımsız fail gibi çalışıp çalışamayacakları belli değil.
Ancak çeşitli yükler altındaki parçaların X-ışını tomografi verileriyle, o parçaların kullanım amaçlarına dair açıklamaları birlikte eğiten bir çok modlu model yapan biri var mı bilmiyorum. Böyle bir model, soruya oldukça iyi yanıt verebilirmiş gibi geliyor.
Ama kolay kandırılan aptalların insanlığı tamamen uçuruma sürüklemesine yol açabilir. Bu zaten şu anda oluyor. Modelin bağımsız bir fail olması gerekmiyor; akıllı görünmesi yeterli.
“Onu elde ettikten sonra, ‘mümkün olduğunca çok para kazanma’ oyununu artık oynayamayacağımı fark ettim.”
Komik olan şu ki, babam bunu bana 12 yaşındayken merhamet yüzünden öğretmişti. Mantığı seven Spock benzeri insanları neden bu kadar yücelttiklerini anlamıyorum. Star Trek’in gerçek kahramanının Captain Kirk olduğunu bilmiyorlar mı? Çünkü onda merhamet vardı.
Zizian’ların LessWrong’dan çıkmış olması şaşırtıcı değil.
Para kazandıran bir iş varsa, elinde kürek olan biri de olsa, bir kamyon dolusu havai fişekle gelen biri de olsa, riski göze alacak biri her zaman çıkar. Özellikle de o riski halka yıkabiliyorsa, ödülü kendisi almak isteyecektir.
Ebeveynseniz, her gün çocuğunuza bakıp bu küçük, şaşırtıcı, tuhaf ve benzersiz varlığa hayranlık duyduğunuz anlar olmuyor mu?
LessWrong yazarları da her gün aynaya bakınca aynı şeyi hissediyor gibi.
“coquina” metaforunun ne olduğuna dair açıklama gerekiyor.
Gerçekte ise Anthropic’in AGI yapmak gibi devasa bir işe girişip, bunun insanlar üzerindeki potansiyel etkilerini ancak şimdi fark etmeye başlaması anlamına geliyor gibi görünüyor.
Anthropic’in kendi çalışmalarının başkaları için doğurabileceği riskleri fark etmeye başladığı anlamına geliyor gibi; ama tam olarak neyi kastettiğinden emin değilim.
[1]: https://www.youtube.com/watch?v=KZUlf7quu3o
Elle kumu biraz kazıp küçük canlıları kısa süreliğine gömmek ile “belediye meclis üyesine lobi yapıp mahmuz ya da dalgakıran kurdurmak ve sahil kumunu gerçekten taşımak” arasındaki fark gibi.
https://www.anthropic.com/news/anthropic-education-report-ho...