Manhattan Project ve Apollo Program’ın beklediğimden “ucuz” görünmesi şaşırtıcı
1960’larda insanı Ay’a göndermenin maliyetinin Apple’ın son hisse geri alımına benzer düzeyde olması tuhaf
Bunun nedeni, son yaklaşık 100 yıldır enflasyon oranının olduğundan düşük hesaplanmış olması olabilir. Zaman geçtikçe bu fark bileşik biçimde büyük ölçüde birikir
Daha adil bir karşılaştırma, ortalama bir vatandaşın kaç yıllık maaşına denk geldiğine bakmak olur
Manhattan Project 1944’te 2 milyar dolardı ve 1940 nüfus sayımındaki medyan hane geliri baz alındığında 121 bin hane-yıla karşılık geliyordu
Apple’ın hisse geri alımı 2024’te 110 milyar dolardı ve 2022 nüfus sayımı baz alındığında 122.910 hane-yıla karşılık geliyor
Yani 80 yıl boyunca resmi enflasyon rakamları maliyeti yaklaşık 3,5 kat düşük göstermiş demek
O dönemde ABD çok daha yoksuldu ve yaşam standardı da çok daha düşüktü. Bu yüzden ücretler de enflasyona göre düzeltilse bile çok daha düşüktü; savaş sırasında askere alınan insanlar ise seçenekleri olmadan düşük ücretlerle çalışmak zorundaydı. Bu, durumun büyük bölümünü açıklıyor
Aslında hiç de ucuz değildi; sadece maliyet geleceğe ertelendi. Hanford sahasının temizliğinin 16,8 milyar ila 550 milyar dolara mal olacağı tahmin ediliyor
Apollo roketlerinin test edildiği Santa Susana tesisinin temizliği de milyarlarca dolara mal olacak ve orada başka maliyet kalemleri de var
Baskı altındaki durumlarda maliyet-etkinlik esastır. WWII ve savaş sonrası 60’larla karşılaştırıldığında, bugünkü gibi görece zengin ve gevşek toplumlarda her maliyet artar
O dönemde yol, demiryolu ve gemi inşa edilebiliyordu; bugün ise yüzlerce kural, lobici ve kendi payını isteyen çıkar grupları var
Hayatta kalma meselesi geçici olarak çözüldükten sonra parasal teşvikler çok daha önemli hale gelir
Manhattan Project ve Apollo Program’ın ikisi de GSYH’nin %0,4’ü idi. Bugünün 27 trilyon dolarlık GSYH’si baz alındığında aynı oran 108 milyar dolar eder; Meta’nın GPU’lara harcadığı para bunun üçte biri bile değil
Yani bir şirket, pazar lideri bile olmayan hobi niteliğinde bir projeye ABD GSYH’sinin yaklaşık %0,1’ini mi harcamış oluyor?
İnanması güç bir ölçek ve iyi bir şey değil
Meta bu GPU’ların ödemesini tek bir yılda değil, birkaç yıla yayarak yapıyor. Meta’nın yıllık sermaye harcaması yaklaşık 30 milyar dolar ve bunun tamamı da GPU’ya gitmiş değil
Ayrıca Meta’nın perakende fiyat ödüyor olması da mümkün değil
O halde Apple’ın 110 milyar dolarlık hisse geri alımı bundan daha büyük oluyor
Tüm şirketlerin harcamalarını veya gelirlerini toplarsanız, toplam GSYH’yi çok aşabilir
Modern GPU, CPU, SoC’lerin ezici karmaşıklığı sanki bize pek de çarpıcı gelmiyor
Milyarlarca transistör içeren 3 nm çipler üretme süreciyle karşılaştırıldığında Manhattan Project’i devasa bir proje olarak görmek zor. Çığır açıcıydı, ama EUV wafer geliştirmeyle karşılaştırınca “devasa” demek zor
Manhattan Project’in daha az bilinen büyük başarılarından da söz etmeye değer. İşin özü bilim insanları değil, Hanford ve Oak Ridge idi
Hanford yalnızca reaktörlerden ibaret değildi; kelimenin tam anlamıyla hiçliğin ortasında 43 binden fazla kişinin yaşadığı bir şehir kurma projesiydi
Oak Ridge’de o dönemde dünyanın en büyük binası olan K-25 vardı ve ancak 20 yıldan fazla süre sonra Boeing Everett Factory tarafından geçildi
Bu iki yer aynı zamanda projenin başlıca maliyet merkezleriydi. Bilim ucuzdur; ama uranyum zenginleştirme ve plütonyum üretimi, özellikle de daha önce kimsenin yapmadığı bir şeyi yapmak, ucuz değildir
%10’u ezici karmaşıklık, %90’ı ise Nvidia’nın kâr marjı
Yaklaşık 1960’lar öncesinde üretilmiş ürünlerin kalitesini ve işçiliğini her gördüğümde şaşırıyorum.
O dönemlerde toplumun ne yüzünden bu kadar savurgan, yavaş, pahalı ve hırsı düşük modern topluma dönüştüğünü bilmiyorum ama geri dönebilsem dönmek isterdim.
Bence nedeni profesyonel yönetici sınıfı. İmalat gibi alanlarda “daha verimli” yönetim iddiasıyla birçok büyük reform yapıldı, ardından bunlar bilgi işçiliğine de uygulandı.
Özellikle beyaz yakalıların bürokratik işlerinde uzmanlaşma azaldı. Artık doktorlar dahil herkes kendi sekreteri gibi çalışıyor.
Geçiş dönemini bizzat görmüş kişilerin anlattıklarına göre, bu yeni yönetim kültürünün bozduğu şeylerden biri de yönetimin kendisiydi; özellikle de alt ve orta kademe yönetim.
Eskiden yöneticilerin meslektaşlarıyla ya da üstleriyle toplantılarda geçirdiği zaman, kademeye göre yumuşak bir farklılık gösterirdi; alt kademe yöneticilerin bu tür toplantıları daha az olur, astlarının ihtiyaçlarına ve operasyonun sürdürülmesine odaklanırlardı.
Değişimden sonra tüm yönetim katmanları toplantı, toplantı ve yine toplantı kültürüne kapıldı; bunların çoğunun değeri düşüktü. Gösteriş ve ofis siyaseti de eskisine kıyasla çok daha yoğun biçimde organizasyonun alt katmanlarına kadar sızdı.
Apollo 11’in arkasında 400 bin kişi olduğu söyleniyor. Neredeyse 500 bin kişi hayatını tek bir şey üretmeye adarsa, bugün de yüksek kaliteli, iyi yapılmış sonuçlar ortaya çıkarılabilir gibi geliyor.
Nvidia: 26.000 kişi
TSMC: 73.000 kişi
Intel: 124.000 kişi
AMD: 25.000 kişi
Qualcomm: 50.000 kişi
ASML: 42.000 kişi
İnsan sayısı açısından bakınca tüm küresel yarı iletken sektörü benzer ölçekte olabilir.
Mesele sadece ürünlerin kalitesi ve işçiliği değil. İşçi ücretleri artmazken üretkenlik yükseldi, zenginler daha da zenginleşti ve gelir dağılımının alt %90’ı daha iyi bir duruma gelemedi.
1971’den bu yana bu kadar çok göstergenin sürekli kötüleşmesi epey çılgınca[1].
[1] https://wtfhappenedin1971.com/
Savaş sonrasında takım tezgâhları elde bolca kalmıştı ve metal imalat süreçleri konusunda da bol deneyim vardı.
Oyuncaklardan çok daha geniş kullanım alanlarına uygun enjeksiyon kalıplı termoplastikler ise yetersizdi.
Görece yüksek işçilik maliyetleri, malzeme maliyetinden tasarruf etme teşvikini azaltmış olabilir.
Tüketiciler imal edilmiş ürünlere daha yüksek fiyat ödemeye karşılık bunların tamir edilebilir ve uzun ömürlü olmasını bekliyordu.
Vakum tüpü tabanlı elektronikler çoğu zaman yüksek voltaj ve ağır transformatörler ya da piller gerektiriyordu; bu da dış gövde biçimini metal veya ahşap, kullanım biçimini ise taşınabilir olmayan şekilde belirliyordu. Örneğin tüketici radyoları genellikle mobilyalara entegre edilirdi.
Kendime göre bir hipotezim var ama sanırım onu kendime saklayıp kendi projeme elimden geleni yapmak daha iyi.
Büyük şirketlerin gücü hakkında hiçbir fikrim yoktu. Ancak yakın zamanda öğrendim ki, sabit dolar cinsinden IBM 360’ın geliştirilmesi Manhattan Projesi’nden daha pahalıya mal olmuş.
Hemen ardından gelen bölüm de ilginç:
Communications of the ACM’in ilk sayısında Amerikan yayınlarını görmeye başlıyordum. Bilgi işlemden söz edişlerindeki hantal ve olgunlaşmamış tarz beni şoke etmişti. Antropomorfik terminoloji çok yoğun kullanılıyordu: “elektronik beyin” ya da “düşünen makineler.” Bu kesinlikle öldürücü. Antropomorfik terminoloji kullanımı, sizi dilsel olarak operasyonel bir bakış açısını benimsemeye zorlar. Ve programlar hakkında, onların çalıştırılmasından bağımsız olarak tartışmayı pratikte imkânsız hale getirir.
Ana noktayı kontrol edersek, https://thehistoryofcomputing.net/the-ibm-system360 “IBM’in 1960’ların ortasındaki para değeriyle 5 milyar dolar harcadığını” söylüyor; Manhattan Project’in ise 2 milyar dolar olduğu belirtiliyor. https://en.wikipedia.org/wiki/Manhattan_Project’e göre bu 1945 doları; https://www.bls.gov/data/inflation_calculator.htm adresindeki CPI enflasyon hesaplayıcısına göre de 1965 dolarıyla yaklaşık 3,5 milyar dolar ediyor.
Tersinden hesaplayınca GPU eğitimi için harcanan bu 30 milyar dolar, 1965 dolarıyla yalnızca 3 milyar dolar olduğundan 360’tan daha ucuza geliyor.
Bu kadar çok harcayıp da hâlâ OpenAI’ı nasıl yakalayamamış olabilirler? OpenAI neden bu kadar iyi?
Makine öğrenimi uzmanı değilim ama “başaramıyor” demek bana güçlü bir ifade gibi geliyor. Mark Zuckerberg’in katıldığı podcast’e bakınca, Meta’nın OpenAI ile doğrudan rekabet etmek istemediği şeklinde yorumlanabilir.
Öneri sistemleri gibi mevcut yapay zeka hizmetleri bile zaten çok fazla kaynak tüketiyor. Reklamlar şimdi de gelecekte de nakit üretim kaynağı ve büyük dil modelleri henüz büyük gelir yaratmış değil.
OpenAI’ın 2023 geliri yaklaşık 2 milyar dolardı ve 2024’te ciddi artacaktır; ancak Meta 2023’te 40 milyar dolar net kâr etti. Finansal açıdan bakınca şimdilik rekabet etmek için bir neden yok.
Llama 400B hâlâ eğitim aşamasında ve GPT-4’ün birçok kullanım senaryosunu geride bırakabilir.
Ücretsiz sunulan meta.ai’ı denedin mi merak ediyorum. Yetenek açısından zaten oldukça rekabetçi; sadece Meta henüz buna çok fazla odaklanmıyor ya da tanıtmıyor.
Hâlâ eğitimde olan Llama 3 405B’nin mevcut en iyi OpenAI modelini geçme ihtimali de az değil.
İngilizce bazında Llama 3 70B, Google ve Anthropic’in tüm modellerini şimdiden geride bırakıyor; yalnızca en yeni GPT-4 sürümünün arkasında kalıyor. Bu, Open LLM Arena sonuçlarına göre.
LLAMA 3 oldukça iyi; segment anything gibi görsel taraftaki çalışmalar da en ileri seviyede. Facebook’un zaten sağlam bir gelirleştirme yolu var, bu yüzden özellikle makale yayımlamasına ya da demo hazırlamasına gerek yok.
Meta’nın bu GPU’ları iç operasyonlarında ne kadar kullandığı ve buradan ne tür tasarruflar gördüğü açıklanmış durumda mı?
Hayal kırıklığı yaratan “meta ai” sohbet kutusu dışında da H100’lerin kullanılabileceği muazzam sayıda alan var gibi görünüyor. İçerik öneri motorlarından kötüye kullanımı önlemeye, ağ bant genişliği ve trafik akışını optimize etmeye kadar pek çok şey mümkün.
Grup sohbetlerinde gruba bir üye gibi giren @MetaAI oldukça iyiydi. Birlikte görsellerle eğlenebiliyor, hikâyeler yazdırabiliyor, bir yazarı taklit ettirebiliyor ya da berbat bir kitabın bölümlerini yazdırabiliyorsunuz.
Günlerdir mesaj gelmeyen birkaç eski grup sohbeti, yapay zekayla sürekli şakalaşılan alanlar olarak yeniden canlandı.
Bu tür karşılaştırmaları yorumlamanın zor olduğunu düşünüyorum. Enflasyonu dışarıda bıraksanız bile, bu harcamaların ait olduğu ekonominin kendisi büyüyor.
Maliyeti dünya ekonomisine, Avrupa ekonomik alanı veya Büyük Çin gibi toplumsal-ekonomik bölgelere ya da bir ülke ekonomisine oran olarak ifade etmek daha net olurdu.
Gözden kaçırdığım bir şey olabilir.
Herkesin neden sadece enflasyondan bahsettiğini anlamıyorum. Manhattan Project döneminde modern GPU benzeri cihazlar yapmak için, projenin kendisinden çok daha büyük ve pahalı bir süper bilgisayar inşa etmek gerekirdi.
Teknoloji basitçe inanılmaz derecede ucuzladı, gerekli malzemeler azaldı ve araştırma maliyetleri zaten ödenmiş durumda.
Bu doğruysa şunu da eklemek isterim: Bunların hepsi reklamların ele geçirdiği insan dikkati ve kullanıcı kişisel verilerinin sömürülmesiyle finanse edilen para. Tebrikler insanlık.
Bu para faydalı alanlara harcansaydı neler başarılabilirdi?
Aksine, ekonominin diğer ağır sanayi alanları zaten tekelleşmiş durumda olduğu için bir şeyler başarmak neredeyse zor.
Google telekom sektörüne girdiğinde AT&T, Verizon, Comcast gibi eski parazitleri kolayca devirecek gibi görünüyordu; peki gerçekte ne oldu?
Apple’ın otomobil, bankacılık (kredi kartı) ve içerik alanlarına girmeye çalışması da aynı hikâye.
Bu yüzden o para eninde sonunda ancak böyle harcanıyor. Exxon, Monsanto, Pfizer, Boeing’e dokunamıyorsunuz; konut, eğitim, sağlık, bankacılık alanlarında da bir şey yapamıyorsunuz.
Sonuçta yeniliğe nakit yakmak, en az dirençle ilerlenen varsayılan yol hâline geliyor. “Faydalı alanların” hepsi duvarlarla çevrili.
Meta kişisel verileri satmıyor; sadece reklam için kullanıyor.
1 yorum
Hacker News yorumları
Manhattan Project ve Apollo Program’ın beklediğimden “ucuz” görünmesi şaşırtıcı
1960’larda insanı Ay’a göndermenin maliyetinin Apple’ın son hisse geri alımına benzer düzeyde olması tuhaf
Daha adil bir karşılaştırma, ortalama bir vatandaşın kaç yıllık maaşına denk geldiğine bakmak olur
Manhattan Project 1944’te 2 milyar dolardı ve 1940 nüfus sayımındaki medyan hane geliri baz alındığında 121 bin hane-yıla karşılık geliyordu
Apple’ın hisse geri alımı 2024’te 110 milyar dolardı ve 2022 nüfus sayımı baz alındığında 122.910 hane-yıla karşılık geliyor
Yani 80 yıl boyunca resmi enflasyon rakamları maliyeti yaklaşık 3,5 kat düşük göstermiş demek
Apollo roketlerinin test edildiği Santa Susana tesisinin temizliği de milyarlarca dolara mal olacak ve orada başka maliyet kalemleri de var
O dönemde yol, demiryolu ve gemi inşa edilebiliyordu; bugün ise yüzlerce kural, lobici ve kendi payını isteyen çıkar grupları var
Hayatta kalma meselesi geçici olarak çözüldükten sonra parasal teşvikler çok daha önemli hale gelir
Manhattan Project ve Apollo Program’ın ikisi de GSYH’nin %0,4’ü idi. Bugünün 27 trilyon dolarlık GSYH’si baz alındığında aynı oran 108 milyar dolar eder; Meta’nın GPU’lara harcadığı para bunun üçte biri bile değil
İnanması güç bir ölçek ve iyi bir şey değil
Ayrıca Meta’nın perakende fiyat ödüyor olması da mümkün değil
https://fred.stlouisfed.org/series/FYONGDA188S
Modern GPU, CPU, SoC’lerin ezici karmaşıklığı sanki bize pek de çarpıcı gelmiyor
Milyarlarca transistör içeren 3 nm çipler üretme süreciyle karşılaştırıldığında Manhattan Project’i devasa bir proje olarak görmek zor. Çığır açıcıydı, ama EUV wafer geliştirmeyle karşılaştırınca “devasa” demek zor
Hanford yalnızca reaktörlerden ibaret değildi; kelimenin tam anlamıyla hiçliğin ortasında 43 binden fazla kişinin yaşadığı bir şehir kurma projesiydi
Oak Ridge’de o dönemde dünyanın en büyük binası olan K-25 vardı ve ancak 20 yıldan fazla süre sonra Boeing Everett Factory tarafından geçildi
Bu iki yer aynı zamanda projenin başlıca maliyet merkezleriydi. Bilim ucuzdur; ama uranyum zenginleştirme ve plütonyum üretimi, özellikle de daha önce kimsenin yapmadığı bir şeyi yapmak, ucuz değildir
Yaklaşık 1960’lar öncesinde üretilmiş ürünlerin kalitesini ve işçiliğini her gördüğümde şaşırıyorum.
O dönemlerde toplumun ne yüzünden bu kadar savurgan, yavaş, pahalı ve hırsı düşük modern topluma dönüştüğünü bilmiyorum ama geri dönebilsem dönmek isterdim.
Özellikle beyaz yakalıların bürokratik işlerinde uzmanlaşma azaldı. Artık doktorlar dahil herkes kendi sekreteri gibi çalışıyor.
Geçiş dönemini bizzat görmüş kişilerin anlattıklarına göre, bu yeni yönetim kültürünün bozduğu şeylerden biri de yönetimin kendisiydi; özellikle de alt ve orta kademe yönetim.
Eskiden yöneticilerin meslektaşlarıyla ya da üstleriyle toplantılarda geçirdiği zaman, kademeye göre yumuşak bir farklılık gösterirdi; alt kademe yöneticilerin bu tür toplantıları daha az olur, astlarının ihtiyaçlarına ve operasyonun sürdürülmesine odaklanırlardı.
Değişimden sonra tüm yönetim katmanları toplantı, toplantı ve yine toplantı kültürüne kapıldı; bunların çoğunun değeri düşüktü. Gösteriş ve ofis siyaseti de eskisine kıyasla çok daha yoğun biçimde organizasyonun alt katmanlarına kadar sızdı.
Nvidia: 26.000 kişi
TSMC: 73.000 kişi
Intel: 124.000 kişi
AMD: 25.000 kişi
Qualcomm: 50.000 kişi
ASML: 42.000 kişi
İnsan sayısı açısından bakınca tüm küresel yarı iletken sektörü benzer ölçekte olabilir.
1971’den bu yana bu kadar çok göstergenin sürekli kötüleşmesi epey çılgınca[1].
[1] https://wtfhappenedin1971.com/
Oyuncaklardan çok daha geniş kullanım alanlarına uygun enjeksiyon kalıplı termoplastikler ise yetersizdi.
Görece yüksek işçilik maliyetleri, malzeme maliyetinden tasarruf etme teşvikini azaltmış olabilir.
Tüketiciler imal edilmiş ürünlere daha yüksek fiyat ödemeye karşılık bunların tamir edilebilir ve uzun ömürlü olmasını bekliyordu.
Vakum tüpü tabanlı elektronikler çoğu zaman yüksek voltaj ve ağır transformatörler ya da piller gerektiriyordu; bu da dış gövde biçimini metal veya ahşap, kullanım biçimini ise taşınabilir olmayan şekilde belirliyordu. Örneğin tüketici radyoları genellikle mobilyalara entegre edilirdi.
O zaman IBM’in System/360 için harcadığı paradan daha mı az?
Dijkstra’nın sözünü alıntılarsak https://cacm.acm.org/news/an-interview-with-edsger-w-dijkstr...
Bu kadar çok harcayıp da hâlâ OpenAI’ı nasıl yakalayamamış olabilirler? OpenAI neden bu kadar iyi?
Öneri sistemleri gibi mevcut yapay zeka hizmetleri bile zaten çok fazla kaynak tüketiyor. Reklamlar şimdi de gelecekte de nakit üretim kaynağı ve büyük dil modelleri henüz büyük gelir yaratmış değil.
OpenAI’ın 2023 geliri yaklaşık 2 milyar dolardı ve 2024’te ciddi artacaktır; ancak Meta 2023’te 40 milyar dolar net kâr etti. Finansal açıdan bakınca şimdilik rekabet etmek için bir neden yok.
İngilizce bazında Llama 3 70B, Google ve Anthropic’in tüm modellerini şimdiden geride bırakıyor; yalnızca en yeni GPT-4 sürümünün arkasında kalıyor. Bu, Open LLM Arena sonuçlarına göre.
Meta’nın bu GPU’ları iç operasyonlarında ne kadar kullandığı ve buradan ne tür tasarruflar gördüğü açıklanmış durumda mı?
Hayal kırıklığı yaratan “meta ai” sohbet kutusu dışında da H100’lerin kullanılabileceği muazzam sayıda alan var gibi görünüyor. İçerik öneri motorlarından kötüye kullanımı önlemeye, ağ bant genişliği ve trafik akışını optimize etmeye kadar pek çok şey mümkün.
Günlerdir mesaj gelmeyen birkaç eski grup sohbeti, yapay zekayla sürekli şakalaşılan alanlar olarak yeniden canlandı.
Bu tür karşılaştırmaları yorumlamanın zor olduğunu düşünüyorum. Enflasyonu dışarıda bıraksanız bile, bu harcamaların ait olduğu ekonominin kendisi büyüyor.
Maliyeti dünya ekonomisine, Avrupa ekonomik alanı veya Büyük Çin gibi toplumsal-ekonomik bölgelere ya da bir ülke ekonomisine oran olarak ifade etmek daha net olurdu.
Gözden kaçırdığım bir şey olabilir.
Herkesin neden sadece enflasyondan bahsettiğini anlamıyorum. Manhattan Project döneminde modern GPU benzeri cihazlar yapmak için, projenin kendisinden çok daha büyük ve pahalı bir süper bilgisayar inşa etmek gerekirdi.
Teknoloji basitçe inanılmaz derecede ucuzladı, gerekli malzemeler azaldı ve araştırma maliyetleri zaten ödenmiş durumda.
Bu doğruysa şunu da eklemek isterim: Bunların hepsi reklamların ele geçirdiği insan dikkati ve kullanıcı kişisel verilerinin sömürülmesiyle finanse edilen para. Tebrikler insanlık.
Bu para faydalı alanlara harcansaydı neler başarılabilirdi?
Google telekom sektörüne girdiğinde AT&T, Verizon, Comcast gibi eski parazitleri kolayca devirecek gibi görünüyordu; peki gerçekte ne oldu?
Apple’ın otomobil, bankacılık (kredi kartı) ve içerik alanlarına girmeye çalışması da aynı hikâye.
Bu yüzden o para eninde sonunda ancak böyle harcanıyor. Exxon, Monsanto, Pfizer, Boeing’e dokunamıyorsunuz; konut, eğitim, sağlık, bankacılık alanlarında da bir şey yapamıyorsunuz.
Sonuçta yeniliğe nakit yakmak, en az dirençle ilerlenen varsayılan yol hâline geliyor. “Faydalı alanların” hepsi duvarlarla çevrili.