- Nvidia CEO'su Jensen Huang, All-In podcast'ine katılarak Groq satın alımı, çıkarım patlaması, fiziksel yapay zeka, ajan bilişimi, yapay zeka sektöründeki PR krizi gibi çok geniş bir konu yelpazesinde bir röportaj verdi
- Nvidia, bir GPU şirketinden AI factory şirketine evrildi ve ajan işleme için heterojen bilişim mimarisine Groq LPU, BlueField, CPU ve ağ işlemcileri ekledi
- Open Claw'ı modern yapay zeka bilişiminin işletim sistemi planı olarak değerlendiriyor; bellek sistemi, beceriler, zamanlama ve IO alt sistemi içeren ilk kişisel yapay zeka bilgisayarı olarak tanımlıyor
- Fiziksel yapay zeka, teknoloji sektörünün ilk kez ele aldığı 50 trilyon dolarlık bir pazar ve şu anda yıllık yaklaşık 10 milyar dolara yaklaşan bir iş kolu olarak üstel büyüme içinde
- Yapay zeka sektöründeki PR krizi konusunda, teknoloji liderlerinin aşırı ve kıyametçi açıklamalarının politika yapıcılar ve kamuoyu üzerindeki olumsuz etkilerine karşı uyarıyor; daha ölçülü ve dengeli iletişim gerektiğini söylüyor
Groq satın alımı ve çıkarım patlaması
- 2,5 yıl önce tanıtılan AI factory işletim sistemi Dynamo'nun temel teknolojisi ayrıştırılmış çıkarım(disaggregated inference); yani çıkarım işleme hattını bölerek farklı GPU'larda çalıştırma yöntemi
- Bu ayrıştırılmış bilişim kavramı Mellanox satın alımına yol açtı ve bugün Nvidia bilişimi GPU, CPU, switch, scale-up/scale-out switch ve ağ işlemcileri genelinde dağıtılmış durumda
- Buna Groq da eklenerek uygun iş yükünün uygun çipe yerleştirildiği bir yapı oluşturuluyor
- Ajan işleme çağına geçişle birlikte çalışma belleği, uzun süreli bellek, araç kullanımı ve depolama gereksinimleri hızla artıyor
- Veri merkezinde büyük modeller, küçük modeller, diffusion modelleri ve otoregresif modeller gibi farklı model türleri birlikte bulunuyor
- Vera Rubin, bu son derece çeşitli iş yüklerini çalıştırmak için tasarlanmış bir sistem
- Mevcut 1 rack yapısına 4 rack daha eklendi ve Nvidia'nın TAM'i yaklaşık %33~50 arttı
- Ek kısım depolama işlemcileri(BlueField), Groq işlemcileri, CPU'lar ve ağ işlemcilerinden oluşuyor
- Veri merkezi fiyatı ile token maliyeti aynı şey olarak görülmemeli
- 50 milyar dolarlık bir factory, en düşük maliyetli token'ı üretebilir; sebebi ise 10 kat işlem hacmi verimliliği
- 20 milyar dolar arsa, elektrik ve kabuk maliyetleri; depolama, ağ, CPU, sunucu ve soğutma ise zaten gerekli
- GPU fiyatının 1x ya da 0,5x olması 50 milyar ile 40 milyar arasındaki fark düzeyinde ve 10 katlık throughput karşısında büyük bir oran değil
- Geçen yıl çıkarımın 1.000 kat artacağını söylemişti; şimdi bunun 1 milyon kat, 1 milyar kat seviyesine gideceğini düşünüyor
- O dönemde dünya ön-ölçekleme ve eğitime odaklıydı, ancak şimdi çıkarım patlayıcı biçimde arttığı için durum çıkarım kısıtlı(inference constrained) hale geldi
Dünyanın en değerli şirketinde karar alma
- CEO'nun rolü vizyon ve stratejiyi tanımlamak; bunu da üstün bilgisayar bilimcilerinin ve mühendislerin sağladığı bilgilerle geleceği şekillendirerek yapıyor
- Temel kriterler: çılgınca zor bir iş mi, daha önce hiç yapılmamış bir şey mi, Nvidia'nın özel süper gücüne uyuyor mu
- İş kolaysa rakip çok olur, bu yüzden kaçınmak gerekir
- Aşırı zor işlerde acı kaçınılmazdır; bu yüzden sürecin kendisinden keyif almak gerekir
Fiziksel yapay zekanın 50 trilyon dolarlık pazarı ve Open Claw
- Fiziksel yapay zeka, teknoloji sektörünün ilk kez 50 trilyon dolarlık bir endüstriye dokunma fırsatı
- 10 yıl önce başladı; bugün yıllık yaklaşık 10 milyar dolara yaklaşan ve üstel büyüyen bir iş
- 3 tür bilişim sistemi ayrımı
- Birincisi: yapay zeka modeli eğitimi ve geliştirmesi için bilgisayarlar
- İkincisi: değerlendirme bilgisayarları — fizik yasalarına uyan sanal ortamlarda robot ve araç değerlendirmesi (Omniverse)
- Üçüncüsü: edge robotics bilgisayarları — otonom araçlar, robotlar, oyuncak ayılar vb.
- İletişim baz istasyonlarını yapay zeka altyapısının bir parçasına dönüştürme çalışmaları sürüyor
- 2 trilyon dolarlık telekom sektörü, yapay zeka altyapısının bir uzantısına dönüşecek
- Dijital biyoloji, ChatGPT moment'ine yaklaşıyor
- Genlerin, proteinlerin ve hücrelerin temsili ile dinamiklerini anlamak 2~5 yıl içinde mümkün olabilir
- 5 yıl içinde dijital biyoloji sağlık sektöründe bir kırılma noktasına ulaşacak
- Open Claw, son 2 yıldaki 3 kırılma anının üçüncüsü
- Birincisi: ChatGPT — üretken yapay zekayı kitlesel farkındalığa taşıdı
- İkincisi: o1/o3 — akıl yürütme(reasoning) ve kanıta dayalı bilgiyle ekonomik modelde kırılma yarattı
- Üçüncüsü: Claude Code — ilk faydalı ajan sistemi ama kurumsal kullanımla sınırlı; Open Claw ise yapay zeka ajanı kavramını geniş kamu bilincine kazıyor
- Open Claw'ın bilişim modeli yapısı
- Bellek sistemi: scratchpad(kısa süreli bellek), dosya sistemi
- Beceriler: API üzerinden farklı tür uygulamaları çalıştırma
- Kaynak yönetimi ve zamanlama: cron job'lar, agent spawn, görev ayrıştırma
- IO alt sistemi: giriş/çıkış, WhatsApp bağlantısı vb.
- Bu 4 unsur temelde bir bilgisayarı tanımlar → ilk açık kaynak kişisel yapay zeka bilgisayarı
- Ajan yazılımında yönetişim ve güvenlik katkısı
- Hassas bilgi erişimi, kod yürütme ve dış iletişimin üçünün birden aynı anda izinli olmamasını sağlayan politikalar
- Peter Steinberger ve Nvidia mühendisleri güvenlik sertleştirmesine katkı verdi
Yapay zekanın PR krizi ve Anthropic'in iletişim sorunu
- Yapay zeka biyolojik bir varlık, uzaylı ya da bilinç sahibi bir şey değil; bilgisayar yazılımıdır
- “Bunu hiç anlamıyoruz” söylemi doğru değil; bu teknoloji hakkında çok şey biliyoruz
- Politika yapıcılara sürekli bilgi sağlanmalı ve kıyametçilik ile aşırılıkçılığın politika kararlarını etkilemesine izin verilmemeli
- Aynı zamanda teknoloji çok hızlı ilerlediği için politika teknolojinin fazla önüne geçmemeli
- ABD'nin en büyük ulusal güvenlik kaygısı: diğer ülkeler yapay zekayı benimserken ABD'nin yapay zekaya öfkeli, korkmuş ya da paranoyak hale gelip onu benimseyememesi
- Anthropic hakkında: teknolojisi çok iyi ve güvenlik ile emniyete odaklanmasını takdir ediyor
- Ancak teknolojinin riskleri konusunda uyarmak iyi, korkutmak ise daha az iyi
- Kanıt olmadan yapılan aşırı ve felaket tellallığı içeren açıklamalar, insanların düşündüğünden daha zararlı olabilir
- Teknoloji liderleri olarak sözlerin ağırlığını bilmek ve daha ölçülü, ılımlı, dengeli ve düşünceli olmak gerekiyor
- ABD'de yapay zekanın popülerliği %17 düzeyinde ve nükleer sektör gibi kapatılma yoluna girme riski var
- Çin'de 100 nükleer fisyon reaktörü inşa edilirken ABD'de sayı 0
- Veri merkezi moratoryumu gibi söylemler de gündeme geliyor
Gelir kapasitesi, çalışan token tahsisi ve ajanların geleceği
- Yapay zeka modeli kullanım sıralaması: 1. OpenAI, 2. açık kaynak(çok büyük farkla), 3. Anthropic
- Bilişim talebindeki artış
- Üretken yapay zeka → akıl yürütme: yaklaşık 100 kat
- Akıl yürütme → ajanlar: yaklaşık 100 kat
- 2 yılda bilişim 10.000 kat arttı
- İnsanlar bilgi için para öder ama işe(work) daha fazla para öder
- Ajan sistemleri işi yerine getirir → tüketim bugün yaklaşık 100 kat arttı ve ölçekleme henüz gerçekten başlamadı
- Nvidia'nın 43.000 çalışanının yaklaşık 38.000'i mühendis
- 500 bin dolar maaş alan bir mühendisin yılda yalnızca 5 bin doları token'a harcaması büyük sorun
- Beklenti en az 250 bin dolar ve üzeri token tüketimi
- Bu, bir çip tasarımcısının “yalnızca kağıt ve kalem kullanacağım, CAD aracına ihtiyacım yok” demesine benziyor
- Auto Research örneği
- Masaüstünde 30 dakikada yapılan araştırma, normalde 7 yıl süren bir doktora tezi seviyesinde
- GitHub'dan indirip yerelde çalıştırılıyor, bilimsel dergi düzeyinde sonuç üretiyor
- Hafta sonunda yayımlanan 600 satırlık bir araç
- Gelecekte çalışma biçimi: kodu doğrudan yazmak yerine fikirleri, mimariyi ve spesifikasyonları yazmak, ekipleri organize etmek ve değerlendirme ölçütlerini tanımlamak
- Her mühendis 100 ajana sahip olacak
Kurumsal yazılımın geleceği
- Kurumsal IT yazılım sektörünün yıkılacağı görüşüne itiraz ediyor
- Kurumsal yazılım bugüne kadar insan sayısı ve koltuk sayısı(butts and seats) ile sınırlıydı
- Yakında 100 kat daha fazla ajan, SQL, vektör veritabanları, Blender, Photoshop gibi mevcut araçları kullanacak
- Mevcut araçlar işi iyi yapıyor ve nihai iş sonucunu kullanıcının kontrol edebileceği biçimde ifade eden bir kanal görevi görüyor
Açık kaynak, küresel yayılım, İran/Tayvan tedarik zinciri
- Modeller ürün değil teknolojidir, hizmet değil teknolojidir
- Tescilli modeller ile açık kaynak modellerin ikisine de temelde ihtiyaç var (A or B değil A and B)
- Genel tüketici ChatGPT, Claude, Gemini gibi yatay katmandaki genel zekayı tercih ediyor
- Sektöre özgü alan uzmanlığı ve özelleşme ise yalnızca açık modellerde mümkün
- Açık kaynak modeller frontier seviyesine çok yakın ve frontier'a ulaşsalar bile hizmet modeli olarak sunulan modeller gelişmeye devam edecek
- Küresel yayılım durumu
- Biden dönemindeki yayılım kuralları Amerikan karşıtı yapay zeka yayılımı politikasıydı
- Başkan Trump, Amerikan teknoloji sektörünün dünyaya liderlik etmesini ve teknolojinin yayılmasını istiyor
- Nvidia, dünyanın ikinci büyük pazarı olan Çin'de %95 pazar payından vazgeçip bugün %0'a geriledi
- Secretary Lutnik'ten onaylı lisans alındı; Çinli şirketlerden satın alma siparişleri geliyor ve tedarik zinciri yeniden devreye alınıyor
- Ulusal güvenlik açısından
- Küçük motorları, nadir toprak minerallerini, iletişim ağlarını ve sürdürülebilir enerjiyi kontrol edememek ulusal güvenliği zayıflatır
- Yapay zeka sektörü, güneş enerjisi, nadir topraklar, mıknatıslar, motorlar ve telekom gibi bir duruma düşmemeli
- Amerikan teknoloji yığını(çiplerden bilişim sistemlerine ve platformlara kadar) dünyanın %90'ını kapsamalı
- Tayvan: ABD yeniden sanayileşmesini mümkün olan en hızlı şekilde ilerletmeli; Tayvan tedarik zinciriyle stratejik ortaklık ve dostluğu koruyarak Arizona, Texas ve California'da hızlı üretim yapmalı
- Güney Kore, Japonya ve Avrupa'ya doğru tedarik zinciri çeşitlendirmesi gerekli
- Çeşitlenme ve dayanıklılık oluşturma sürecinde sabır ve itidal gerekiyor
- Helyum: sorun olabilir ancak tedarik zincirinde yeterli tampon bulunma ihtimali var
Otonom sürüş platformu ve rekabet
- “Hareket eden her şey bir gün tamamen ya da kısmen otonom hale gelecek”
- Nvidia, otonom araçları doğrudan üretmiyor; bunun yerine tüm otomotiv şirketlerinin bunları yapabilmesini sağlıyor
- Eğitim bilgisayarı, simülasyon/değerlendirme bilgisayarı ve araç bilgisayarı olmak üzere üç katmanı da inşa ediyor
- Dünyanın ilk çıkarım tabanlı otonom aracı — karmaşık senaryoları basit senaryolara ayırarak keşfeden Alpommyo sistemi
- Tesla yalnızca eğitim bilgisayarını satın alırken, diğer şirketler tüm stack'i kullanabiliyor; yani esnek iş birliği modeli var
- Google TPU, Amazon Inferentia/Tranium gibi müşterilerin rakibe dönüşmesi
- Nvidia'nın özgüveni şu noktada: en iyi teknolojiyle rekabet edip hızlı koştukları sürece, Nvidia'dan satın almak ekonomik olarak en mantıklısı
- Tüm bulutlarda bulunan tek mimari — buluttan on-premise'e, araçlara, herhangi bir bölgeye ve uzaya kadar
- İşin yaklaşık %40'ı, müşterinin tüm AI factory'yi kurmasını sağlayacak full stack olmadan değerlendirilemez
- Pazar payı artışının nedenleri
- Anthropic Nvidia'ya geçti, Meta da Nvidia'ya geçti, açık modeller büyüyor — hepsi Nvidia tabanlı
- Bulut dışındaki şirketler, sektörler ve edge büyüyor
- AWS, önümüzdeki birkaç yılda 1 milyon çip satın alacağını açıkladı
- Analistlerin büyüme yavaşlayacak tahminleri(h gelecek yıl %30, sonraki yıl %20, 2029'da %7) hakkında
- Sorun, yapay zekanın ölçeğini ve kapsamını anlamamaları
- Çoğu kişi yapay zekanın yalnızca ilk 5 hyperscaler'da olduğunu sanıyor, oysa gerçek çok daha geniş
Uzay veri merkezleri, AI sağlık, robotik
- Uzay veri merkezleri
- Nvidia zaten uzayda — radyasyona dayanıklı CUDA, dünya çapındaki uydularda görüntüleme ve yapay zeka görüntü işleme için kullanılıyor
- Uzaydaki tüm veriyi Dünya'ya göndermek yerine görüntüyü doğrudan uzayda işlemek mantıklı
- Uzayda enerji bol ama iletim ve konveksiyonla soğutma mümkün değil → yalnızca radyasyon mümkün, bu da çok büyük yüzey alanı gerektiriyor
- Uzay veri merkezi mimarisini keşfetmenin birkaç yıl süreceği öngörülüyor
- AI sağlık için 3 alan
- AI biyolojisi: biyolojik davranışı yapay zeka ile temsil etmek ve tahmin etmek → ilaç keşfi
- AI ajanları: teşhis desteği vb. — Open Evidence, Hypocratic örnekleri
- Fiziksel yapay zeka: fizik yasalarını anlayan yapay zeka → robotik cerrahi vb.
- Gelecekte ultrason, CT gibi hastanedeki tüm cihazlar ajanlaşacak — Open Claw'ın güvenli bir sürümü tüm ekipmanlara gömülecek
- Robotik
- ABD bu sektörün büyük bölümünü icat etti ama çekirdek teknoloji(beyin = yapay zeka) ortaya çıkmadan yaklaşık 5 yıl önce yoruldu
- Yüksek işlevli bir varoluş kanıtından makul bir ürüne giden yol genelde 2~3 döngüden(3~5 yıl) fazla sürmez
- Çin, mikroelektronik, motorlar, nadir topraklar ve mıknatıslar alanında dünya lideri; bu yüzden küresel robotik endüstrisi Çin ekosistemi ve tedarik zincirine büyük ölçüde bağımlı
- Robotlar, bireyin tek başına yapamayacağı işleri mümkün kılarak ekonomik hareketlilik ve refahın en büyük kilidini açan unsur olacak
- Bugün ABD'de milyonlarca kişilik iş gücü açığı var ve robotiğe acil ihtiyaç duyuluyor
- Robotlar sayesinde sanal mevcudiyet(virtual presence), ışık hızında hareket ve Ay ile Mars'ın kolonizasyonu mümkün olacak
OpenAI/Anthropic gelir potansiyeli ve AI hendeği
- Dario Amodei, 2027~28'e kadar yüz milyarlarca dolar, 2030'a kadar 1 trilyon dolar düzeyinde altyapı dışı yapay zeka geliri öngörüyor
- Jensen bunu çok muhafazakâr buluyor ve Anthropic'in bundan çok daha iyi performans göstereceğini düşünüyor
- Henüz hesaba katılmayan kısım: tüm kurumsal yazılım şirketleri Anthropic ve OpenAI token'larının katma değerli yeniden satıcısı haline gelecek
- Go-to-market yapısı logaritmik şekilde ölçeklenecek
- Yapay zeka çağında hendek(moat), derin uzmanlaşma(deep specialization) olacak
- Genel modeller ajan sistemlerine bağlanacak ve pek çok model, şirketlerin kendilerinin eğittiği özelleşmiş alt ajanlar olacak
- Girişimcilere mesaj: kendi dikeyinizi herkesten daha derin bilin ve araçlar geliştikçe bilginizi içine aktarın
- Ajanı müşteriye ne kadar hızlı bağlarsanız flywheel o kadar hızlı çalışır ve ajan o kadar gelişir
- Bugünün yatay platform modelinin aksine, platform şirketleri için uzman ve dikey alan uzmanı olma fırsatı doğuyor
Yapay zeka çağında gençlere tavsiye
- Derin bilim, derin matematik ve dil becerileri öneriyor
- Dil, yapay zekanın programlama dili olduğu için İngiliz edebiyatı mezunları bile en başarılı kişiler olabilir
- Hangi eğitimi alırsanız alın, yapay zeka kullanımında derin uzman olmanız gerekiyor
- Aşırı tarif vermeden(overprescribe), yapay zekaya yenilik ve yaratıcılık alanı bırakıp istenen sonuca yönlendirmek bir sanat(artistry)
- Radyolog örneği
- 10 yıl önce bilgisayarlı görü, radyolojinin tamamen yerini alacak deniyordu → bilgisayarlı görü %100 entegre oldu
- Ama radyolog sayısı aksine arttı, çünkü talep patladı
- Tarama hızlandı → daha fazla tarama → daha fazla hasta → hastane gelirinde artış
- Mesleklerin görevleri(task) değişir ama amacı(purpose) korunur
- Verimlilik artarsa ülke daha zengin olur; sınıflara daha fazla öğretmen konabilir ve her öğrenciye kişiselleştirilmiş müfredat sunulabilir
- İş dönüşümü kaçınılmaz, örneğin otonom sürüşle 10~15 milyon sürücülük işi değişecek
- Şoförler, mobilite asistanlarına evrilebilir — araç kendi kendine sürerken yolcu için çeşitli görevler üstlenebilirler
- Uçaklardaki otopilotun daha fazla pilot yaratması gibi benzer bir örüntü görülebilir
5 yorum
24:28’den sonrası etkileyici görünüyor.
Şöyle bir düşünce deneyi yapalım.
Yıllık 500 bin dolar kazanan bir yazılım mühendisi ya da yapay zeka araştırmacısı olduğunu varsayalım. Bu tür durumlarla bizde sık sık karşılaşılır.
Yıl sonunda ben o yıllık 500 bin dolarlık mühendise şunu sorarım.
“Bu yıl token’lara ne kadar harcadın?”
Ama o kişi “5 bin dolar harcadım” diye cevap verirse, gerçekten aklım durur.
Eğer o yıllık 500 bin dolarlık mühendis en az 250 bin dolarlık token bile kullanmadıysa, bunu son derece ciddi bir mesele olarak görürüm.
Bu, çip tasarımcılarımızdan birinin
“Ben sadece kağıt kalem kullanacağım. CAD tool’lara ihtiyacım olacağını sanmıyorum”
demesinden farksızdır.
Bu, artık en iyi yeteneklere bakış açımızın bütünüyle değiştiği anlamına geliyor.
Bu biraz da NBA’de LeBron James’in vücuduna bakmak ve formunu korumak için
her yıl 1 milyon dolar harcamaya başladığında öğrendiğimiz şeye benziyor.
Böylesine olağanüstü bilgi çalışanlarının eline neden insanüstü yetenekler vermeyelim ki?
O zaman 2-3 yıl sonrasına baktığımızda,
Nvidia’daki en iyi bir yetenek ne kadar verimli çalışıyor olacak?
Ve gerçekten nereye kadar ulaşabilecek?
Öncelikle, “Vay, bu fazla zor” düşüncesi ortadan kalkacak.
“Bu çok uzun sürer” düşüncesi de ortadan kalkacak.
“Bunun için çok fazla insan gerekir” düşüncesi de ortadan kalkacak.
Fazla büyük, fazla ağır, fazla uzun sürüyor.
Bütün bu düşünceler kaybolacak.
Geriye sonunda yaratıcılık kalacak.
Geriye yalnızca sizin ne düşünebildiğiniz kalacak.
O zaman artık soru şu olacak.
Bu agent’larla nasıl birlikte çalışacağız?
Bu sonuçta bilgisayar programlamanın yeni bir yolu.
Eskiden kodu doğrudan biz yazıyorduk.
Bundan sonra fikirleri yazacağız, mimariyi yazacağız, spesifikasyonları yazacağız.
Takımları organize edeceğiz,
iyi sonuçlarla kötü sonuçları nasıl değerlendireceğimizi tanımlayacağız,
neyin mükemmel bir sonuç olduğunu belirleyeceğiz,
birlikte nasıl iterasyon yapacağımızı,
nasıl beyin fırtınası yapacağımızı belirleyeceğiz.
Gerçekten önemli olan şey tam olarak bunlar.
Ve bence,
ileride her mühendisin emrinde yüz agent olacak.
Ne demek istendiğini anlıyorum ama mühendisleri kod satırı sayısıyla değerlendirmek zaten aptalcaydı. İyi bir metrik bulmak gerçekten zor görünüyor.
Yıllık maaşı 500 bin dolar olan bir mühendise “Ne kadar token harcadınız?” diye sormak yerine,
“Bu yıl ne geliştirdiniz ve bunun şirketin faaliyet kârına katkısı ne oldu?” diye sormamız gerekmiyor mu?
Soru, "Ne kadar token harcadınız?" değil, onları iyi kullanıp kullanmadığınız olmalı. Sadece 5000 dolar harcamış olmak, bunu çok az harcamış olmanın bir ölçütü olarak düşünmek gerektiği anlamına geliyor gibi. "Ben sadece kağıt ve kalem kullanacağım. Sanırım CAD aracına ihtiyacım yok" demekten farksız.
Başka bir örnek vermek gerekirse, bunu "Çalışanlar arasında Excel'de sadece toplama formülü kullanan bir çalışan var mı?" diye düşünmek gibi olabilir.