- Yapay zeka patlamasından sonra Nvidia GPU’larına talep hızla artarken, yeni Blackwell nesli büyük modellerin eğitimi ve dağıtımı için tedarikçi konumunu daha da güçlendirmeyi amaçlayan bir duyuru niteliğinde
- İlk Blackwell çipi GB200’ün bu yılın sonunda sevk edilmesi planlanıyor; H100’ün yer aldığı Hopper nesline kıyasla yapay zeka performansı 4 petaflops’tan 20 petaflops’a çıkıyor
- GB200, iki B200 Blackwell GPU ile Arm tabanlı Grace CPU’yu bir araya getiriyor; Amazon, Google, Microsoft ve Oracle bulut erişimi satmayı planlıyor
- Yeni yazılım NIM, mevcut Nvidia GPU’larında da yapay zeka çıkarım dağıtımını kolaylaştırıyor; Nvidia enterprise lisansı GPU başına yıllık 4.500 dolar
- Nvidia, çip satışının ötesine geçerek müşterilerin rakip çipler yerine Nvidia ekosisteminde kalmasını sağlayan yazılım platformu stratejisini güçlendiriyor
Blackwell duyurusu ve Nvidia’nın yapay zeka tedarikçisi konumu
- Nvidia, 18 Mart 2024’te San Jose geliştirici konferansında yeni yapay zeka çip neslini ve yapay zeka modellerini çalıştırmaya yönelik yazılımı duyurdu
- Duyuru sırasında şirketler ve yazılım firmaları hâlâ mevcut nesil Hopper H100 ve benzeri çipleri temin etmek için rekabet ediyordu
- Jensen Huang, “Hopper harika ama daha büyük bir GPU’ya ihtiyacımız var” dedi
- OpenAI’nin ChatGPT’si 2022 sonunda yapay zeka patlamasını tetikledikten sonra Nvidia hisseleri 5 kat arttı, toplam gelir ise 3 kattan fazla büyüdü
- Microsoft ve Meta gibi şirketler Nvidia’nın üst seviye sunucu GPU’larını satın almak için milyarlarca dolar harcadı
- Nvidia hisseleri Pazartesi günü mesai sonrası işlemlerde %1’den fazla düştü
-
GB200 yapılandırması ve performansı
- Yeni yapay zeka grafik işlemcisi neslinin adı Blackwell; ilk Blackwell çipi ise GB200
- Nvidia, yaklaşık iki yılda bir GPU mimarisini yenileyerek büyük performans artışları sunuyor
- 2022’de duyurulan Hopper mimarisi H100 gibi çiplerde kullanıldı ve geçen yıl açıklanan birçok yapay zeka modeli Hopper üzerinde eğitildi
- Blackwell tabanlı GB200’ün yapay zeka performansı 20 petaflops; bu, H100’ün 4 petaflops değerinden daha yüksek
- Artan hesaplama gücü, yapay zeka şirketlerinin daha büyük ve karmaşık modeller eğitmesinde kullanılabilir
- Çipte, ChatGPT’nin temel teknolojilerinden biri olan transformer tabanlı yapay zekayı çalıştırmaya yönelik bir transformer engine bulunuyor
- Blackwell GPU’ları TSMC tarafından üretiliyor ve ayrı ayrı üretilmiş iki die tek bir çipte birleştiriliyor
-
Sunucular ve bulut sunumu
- GB200, iki B200 Blackwell GPU ile bir Arm tabanlı Grace CPU’yu birleştiriyor
- Nvidia ayrıca 72 Blackwell GPU ve diğer Nvidia bileşenlerini bir araya getiren eksiksiz sunucu GB200 NVLink 2’yi de sunuyor
- Amazon, Google, Microsoft ve Oracle, GB200 erişimini bulut hizmeti olarak satmayı planlıyor
- Amazon Web Services, 20.000 GB200 çipli bir sunucu kümesi kurmayı planlıyor
- Bu sistem 27 trilyon parametreli modeli dağıtabiliyor; bu, haberlerde 1,7 trilyon parametreli olduğu belirtilen GPT-4’ten çok daha büyük bir ölçek
- Nvidia, GB200’ün veya onu kullanan sistemlerin fiyatını açıklamadı
- Analist tahminlerine göre Hopper tabanlı H100 çip başına 25.000–40.000 dolar, tam sistem ise 200.000 dolara kadar çıkıyor
- Nvidia, tüm sunucu rafını kaplayan tamamlanmış sistemler şeklinde de B200 grafik işlemcilerini satmayı planlıyor
NIM ve Nvidia’nın platform stratejisi
- Nvidia, Nvidia enterprise yazılım aboneliğine NIM(Nvidia Inference Microservice) adlı yeni bir ürün ekledi
- NIM, yapay zeka yazılımlarını çalıştırma süreci olan çıkarımı mevcut Nvidia GPU’larında daha kolay hale getiriyor
- Çıkarım, yeni bir yapay zeka modelinin ilk eğitimine göre daha düşük hesaplama gerektiriyor
- Amaç, şirketlerin halihazırda sahip olduğu yüz milyonlarca Nvidia GPU’yu kullanmaya devam edebilmesini sağlamak
- OpenAI gibi şirketlerden yapay zeka çıktılarını hizmet olarak satın almak yerine kendi yapay zeka modellerini çalıştırmak isteyen şirketler, NIM’in başlıca hedef kitlesi
- Nvidia tabanlı sunucu satın alan müşterileri Nvidia enterprise aboneliğine bağlamak temel strateji
- Lisans ücreti GPU başına yıllık 4.500 dolar
-
Model dağıtımı ve geliştirici kullanım biçimi
- Nvidia, Microsoft ve Hugging Face gibi yapay zeka şirketleriyle iş birliği yaparak yapay zeka modellerinin uyumlu tüm Nvidia çiplerinde çalışacak şekilde ayarlanmasını planlıyor
- Geliştiriciler NIM’i kullanarak uzun kurulum süreçleri olmadan modelleri kendi sunucularında veya bulut tabanlı Nvidia sunucularında verimli biçimde çalıştırabiliyor
- Manuvir Das, bunun mevcut kodda OpenAI’yi çağıran kısmı Nvidia’dan alınan NIM’e işaret edecek şekilde tek satır değiştirmek anlamına geldiğini söyledi
- Nvidia, bu yazılımın yalnızca bulut sunucularında değil GPU’lu dizüstü bilgisayarlarda da yapay zeka çalıştırmaya yardımcı olduğunu belirtti
-
Çip şirketinden yazılım platformuna
- NIM, müşterilere rakip çipler yerine Nvidia çiplerinde kalmaları için ek bir neden sunan bir ürün
- Nvidia, yalnızca kiralık bir çip tedarikçisi olarak kalmayıp diğer şirketlerin yazılım inşa edebileceği bir platform sağlayıcısına yaklaşıyor
- Huang, “Blackwell bir çipin değil, bir platformun adı” dedi
- Das, geçmişte satılabilir ticari ürünün GPU olduğunu ve yazılımın GPU kullanımına yardımcı bir rol oynadığını, ancak artık Nvidia’nın ticari bir yazılım işine sahip olduğunu söyledi
2 yorum
Bu, CNET videosunun corely.ai tarafından hazırlanmış özetidir (https://www.youtube.com/watch?v=bMIRhOXAjYk)
Hacker News görüşleri
Keynote sahnesine ve konferans içeriğine bakınca Nvidia’nın, iyi donanım şirketlerinin sıkça yaptığı gibi stack’in üst katmanlarına doğru çıktığı görülüyor.
Elbette daha büyük donanımlar üretmeye de devam edecekler, ama asıl mesele NIM ile LLM’ler için Docker benzeri bir şey yapıyor olmaları. NIM’i indirip ya da satın alıp Nvidia donanımına kolayca dağıtmayı sağlayan bir container sistemi kuruyorlar; bunun AI startup’larını nasıl etkileyeceğini izlemek ilginç olacak.
Daha büyük tehdit, işin temel işlevinin ana akım yazılımlara girmesi. Bugün iPhone arka plan kaldırabildiği için ücretli arka plan kaldırma talebinin ortadan kalkması gibi; bir AI ürünü mevcut iş uygulamalarının tek bir özelliği olarak kolayca içeri alınabiliyorsa, o iş ödünç zamanla yaşayan bir iş demektir.
“Altyapı” sunan AI-as-a-Service startup’ları gibi bir şey mi?
“Nvidia’nın paralı asker gibi çip tedarik eden bir şirketten, Microsoft ya da Apple gibi başka şirketlerin üzerinde yazılım geliştirebildiği bir platform sağlayıcısına yaklaşması” yönü büyüme açısından anlaşılır.
AI için platform hizmeti haline gelmek Nvidia açısından daha kârlı olurdu, ancak AWS ve Microsoft gibi mevcut iş ortaklıklarıyla denge kurmak zor. İleride satın almalar ya da rekabet için özelleştirilmiş çözümler çıkacak gibi; neyse ki Nvidia açısından AI’ın önemli bir kısmı hâlâ CUDA’ya bağımlı, bu da gelişmeleri ilginç kılıyor.
Müşterileri bir tarafa zorlayacak kadar kaldıraçları yok; yalnızca GPU satmak daha kolay olurdu. Ama sofistike müşterilerin başka çiplere geçebileceğini, buna karşılık platformun küçük müşterileri içeride tutma etkisi olduğunu biliyor gibiler.
Nvidia isterse böyle davalardan kaçınmak için standardı gönüllü olarak açabilir; kişisel olarak bunun akıllıca bir seçim olacağını düşünüyorum, ama tarih boyunca neredeyse tüm şirketler gönüllü açılmak yerine davayı seçti.
AWS sinir ağları için kendi donanım+yazılım çözümüne sahip olsa bile CUDA platformundan uzaklaşmak yıllar, belki de on yıllar sürebilir.
Microsoft’un OpenAI ile de, Mistral ile de ortaklığı var. Bugünkü rahatlığın gelecekte de süreceğinin garantisi yok; Nvidia da bunun gayet farkında.
FP4 nedir, 4 bit kayan nokta mı? Öyleyse Hopper’a göre 30 kat karşılaştırma grafiği [0] biraz yanıltıcıydı.
[0] https://youtu.be/Y2F8yisiS6E?t=4698
Bazıları bunu 4 bit LLM’lerle ilgili şu makaleyle [1] ilişkilendiriyor; yazarlar arasında bir Nvidia çalışanı da var.
1: https://arxiv.org/pdf/2310.16836.pdf
FP4’te çok baskın bir donanımınız varsa onu kullanır, doğruluk kaybını en aza indirirken hız artışı elde edebilirsiniz. Pazarlama türü bir yaratıcılık karışmış olsa da gerçek kullanımı ölçmek için tamamen yanlış bir ölçüt değil.
Daha önceki bir gönderide de ele alınmıştı: https://news.ycombinator.com/item?id=37930663
Aslında biraz iyileştirilmiş bir süreç düğümü üzerinde yan yana konmuş iki Hopper’a daha yakın, dolayısıyla şaşırtıcı değil; bu tür yeni özelliklerden ya da artan bellekten yararlanılmayan durumlarda 2,5 kat civarı daha makul görünüyor.
Birkaç yıl önce Bright Cluster Manager’ı satın almışlardı; sıradaki satın alma hedefi kim olur? Müşteriye tüm stack’i sunmak istiyorlar gibi görünüyor.
Çift haneli petaflop’ların seri üretildiği bir çağdayız.
“İnsan beynindeki ilgili etkinliği kopyalamak için gereken hesaplama gücü, çeşitli yazarlarca 10^12 ile 10^28 FLOPS arasında tahmin edilmiştir.” Petaflop 10^15’tir. Çılgın bir çağ.
Softbank’ten Masayoshi Son için yazık olmuş. 2019’da Nvidia’da 3,1 milyar dolarlık payı vardı; bugün 19 katına, yani 60 milyar dolara denk olurdu.
AI ve robotik konusunda inanılmaz iyimserdi ama zamanının çok ilerisindeydi.
Burada “platform şirketi” derken çoklu çip mi kastediliyor?
Tek bir die’a bu kadar çok transistör sığdırmak gerçekçi olmaktan çıktığı için mantıklı görünüyor
Tescilli şasi, tescilli küme ara bağlantı ağı ve tescilli middleware üzerinde çalışan üst düzey uygulamaları kendi ekosisteminde tutma yönünde. Mellanox satın almasını akla getiriyor
Donanım tarafında GPU, GPU-GPU fabric’i olan NVLINK, CPU, NIC, ağ fabric’i olan InfiniBand ve switch’ler var. Bunun üstüne insanların CUDA, Riva, Megatron, Omniverse gibi çeşitli yazılım yığını katmanları inşa etmesini destekliyor ve teşvik ediyorlar
AWS’nin dünyadaki tüm bilgisayarları da sattığını hayal edin. Artık yalnızca oradan kiralayabileceğiniz bir yapı oluşuyor
Sektörün LLM’lerin ölçeklenebilirlik sorununu ne zaman ele almaya başlayacağını merak ediyorum. Nvidia açısından daha büyük ve daha iyi GPU’lar çıkarmaya devam etmek elbette kârlı, ama ortak çıkar ne?
Yeterli kaynak olduğunda iyi bir dil modeli yapılabildiği zaten kanıtlandı. Şimdi mesele, bu modelleri ortalama kullanım senaryoları için hayal etmesi zor miktarda kaynak gerektirmeyen çözümlere yerleştirmek
Bu yalnızca yapay zekaya özgü bir sorun değil; kullandığımız tüm yazılımların sorunu. Optimize etmeye ve daha küçük sistemlere uydurmaya çalışan gruplar yalnızca iki tür: tutkulu programcılar ve bu işi yapmaları için para alanlar. Örneğin telefon üreticilerinin yazılım ekipleri gibi
Mesai sonrası işlemlerde hisse fiyatı değişmedi. Büyük bir duyuruyla ciddi sıçrama bekleyen çok kişi vardı
Ancak hissesi gerçekten gülünç derecede aşırı değerli
Kısa vadede Microsoft ve OpenAI bu çipi kullanacak, ama uzun vadede buna bakıp kendi çiplerini geliştirmeye ve Nvidia’ya bağımlılıklarını azaltmaya çalışacaklar; sözleşme bittiğinde geçiş yapmaya hazır olacaklar
Güç tüketimini 25 kat azalttıklarını iddia ediyorlar; bu nasıl doğru olabilir? Bu sayının nereden geldiğini bilen var mı?
Ancak bir yazım hatası olabileceğini düşünüyorum. Muhtemelen sıvı soğutma ile hava soğutmayı da içeren bir karşılaştırmadır
[1] https://nvdam.widen.net/s/xqt56dflgh/nvidia-blackwell-archit...
Muhtemelen 5 kat performans artışından gelen verimlilik iyileşmesi ve artık 1,7 trilyon değil 27 trilyon parametre kullanılabilmesi nedeniyle aynı iş yükünü 1/25 sürede bitirebilmesi; bu yüzden güç tüketimi azalması denmiş olabilir. Dediğin gibi, maksimum güç tüketiminin kendisinin 25 kat daha düşük olduğuna şüpheyle yaklaşıyorum