Nvidia CEO’su Jensen Huang yeni yapay zeka çipini duyurdu: "Daha büyük GPU gerekiyor"

Nvidia CEO’su Jensen Huang yeni yapay zeka çipini duyurdu: 'Daha büyük GPU gerekiyor'

• Nvidia pazartesi günü yeni nesil yapay zeka çiplerini ve yapay zeka modellerini çalıştırmaya yönelik yazılımları duyurdu.
• Yeni yapay zeka grafik işlemcisinin adı 'Blackwell' ve bu yılın ilerleyen dönemlerinde sevk edilmeye başlanacak.
• Bu duyuru, mevcut nesil H100’e benzer çiplere erişmek için hâlâ yoğun çaba harcayan şirketler ve yazılım geliştiricileri açısından kritik bir zamanda geldi.

Blackwell, Hopper’ın halefi

• Nvidia, GPU mimarisini iki yılda bir güncelleyerek performansta büyük sıçramalar sağlıyor.
• Blackwell tabanlı işlemci GB200, yapay zeka performansında H100’ün 4 petaflop’una kıyasla 20 petaflop sunarak yapay zeka şirketlerinin daha büyük ve daha karmaşık modeller eğitmesini mümkün kılıyor.
• Bu çip, transformer tabanlı yapay zekayı çalıştırmak için özel olarak tasarlanmış bir 'Transformer Engine' içeriyor ve TSMC tarafından üretilen iki kalıbı tek bir büyük çipte birleştiriyor.

Nvidia Inference Microservice

• Nvidia, Nvidia Enterprise yazılım aboneliğine 'NIM' (Nvidia Inference Microservice) adlı yeni bir ürün ekledi.
• NIM, mevcut Nvidia GPU’larını kullanarak yapay zeka yazılımlarını çalıştıran çıkarım sürecini kolaylaştırıyor ve şirketlerin zaten sahip olduğu milyonlarca Nvidia GPU’yu kullanmaya devam etmesini sağlıyor.
• Bu strateji, Nvidia tabanlı sunucu satın alan müşterileri, GPU başına yıllık 4.500 dolar lisans ücreti ödenen Nvidia Enterprise’a katılmaya yönlendiriyor.

GN⁺ görüşü

• Nvidia’nın yeni yapay zeka çipi 'Blackwell' ve ilgili yazılımı 'NIM' duyurusu, yapay zeka alanındaki teknolojik ilerlemeyi simgeliyor ve yapay zeka modellerinin eğitimi ile çıkarımı için donanım ve yazılım platformlarının önemini vurguluyor.
• Blackwell çipinin performans artışı, yapay zeka araştırmacılarına daha büyük ve daha karmaşık modelleri deneme fırsatı sunuyor; bu da yapay zekanın gelişiminde önemli bir rol oynayabilir.
• Ancak yüksek performanslı yapay zeka çiplerinin yüksek fiyatı, bazı şirketler veya araştırma kurumları için giriş engeli oluşturabilir; bu da teknolojinin demokratikleşmesi tartışmalarını tetikleyebilir.
• Nvidia ile rekabet eden diğer şirketler de benzer özelliklere sahip ürünler geliştiriyor; örneğin AMD’nin Radeon Instinct’i veya Google’ın TPU’su gibi ürünler, yapay zeka donanımı pazarında seçenek sunuyor.
• Yapay zeka teknolojisini benimserken dikkate alınması gereken unsurlar arasında maliyet, performans, uyumluluk ve teknik destek gibi faktörler bulunuyor; Nvidia’nın yeni teknoloji tercihleri, bu unsurları karşılayan şirketler için büyük avantaj sağlayabilir.

[corelyai]

• Nvidia geliştirici konferansı: Blackwell çipi ve geleceğin teknolojilerinin tanıtımı

• Nvidia, saniyede 10 terabayt veri aktarabilen tek bir dev çip oluşturmak için iki kalıp üzerinde bitişik 280 milyar transistöre sahip yenilikçi bir platform olan Blackwell'i tanıttı ve Hopper ile form faktörü uyumluluğu sundu.
• 500 milyar transistöre sahip Blackwell'in MVY link switch'i, GPU'lar arasında en yüksek hızlı iletişimi mümkün kılarak tek bir rack içinde exaflops düzeyinde yapay zeka sistemi kurulmasını sağlıyor.
• Nvidia, Blackwell'in AWS, Google, Oracle ve Microsoft ile ortaklık kurarak çeşitli yapay zeka hizmetlerini hızlandıracağını ve Nvidia teknolojisini bu platformlara entegre edeceğini duyurdu.
• Nvidia, üretken yapay zeka çözümleri ve yapay zeka fabrikaları kurmak için SAP, ServiceNow, Cohesity, Snowflake ve Dell gibi şirketlerle birlikte çalışacak AI Foundry'yi tanıttı.
• Omniverse Cloud'u Vision Pro'ya stream ederek farklı tasarım araçları arasında sorunsuz entegrasyon ve iş akışlarını destekleyen Nvidia, yapay zeka destekli robotlar için Project Groot, Isaac Lab ve OSMO'yu da tanıttı.
• Jetson ile çalışan Disney'nin bdx robotu özel bir gösteriyle yer aldı ve Isaac Sim'de öğrenme yeteneklerini sergiledi.

Bu, CNET videosunun corely.ai tarafından hazırlanmış özetidir (https://www.youtube.com/watch?v=bMIRhOXAjYk)

[GN⁺]

Hacker News görüşleri

• Konferansta Nvidia'nın yukarı doğru ölçeklenme yönünde ilerlediği görülüyor.

  • Nvidia, bir donanım üreticisi olarak beklendiği gibi daha büyük sistemler yapmaya devam ediyor.
  • Dikkat çekici olan, "llm'ler için docker" niteliğinde olan NIM'i inşa ediyor olması.
  • NIM, Nvidia donanımı üzerinde kolayca dağıtılabilen bir konteyner sistemi.
  • Bunun yapay zeka girişimleri üzerinde nasıl bir etkisi olacağını izlemek ilginç olacak.

• Nvidia'nın bir platform sağlayıcısına dönüştüğü fark ediliyor.

  • Bir yapay zeka hizmet platformu olarak bu, Nvidia için daha kârlı görünüyor.
  • AWS ve Microsoft ile olan ortaklıklarla denge kurmak zor olabilir.
  • Nvidia, yapay zekanın CUDA'ya yüksek bağımlılığı nedeniyle avantajlı durumda.
  • Bunun gelecekte nasıl gelişeceği merak ediliyor.

• FP4'ün 4 bit kayan nokta olup olmadığı merak ediliyor.

  • Hopper'a göre 30 kat daha yüksek olduğunu gösteren karşılaştırma grafiği biraz yanıltıcı görünüyor.

• Nvidia'nın birkaç yıl önce Bright Cluster Manager'ı satın aldığı hatırlatılıyor.

  • Sıradaki satın almanın kim olacağı ve tam yığın sunma niyetinin olduğu düşünülüyor.

• Bu bağlamda "platform şirketi" ifadesinin çoklu çip anlamına gelip gelmediği soruluyor.

  • Tek bir die'a çok fazla transistör sığdırmak gerçekçi olmadığından, çoklu çipe yönelmek mantıklı görünüyor.

• 25 kat daha düşük güç tüketimi iddia ediliyor, ancak bunu anlamak zor.

  • Bu sayının nereden geldiğine dair bir açıklamaya ihtiyaç var.

• Çift haneli petaflopların seri üretimine dair bir ifadeden bahsediliyor.

  • İnsan beyninin faaliyetini kopyalamak için gereken hesaplama gücü hakkında çeşitli tahminler var.
  • Petaflop, 10^15 anlamına geliyor.
  • Bunun olağanüstü bir dönem olduğu vurgulanıyor.

• Nvidia'nın veri merkezi gelirinin 2023 dördüncü çeyrekte rekor seviye olan 18,4 milyar dolara ulaştığı belirtiliyor.

  • Bu rakam bir önceki çeyreğe göre %27, geçen yılın aynı dönemine göre %409 artış anlamına geliyor.
  • Bu da çıkarım tarafındaki gelirin kayda değer biçimde arttığını düşündürüyor.

• FP8'in Hopper'a göre 2,5 kat olması, bu kadar uzun zamanın ardından biraz hayal kırıklığı yaratıyor.

  • İki birleşik çip kullanıldığı için gerçek etkinin yalnızca %25 artış olduğu söyleniyor.
  • İlerlemenin büyük kısmı bellek bant genişliği ve güç kullanımı tarafında.
  • Bunun tüketici segmentini nasıl etkileyeceği merak ediliyor.

• Teknik ayrıntılar hakkında daha fazla bilgi içeren bir bağlantı paylaşılıyor.