Nvidia, H200 Tensor Core GPU'yu duyurdu

Dünyanın en güçlü GPU'su

• NVIDIA H200 Tensor Core GPU, oyunun kurallarını değiştiren performansı ve bellek kapasitesiyle üretken yapay zeka ve yüksek performanslı hesaplama (HPC) iş yüklerini hızlandırıyor.
• HBM3e ile gelen ilk GPU olan H200, üretken yapay zeka ve büyük dil modellerinin (LLM'ler) hızlandırılması ile bilimsel hesaplama için HPC iş yüklerini ileri taşıyor.

NVIDIA Hopper mimarisi tabanlı performans artışı

• NVIDIA Hopper™ mimarisini temel alan NVIDIA HGX H200, büyük ölçekli verileri işlemek için gelişmiş belleğe sahip NVIDIA H200 Tensor Core GPU'yu öne çıkarıyor.

Performans artışını deneyimleyin

• Llama2 70B çıkarımı 1,9 kat, GPT-3 175B çıkarımı ise 1,6 kat daha hızlı.
• Yüksek performanslı hesaplama, CPU'ya kıyasla 110 kata kadar daha hızlı.

Daha yüksek performans ve daha büyük, daha hızlı bellek

• NVIDIA H200, 141GB HBM3e bellek ve 4,8TB/s bellek bant genişliği sunarak üretken yapay zeka ve LLM'leri hızlandırıyor, enerji verimliliğini artırıyor ve toplam sahip olma maliyetini düşürüyor.

Yüksek performanslı LLM çıkarımıyla içgörü elde edin

• Yapay zeka çıkarım hızlandırıcıları, büyük kullanıcı tabanlarına dağıtıldığında en yüksek verim ve en düşük TCO'yu sağlamalıdır.
• H200, LLM'leri işlerken H100 GPU'ya kıyasla 2 kata kadar daha hızlı çıkarım hızı sunuyor.

Yüksek performanslı hesaplamayı hızlandırın

• Bellek bant genişliği HPC uygulamaları için kritik öneme sahiptir; daha hızlı veri aktarımı sağlar ve karmaşık işleme darboğazlarını azaltır.
• H200'ün yüksek bellek bant genişliği, veri erişimi ve işlenmesini daha verimli hale getirerek CPU'ya kıyasla 110 kata kadar daha hızlı sonuç elde edilmesini sağlıyor.

Enerji ve TCO tasarrufu

• H200'ün devreye alınmasıyla enerji verimliliği ve TCO yeni bir seviyeye ulaşıyor.
• Aynı güç profili içinde üstün performans sunarken daha çevreci ve daha ekonomik avantajlar sağlıyor.

Performans

• NVIDIA Hopper mimarisi, benzeri görülmemiş performans artışları sunuyor ve H100 için süren yazılım iyileştirmeleriyle performans çıtasını yükseltmeye devam ediyor.
• H200'ün kullanıma sunulması, desteklenen yazılımlardaki sürekli iyileştirmelerle daha fazla performans artışını beraberinde getirerek bugün ve gelecekte performans liderliğini güvence altına alıyor.

Kurumsal kullanıma hazır: Yapay zeka yazılımı geliştirme ve dağıtımı basitleştiriyor

• NVIDIA AI Enterprise ile birlikte NVIDIA H200, yapay zeka hazırlıklı platformların kurulmasını basitleştiriyor; üretken yapay zeka, bilgisayarlı görü ve sesli yapay zeka gibi alanlarda geliştirme ve dağıtımı hızlandırıyor.
• Bunlar kurumsal düzeyde güvenlik, yönetilebilirlik, kararlılık ve destek sağlayarak daha hızlı eyleme dönüştürülebilir içgörüler elde etmeyi ve somut iş değeri yaratmayı mümkün kılıyor.

NVIDIA H200 Tensor Core GPU teknik özellikleri

• Form faktörü: H200 SXM
• FP64: 34 TFLOPS
• FP64 Tensor Core: 67 TFLOPS
• FP32: 67 TFLOPS
• TF32 Tensor Core: 989 TFLOPS
• BFLOAT16 Tensor Core: 1,979 TFLOPS
• FP16 Tensor Core: 1,979 TFLOPS
• FP8 Tensor Core: 3,958 TFLOPS
• INT8 Tensor Core: 3,958 TFLOPS
• GPU belleği: 141GB
• GPU bellek bant genişliği: 4,8TB/s
• Kod çözücü: 7 NVDEC
• Maksimum termal tasarım gücü (TDP): en fazla 700W (yapılandırılabilir)
• Çoklu örnek GPU: her biri 16.5GB olmak üzere en fazla 7 MIG

GN⁺ görüşü

Bu haberdeki en önemli nokta, NVIDIA'nın H200 Tensor Core GPU ile yapay zeka ve HPC iş yükleri için dünyanın en güçlü GPU'sunu tanıtmış olmasıdır. Bu GPU'nun, üretken yapay zeka ve büyük dil modellerinin hızlandırılmasının yanı sıra bilimsel hesaplama için HPC iş yüklerinin gelişimine de katkı sağlaması bekleniyor. Bu tür teknolojik ilerlemeler, kariyerinin başındaki yazılım mühendisleri için de ilgi çekici olacaktır ve üzerinde çalıştıkları projelerde yenilikçi değişimler yaratma potansiyeli taşımaktadır. H200'ün gelişmiş bellek ve işlem kapasitesinin daha hızlı hesaplama, daha yüksek enerji verimliliği ve daha düşük TCO sağlayarak yapay zeka ile bilimsel araştırma alanlarındaki ilerlemeyi hızlandırması öngörülüyor.

[GN⁺]

Hacker News görüşleri

• H200 GPU kalıbı H100 ile aynı, ancak genel olarak daha hızlı 24GB bellek yığınları kullanıyor.

  NVIDIA'nın H200 hızlandırıcısı, H100 141GB ile aynı silikona dayanıyor; Nvidia web sitesinin ima ettiği gibi yeni bir silikon değil.

• Diğer çip üreticilerinin birkaç yıl içinde yapay zeka alanında NVIDIA'yı yakalama veya geçme ihtimali üzerine merak.

  NVIDIA'nın yapay zeka alanındaki liderliğinin ve uzmanlığının önümüzdeki birkaç yıl içinde başka çip üreticileri tarafından zorlanıp zorlanamayacağı ya da bu önderliğin ulaşılamaz olup olmadığı sorgulanıyor.

• NVIDIA'nın kısa sürede sağladığı performans artışı etkileyici, ancak bu alanda başka rakiplere ihtiyaç olduğu hissediliyor.

  NVIDIA'nın kısa sürede elde ettiği performans artışı etkileyici bulunurken, bu pazarda AMD gibi başka rakiplerin de ortaya çıkması gerektiğine dair bir umut dile getiriliyor.

• Çıkarımda kullanılan metriklere dair soru ve eğitim tarafında da benzer performans artışlarının beklenip beklenmemesi gerektiği.

  Yapay zeka modellerinin çıkarım aşamasına ilişkin performans metriklerinden çoğunlukla söz ediliyor; model eğitimi aşamasında da benzer performans artışları görülüp görülemeyeceği soruluyor.

• Aynı yıl çıkacak B100 ile kıyaslandığında H200'ün konumu üzerine soru işareti.

  B100 aynı yıl piyasaya çıkıp 2 kat daha yüksek performans sunacaksa, H200'ün rolünün ve fiyatının ne olacağı merak ediliyor.

• H100 GPU'nun fiyatı karşısında şaşkınlık ve kişisel deneyler ile hackathon'larda kullanmak istendiğinde maliyetin ne olacağına dair soru.

  Kişisel deneyler ve hackathon'lar için H100 GPU kullanmak istendiğinde beklenmedik derecede yüksek fiyat karşısında şaşkınlık dile getiriliyor ve H200'ün fiyatı soruluyor.

• Mobil cihazlarda web sayfasındaki çerez banner'ları ve reklam banner'ları nedeniyle gerçekten görülebilen ekran alanı çok sınırlı.

  Mobil ortamda çerez banner'ları ve reklam banner'ları yüzünden bir web sayfasının gerçek görünür alanının yalnızca dörtte bir kaldığı sorunu gündeme getiriliyor.

• "GPU" terimi hakkında bir açıklama yok ve yerleşik video çıkış özelliği hiç bulunmuyor.

  GPU'nun yerleşik video çıkış özelliği barındırmadığı gerçeğine değiniliyor.

• Fotoğrafta ne olduğunun açıklanması isteniyor ve bunun sanki Blade Runner'dan çıkmış bir şehir ya da bina gibi göründüğü söyleniyor.

  Fotoğraftaki bileşenlerin ne olduğunun anlaşılmasının zor olduğu belirtilip açıklama isteniyor; bunun Blade Runner'daki bir şehir ya da binaya benzediği izlenimi paylaşılıyor.

• Çıkarım hızının sınırının bellek bant genişliği mi yoksa hesaplama gücü mü olduğu soruluyor.

  Yapay zeka modeli çıkarım hızını sınırlayan etkenin bellek bant genişliği mi yoksa hesaplama kapasitesi mi olduğu merak ediliyor.