AMD'nin MI300X'i, LLM çıkarımında Nvidia'nın H100'ünü geride bırakıyor

AMD'nin MI300X'i, NVIDIA'nın H100'ünü geride bırakan performans

Öne çıkanlar

• AMD'nin MI300X hızlandırıcısı: AMD'nin en yeni MI300X hızlandırıcısı, NVIDIA'nın H100'ünü aşan performans gösterdi.
• TensorWave ve MK1 iş birliği: Son bir ay içinde TensorWave ve MK1, AMD donanımındaki yapay zeka çıkarım performansını optimize etmek için birlikte çalıştı.
• MoE mimarisi: Performans, Mixture of Expert (MoE) mimarisi kullanılarak test edildi. MoE, Mistral, Meta, Databricks ve X.ai gibi şirketlerin kullandığı güçlü açık kaynak LLM'lerde uygulanıyor.
• İlk sonuçlar: MK1'in çıkarım yazılımını kullanan MI300X, Mixtral 8x7B üzerinde vLLM çalıştırırken H100 SXM'den %33 daha yüksek throughput elde etti.
• Rekabet gücü: NVIDIA'nın yazılım ekosistemi daha olgun olmasına rağmen AMD, yapay zeka pazarında güçlü bir rakip olarak öne çıkıyor. Donanım bulunabilirliği ve maliyet dikkate alındığında MI300X, bulutta büyük ölçekli çıkarım çalıştıran şirketler için cazip bir seçenek.
• Gelecek görünümü: Ek optimizasyonlarla AMD'nin performans avantajının daha da artması bekleniyor.

GN⁺ görüşü

• Performans artışı potansiyeli: İlk sonuçlar bile AMD'nin MI300X'inin yüksek performans gösterdiğini ortaya koyuyor. Ek optimizasyonlarla daha da iyi performans beklenebilir.
• Pazar rekabetçiliği: NVIDIA'nın yazılım ekosistemi daha olgun olsa da AMD'nin donanımı rekabetçi performans sunarak pazardaki konumunu güçlendirebilir.
• Maliyet verimliliği: Donanım bulunabilirliği ve maliyet açısından MI300X daha iyi bir tercih olabilir. Bu özellikle büyük ölçekli çıkarım işleri yürüten şirketler için önemli bir unsur.
• Teknoloji benimseme açısından dikkat edilmesi gerekenler: Yeni donanım benimsenirken yazılım uyumluluğu ve optimizasyon kritik unsurlardır. AMD'nin MI300X'ini kullanıma alırken ilk kurulum ve optimizasyon için ek çaba gerekebilir.
• Rakip ürünler: NVIDIA'nın H100'üne ek olarak başka yapay zeka hızlandırıcıları da bulunuyor. Örneğin Google'ın TPU'su veya Intel'in Habana Labs hızlandırıcıları. En iyi seçimi yapmak için her ürünün özelliklerini ve performansını karşılaştırmak önemli.

[GN⁺]

Hacker News görüşleri

• TensorWave, yapay zeka iş yüklerine odaklanan bir bulut sağlayıcısı ve AMD'nin Instinct™ MI300X hızlandırıcılarını kullanarak yüksek performans sunuyor.
• 2024'te 128 giriş token'lık bir benchmark kullanmak, çoğu iş yükünü temsil etmiyor ve prefill performansı çok önemli.
• Rekabet gerekli; Nvidia'nın mevcut piyasa değeri yaklaşık 0,6 trilyon dolar ve bu, Frankfurt Borsası'nın tamamından daha yüksek.
• Piyasa ve satış fiyatları; araçlar, yazılım, toplam sahip olma maliyeti (TCO) ve yönetilebilirlik dahil olmak üzere Nvidia çözümlerinin ve AMD çözümlerinin değerini yansıtıyor.
• Birçok şirketin 8x 7B parametreli modeli paralel çalıştırmak için bu kadar çok para harcayıp harcamadığını ve tek bir hızlandırıcıyla 14B modeli eğitmenin mümkün olup olmadığını merak ediyorum.
• AMD ve diğer şirketler, Nvidia'yı geçmek için benchmark'ları seçici biçimde kullanıyor ve ara nesil karşılaştırma modelleri kullanıyor.
• Bir yapay zeka bilim insanı olarak AMD'nin Nvidia'ya kıyasla düşük değerlendiğini düşünüyorum. Çipler Nvidia kadar hızlı değil ama çoğu sektörde maliyet açısından verimli ve benzer sonuçlar elde edilebiliyor.
• Tensor parallel ayarının performansı etkileyip etkilemediğini merak ediyorum. Makaleye göre AMD tensor parallelism'i 1'e, Nvidia ise 2'ye ayarlamış.
• Uygun istatistiksel metrikler ve performans/watt verisi olmadan karşılaştırma anlamsız.
• INT8/FP8 benchmark'ı iyi olurdu; her iki kart da yaklaşık 60 GB VRAM ile yüklenebilirdi.
• AMD daha iyi donanıma sahip ama henüz Nvidia ile rekabet edecek üretim kapasitesine sahip değil. Gerçek rekabet yetiştiğinde marjlar daralacaktır.
• Nvidia'nın hakimiyeti CUDA'dan kaynaklanmıyor; çünkü gelirinin yaklaşık %40'ı kendi özel stack'ini kullanan büyük şirketlerden geliyor. Rekabet yetiştiğinde daha ucuz GPU'lar sunacaktır.
• MI300X teorik olarak daha ucuz olmalı, ancak bunun pratikte gerçekten böyle olup olmadığını görmek gerekiyor.