- AMD kısa süre önce MI300X grafik hızlandırıcısını tanıttı ve Nvidia’nın H100’üne kıyasla en fazla 1,6 kat daha yüksek performans sunduğunu iddia etti
- Buna karşılık Nvidia, AMD’nin H100 ile karşılaştırma yaparken kendi optimizasyonlarını kullanmadığını savundu
- AMD ise Nvidia’nın sunucu iş yüklerinde sık görülen gecikmeleri hesaba katmadığını ve gerçek koşulları taklit etmeyen yalnızca throughput performansını gösterdiğini belirtti
- Ayrıca Nvidia’nın H100’ün dahili TensorRT-LLM’ini kullanarak seçilmiş bir çıkarım iş yükü setini benchmark ettiğini öne sürdü
- AMD, testleri yaygın olarak kullanılan vLLM ve FP16 veri tipiyle gerçekleştirdiğini, ayrıca vLLM’in FP8’i desteklemediğini vurguladı
- AMD, Nvidia’yı gerçek sunucu ortamını yansıtmadan ve gecikmeyi dikkate almadan throughput performansı sunmakla eleştirdi
AMD’nin optimizasyon ve gecikme dikkate alınarak güncellenen test sonuçları
- AMD, Nvidia’nın TensorRT-LLM’ini kullanarak üç performans testi gerçekleştirdi
- İlk testte her iki şirket de vLLM kullanılarak FP16 veri setiyle karşılaştırıldı: MI300X 2,1 kat daha hızlı
- İkinci testte MI300X’in vLLM performansı TensorRT-LLM ile karşılaştırıldı: MI300X 1,3 kat daha hızlı
- Üçüncü testte MI300X’in vLLM(FP16) performansı TensorRT-LLM(FP8) ile karşılaştırıldı: 1,7 saniyeye karşı 1,6 saniye ile H100 biraz daha hızlı
- FP8 kullanmak için TensorRT-LLM’in kapalı sistemiyle birlikte FP16’dan vazgeçmek ve özünde vLLM’i kalıcı olarak terk etmek gerektiği noktasının da kabul edilmesi gerektiği belirtildi
Henüz yorum yok.