nvidia-smi veya nvtop, GPU’da yalnızca çekirdeklerin çalışıp çalışmadığını kontrol ettiği için, gerçek donanım kapasitesinin çok küçük bir kısmı kullanılsa bile %100 kullanım oranı gösterebilir- Utilyze, GPU performans sayaçlarını doğrudan okuyarak gerçek kaynak kullanımını canlı olarak gösterir ve ek yük göz ardı edilebilir düzeydedir
- İş yükü·model·donanım kombinasyonunda pratikte ulaşılabilecek en yüksek kullanım oranı olan Attainable SOL üst sınırını hesaplayarak, mevcut durumda ne kadar daha zorlanabileceğini anlamayı sağlar
- Çalışan çıkarım sunucularını otomatik olarak algılar ve her GPU’ya yüklenen modelleri tespit eder; mevcut backend şu anda yalnızca vLLM’i destekler (SGLang vb. daha sonra eklenecek)
- Desteklenen donanım NVIDIA Ampere ve sonrası (A100, H100, H200, B200, RTX 3000+); şu anda H100-80G ve A100-80G üzerinde node içinde en fazla 8 GPU yapılandırmasında bazı modeller destekleniyor
- Yapı, Linux’ta profiling sunucusunu çalıştırıp macOS/Windows’ta WebSocket tabanlı uzak istemci ile bağlanma şeklindedir
- Tek bir cihaz kimliği için yalnızca bir instance izlenebilir — NVIDIA Perf SDK API’nin cihaza erişim yöntemiyle ilgili kısıt nedeniyle
sudo olmadan çalıştırmak için NVreg_RestrictProfilingToAdminUsers=0 ayarından sonra yeniden başlatma gerekir- Apache-2.0 lisansı
Henüz yorum yok.