DeepSpeed - Microsoft'un yayımladığı derin öğrenme optimizasyon kütüphanesi

• PyTorch üzerinde hafif bir wrapper

• Minimum kod değişikliğiyle 10 kattan daha büyük modeller, 5 kattan fazla hız

• Zero Redundancy Optimizer (ZeRO) uygulanarak eğitim sırasında kullanılan bellek en aza indiriliyor (4x)