DeepSpeed Ulysses: Uzun Sekanslı Transformer Model Eğitimi için Sistem Optimizasyonu

• Mevcut sistemlere kıyasla 4 kat daha uzun sekans uzunluğu sunar; bir milyondan fazla token içeren sekanslarla eğitim yapılabilir
• İletişim 10 kattan fazla azaltılarak throughput en fazla 2,5 kat artırılır. Throughput 175 TFlops/GPU üzerinde korunur
• Tamamen genel ve uygulamadan bağımsız Attention (FlashAttention 2 gibi uygulamalarla da çalışır)
• Büyük ölçekli model eğitimini destekler: ZeRO-3 ile birlikte çalışarak büyük sekans/model boyutlarını destekler
• Kullanımı kolay ve taşınabilirliği yüksektir; mevcut framework'lerde minimum değişiklik gerektirir