FlashAttention-2: Daha iyi paralelleştirme ve iş bölümüyle daha hızlı Attention
(crfm.stanford.edu)- GPT-4(32k), MPT(65k), Claude(100k) gibi daha uzun bağlama sahip dil modelleri ortaya çıktı
- Transformer'ların bağlam uzunluğunu genişletmek zordur; çünkü çalışma zamanı ve bellek gereksinimleri karesel olarak artar
- Geçen yıl yayımlanan FlashAttention, bellek kullanımını azaltıp attention hızını artırarak çeşitli alanlarda kullanılmaya başlandı
- Çıkış yaptığı dönemde zaten 2-4 kat daha hızlıydı, ancak hâlâ iyileştirme alanı vardı. Optimize edilmiş matris çarpımı (GEMM) işlemlerine kıyasla hâlâ yeterince hızlı değildi ve teorik azami FLOPs/s'nin yalnızca %25-40'ına ulaşıyordu (A100 GPU'da en fazla 124 TFLOPs/s)
- FlashAttention-2, önceki sürümden 2 kat daha hızlı ve A100 GPU'da en fazla 230 TFLOP/s performans sunuyor
- GPT tarzı dil modeli eğitiminde en fazla 225 TFLOPS'a ulaşıldı (%72 model FLOP kullanım verimliliği)
- Algoritma ayarlanarak matris çarpımı dışı FLOP'lar azaltıldı
- Daha iyi paralelleştirme, her bir thread block içindeki iş bölümünün değiştirilmesi
- Head dimension sayısı 128'den 256'ya genişletildi
Henüz yorum yok.