SlowLlama - Llama2-70b ve CodeLLama'yı M1/M2 üzerinde kuantizasyon olmadan fine-tune etme
(github.com/okuvshynov)- Apple M1/M2 ve tüketici sınıfı nVidia GPU'larda LLama2-70B gibi modelleri fine-tune etme
- Kuantizasyon kullanmak yerine, hem forward hem de backward pass sırasında modelin bir kısmını SSD'ye veya ana belleğe offload etme yaklaşımı
- Mevcut sürüm, güncellemeleri daha küçük bir parametre setiyle sınırlamak için LoRA kullanıyor
- İlk sürümde tam fine-tune da mümkündü, ancak artık kaldırıldı
Henüz yorum yok.