LLaMA-CPU - LLaMA'yı CPU'da çalıştıran fork
(github.com/markasoftware)- Meta'nın LLaMA modelini CPU'da çalıştırır
- Kurulum neredeyse aynı
- 7B modelle test edildiğinde, yükleme için 32GiB RAM'de bile swap/zram gerekir
- Gerçek çıkarım sırasında fiilen yalnızca yaklaşık 20GiB veya daha az RAM kullanır
- Ryzen 7900X üzerinde 7B model saniyede birkaç kelime çıkarım yapabilir
Henüz yorum yok.