MiniLLM - Kişisel GPU'da LLM Çalıştırma
(github.com/kuleshov)- En yeni LLM'leri tüketici sınıfı Nvidia GPU'larda çalıştırmak için minimal bir sistem
- Birden fazla LLM'yi (LLAMA, BLOOM, OPT) 170B boyutuna kadar destekler
- Çeşitli Nvidia GPU türlerini destekler
- Python ile yazılmış küçük ve kullanımı kolay kod
- GPU bellek kullanımını en aza indirmek için dahili olarak 3-bit sıkıştırma amacıyla GPTQ algoritmasını kullanır
Henüz yorum yok.