Dört Raspberry Pi 5 üzerinde Deepseek R1 Distill 8B Q40 çalıştırma

 (github.com/b4rtaz)
3 puan yazan GN⁺ 2025-02-17 | 1 yorum | WhatsApp'ta paylaş
  • Bu proje, Deepseek R1 Distill 8B Q40 modelinin Raspberry Pi 5 8GB cihazlarda nasıl çalıştırıldığına dair sonuçları paylaşıyor.
  • Model performansı, birden fazla Raspberry Pi kullanılarak değerlendirildi ve tahmin edildi.
  • Değerlendirme ve tahmin sonuçları
    • 2 x Raspberry Pi 5 8GB
      • Değerlendirme: saniyede 7.70 token
      • Tahmin: saniyede 3.54 token
    • 4 x Raspberry Pi 5 8GB
      • Değerlendirme: saniyede 11.68 token
      • Tahmin: saniyede 6.43 token
  • Diğer bilgiler
    • Test, ağ kapalı durumdayken gerçekleştirildi.
    • Birden fazla cihaz kullanılan küme ortamındaki performans doğrulandı.

İlgili okumalar

1 yorum

 
GN⁺ 2025-02-17
Hacker News yorumu
  • Raspberry Pi üzerinde 'Deepseek R1' çalıştırmaya dair paylaşımlar, her zaman Deepseek'in distillation tekniğiyle uyarlanmış llama veya qwen çalıştırma kalıbını izliyor
    • Demoda, sorunun 500 tokenden kısa sürede "çözüldüğü" gösteriliyor
    • Gerçek dünyada faydalı bağlam uzunluklarında (8-16k token), "düşünen" modellerle çalışırken bu hızlara ulaşılamayacağını unutmamak gerekir
    • Çok sayıda kanala sahip bir epyc bile yaklaşık 4096 bağlam uzunluğundan sonra 2-4 t/s seviyesine düşüyor
  • 320 £'a 4 adet Pi5 alınabilir, ancak ikinci el 12GB bir 3080 bulunursa muhtemelen 10 kattan fazla token hızı elde edilebilir
  • Buradaki ilginç nokta, llama inference'ın birden fazla bilgisayara dağıtılmış şekilde çalıştırılabilmesi
    • Bu, modern bir Beowulf kümesi
  • Birden fazla Raspberry Pi'nin paralel olarak nasıl kullanıldığını anlayamadım. Umarım biri beni bu yönde yönlendirebilir
  • Bu modeli Mac'te denemek isterseniz, yeni llm-mlx eklentisini kullanarak şöyle çalıştırabilirsiniz
    • brew install llm veya pipx install llm veya uv tool install llm
    • llm install llm-mlx
    • llm mlx download-model mlx-community/DeepSeek-R1-Distill-Llama-8B
    • llm -m mlx-community/DeepSeek-R1-Distill-Llama-8B 'poem about an otter'
    • Az önce çalıştırdığımda 22 token/saniye performans aldım
  • Tüm bu yeni yapay zeka teknolojilerini ne zaman "apt-get install" ile kurabileceğimizi merak ediyorum
  • Bellek eklemenin yardımcı olup olmayacağını merak ediyorum. Kısa süre önce 16GB RAM'li Rpi 5 piyasaya çıktı
  • LLM tabanlı bir ürünün, Alexa veya Google Home gibi buluta bağlanmak yerine yerelde çalışan bir LLM'e ihtiyacı var. Bunun neden hâlâ var olmadığını ya da neden kimsenin bunu yapmadığını bilmiyorum