Petals - 100B+ dil modelini evde BitTorrent tarzında çalıştırmak

 (github.com/bigscience-workshop)
4 puan yazan xguru 2023-01-03 | 3 yorum | WhatsApp'ta paylaş
  • BLOOM-176B gibi ultra büyük dil modellerini "ortaklaşa" çalıştırma
    • Kendi GPU'nuzu Petals'a bağlayın
    • Herkes modelin bir kısmını yükleyip diğerleriyle birlikte çıkarım ve ince ayar çalıştırır
  • Çıkarım, adım (token) başına yaklaşık 1 saniye sürer; offloading'den 10 kat daha hızlıdır, bu da sohbet botları ve diğer etkileşimli uygulamalar için yeterlidir
    • Paralel çıkarımda saniyede yüzlerce token mümkündür
  • GPU zamanı sağlayan kişiler için açık bir teşvik (Bloom points) getirme çalışmaları sürüyor

İlgili okumalar

3 yorum

 
won9497 2023-01-03

iyi!!
 
won9497 2023-01-03

Hı? Bu yazı değil ki...
 
xguru 2023-01-03

Çok daha küçük olan BLOOM-7B sürümünün bile yerelde doğrudan çalıştırıldığında Ryzen (16 çekirdek) + 32 GB RAM üzerinde yaklaşık 90 saniye sürdüğü söyleniyor.
İddia edildiği gibi sorunsuz çalışırsa epey iyi olabilir ama... bir yandan da biraz blockchain hissi veriyor...
(Geliştiricinin dediğine göre blockchain kullanmıyormuş)