Petals - BitTorrent tarzında evde LLM'ler çalıştırma

• Bu yazı, kullanıcıların büyük dil modellerini (LLM'ler) evde BitTorrent'e benzer bir şekilde çalıştırmasını sağlayan yeni bir teknoloji olan Petals'ı tanıtıyor.
• Petals, Llama 2 (70B), Falcon (180B), BLOOM (176B) ve bunların çeşitli türevlerini destekliyor.
• Bu teknoloji, modelin bir bölümünü kullanıcının cihazına yükledikten sonra geri kalan bölümü sağlayan diğer kullanıcıların ağına bağlanarak çalışıyor.
• Llama 2 için 6 token/sn, Falcon için 4 token/sn tekil batch çıkarım hızı sunuyor. Bu hız, sohbet botları ve etkileşimli uygulamalar için yeterli.
• Petals, kullanıcıların istedikleri ince ayar ve örnekleme yöntemlerini kullanmasına, model üzerinde özel yollar çalıştırmasına veya gizli durumları görüntülemesine olanak tanıyarak klasik LLM API'lerinin ötesine geçiyor.
• Petals, PyTorch ve 🤗 Transformers'ın esnekliğini API'lerin kullanım kolaylığıyla birleştiriyor.
• Kullanıcılar Petals'ı Google Colab üzerinde deneyebilir ve belgelerine GitHub üzerinden bakabilir.
• Yazı, projeye başlıca katkı sağlayan kişileri listeliyor ve GPU katkısı yapılabilecek bağlantılar sunuyor.
• Kullanıcılar, Petals'ın gelişimini Discord veya e-posta aboneliği üzerinden takip edebilir.
• Bu proje, BigScience araştırma atölyesinin bir parçası.

[GN⁺]

Hacker News görüşleri

• Büyük dil modellerini (LLM'ler) evde BitTorrent benzeri bir yöntemle çalıştırmanın yeni bir yoluna dair makale
• Model ağırlıkları birden fazla makineye katmanlar halinde bölünerek birlikte çıkarım veya ince ayar gerçekleştiriyor
• Ollama adlı bir proje geliştiriliyor; model ağırlıklarını Docker registry üzerinde barındırarak her seferinde doğru ağırlıkların indirilmesini garanti ediyor
• Nicemleme/QLORA kullanımı sayesinde büyük modeller tüketici donanımında kabul edilebilir hızlarda çalışabiliyor ve farklı sunucular arasındaki paralellikten kaynaklanan gecikmeden kaçınılıyor
• 70B gibi büyük modellerin ince ayarı zorlu ve pahalı kaynaklar gerektiriyor; "llama training horde" şeklinde kolektif katkı öneriliyor
• Sistemin kırılganlığına dair endişeler var; kötü niyetli katılımcılar çıktıları değiştirebilir veya çöp sonuçlar döndürerek sistemi bozabilir
• Projenin bir parçası olan Petals, kullanıcıların GPU paylaşmasına ve koda katkıda bulunmasına olanak tanıyarak genel amaçlı bir kodlama deneyimi sunuyor
• Sistem, dağıtılmış tokenların belirli bir sayısını sağlayabildiği için düşük özellikli cihaz kullananlara avantaj sunabilir
• Proje, bu alanda daha fazla geliştiriciye erişilebilirlik sağlayabilecek potansiyel bir oyun değiştirici olarak görülüyor
• Petals, AI Horde kudos'a benzer merkezi bir teşvik sistemi işletiyor, ancak diğer yönleriyle dağıtık bir sistem. Teşvikler paraya çevrilemiyor ve sistem içinde kullanılmak üzere tasarlanmış
• Bazı kullanıcılar GPU paylaşmaya çalışırken bağımlılık sürümü sorunları yaşıyor
• GPU döngüleri için "token" kullanılmasına dair öneriler var; güneşi takip ederek güneş PV enerjisinin kullanımını en üst düzeye çıkarma fikri de dile getiriliyor