StableLM duyuruldu - Stability AI'nin açık dil modeli

 (github.com/Stability-AI)
24 puan yazan xguru 2023-04-20 | 2 yorum | WhatsApp'ta paylaş
  • 3B/7B modelleri yayımlandı; 15B/30B/65B modellerinin de yayımlanması planlanıyor ve 175B'ye kadar hedefleniyor
  • Model, CC BY-SA-4.0 lisansı altında ve kaynak belirtildiğinde ticari kullanım mümkün
  • Açık veri kümesi The Pile temel alındı, ancak bunun 3 katı büyüklüğünde 1.5T token içeren yeni bir veri kümesiyle eğitildi
  • Bağlam uzunluğu 4096 token
  • PoC olarak, Alpaca prosedürü izlenerek fine-tuning yapılan StableLM-Tuned-Alpha-7B modeli de yayımlandı
    • 5 etkileşimli veri kümesi kullanıldı: Stanford's Alpaca, Nomic-AI's gpt4all, RyokoAI's ShareGPT52K datasets, Databricks labs' Dolly, Anthropic's HH
    • Sohbet botu demosu Hugging Face'te yayımlandı

İlgili okumalar

2 yorum

 
laeyoung 2023-04-20

Harika harika!
 
xguru 2023-04-20

Stable Diffusion'ın yayımlanmasının piyasayı hızlandırması gibi, dil modelleri için de artık herkesin kullanabileceği veri ve kullanım örnekleri akın akın gelecek gibi görünüyor.