RedPajama, HELM benchmarkında yayımlanan diğer 7B LLM modellerinden daha iyi performans gösteren 7B modeli duyurdu

 (together.xyz)
15 puan yazan ninebow 2023-06-07 | 3 yorum | WhatsApp'ta paylaş

RedPajama-INCITE-7B model ailesinden 3 modelin tanıtımı

  • HELM benchmark’ına göre, daha önce yayımlanmış 7B modellerden daha iyi performans gösteren RedPajama-INCITE-7B-Instruct modeli dahil olmak üzere 3 adet 7B model yayımlandı

RedPajama-INCITE-7B-Instruct modeli

  • Mevcut modelin Instruct ince ayar yapılmış sürümü
  • P3 (BigScience) ve Natural Instruction (AI2) kullanılarak eğitildi
  • HELM benchmark’ında en yüksek puanı alan açık model olarak çeşitli görevler için ideal

RedPajama-INCITE-7B-Chat modeli

  • Yalnızca Dolly2 ve OASST gibi açık kaynaklı veriler kullanılarak eğitildi ➡️ ticari kullanım mümkün
    • (+ Sadece Chat modeli değil, RedPajama-INCITE model ailesinin tamamı ticari kullanıma uygun)
  • İnce ayar için eğitim betikleriyle birlikte yayımlandı :arrow_forward: OpenChatKit içinde doğrudan kullanılabiliyor
  • RedPajama.cpp (LLaMA.cpp fork’u) destekleniyor - CPU üzerinde çalışabiliyor
  • MLC LLM gibi projelerle iş birliği yapılıyor ➡️ ileride çeşitli donanımlarda çalışabilir hale getirilecek

RedPajama-INCITE-7B-Base modeli

  • EleutherAI’nin Pythia modeliyle aynı mimariyi kullanıyor, RedPajama-Data-1T veri kümesiyle eğitildi
  • 🤗HuggingFace üzerindeki togethercomputer/RedPajama-INCITE-7B-Base adresinden indirilebilir
  • HELM benchmark’ına göre LLaMA-7B’den 4 puan, Falcon-7B/MPT-7B’den yaklaşık 1,3 puan daha düşük performans
    • Yalnızca logprob kullanarak doğru/yanlış cevaplar arasındaki olasılık farkını hesaplayan görevlerde daha düşük performans gösteriyor
    • Cevabı doğrudan üretip kaliteyi ölçen görevlerde benzer performans sergiliyor
    • LM Harness sonuçları da logprob kullandığı için benzer şekilde daha düşük performans gösteriyor

Gelecek planları (RedPajama2)

  • Aşağıdaki plan doğrultusunda 2~3T token’lık yeni veri kümesi RedPajama2 geliştiriliyor:
    • DoReMi gibi teknikler kullanılarak veri karışımının dengelenmesi planlanıyor
    • Çeşitliliği ve ölçeği artırmak için Eleuther.ai’nin Pile v1’i ve CarperAI’nin Pile v2’si gibi veriler kullanılacak
    • Daha fazla CommonCrawl verisi işlenecek
    • LLaMA makalesindeki yaklaşımın dışında çeşitli veri tekrar temizleme stratejileri araştırılacak
    • 150B’den fazla kod token’ı eklenerek kodlama ve akıl yürütme (reasoning) görevlerinin kalitesi artırılacak

İlgili okumalar

3 yorum

 
ninebow 2023-06-07

Ah.. başlıkta bir yazım hatası varmış :(
@xguru, mümkünse başlıktaki HEML'i HELM olarak değiştirebilir misiniz :(
 
moderator 2023-06-08

Düzelttim!