OpenOrca - veri kümesi ve instruction tuning uygulanmış dil modeli açık kaynak

 (huggingface.co)
6 puan yazan xguru 2023-07-01 | 2 yorum | WhatsApp'ta paylaş
  • Microsoft'un Orca makalesindeki içerik alınarak açık kaynak olarak yeniden üretilmiş bir çalışma
    • GPT-4 Completion ile zenginleştirilmiş yaklaşık 1 milyon FLANv2
    • GPT-3.4 Completion ile zenginleştirilmiş yaklaşık 3,5 milyon FLANv2
  • FLAN-1m veri kümesindeki 75k CoT'nin tamamını içeriyor
  • Şu anda LLaMA-13B foundation üzerinde tüm ağırlıklar için fine-tuning sürüyor; bu sayede Microsoft'un sürümüne benzer bir performansa ulaşması bekleniyor
    • OpenOrca-LLaMA-13b sürümünün Temmuz ortasında yayınlanması mümkün olabilir
  • OpenOrca'yı diğer platformlara (Falcon, LLaMA, MPT vb.) uyarlamak için GPU hesaplama sponsoru aranıyor

İlgili okumalar

2 yorum

 
ninebow 2023-07-02

Aaa, bağlantı 404 görünüyor.

Veri setini HuggingFace'teki Open-Orca/OpenOrca sayfasından inceleyebilirsiniz! :D
 
xguru 2023-07-02

Ah, görünüşe göre yazıyı silmiş.

WaybackMachine'de hâlâ duruyor.

https://web.archive.org/web/20230629002546/…

Bağlantıyı, paylaştığınız HuggingFace bağlantısıyla düzelttim.