Code Alpaca - kod üretim komutlarıyla eğitilmiş LLaMA
(github.com/sahil280114)- Stanford Alpaca 7B/13B tabanlı olarak, geliştiricilerin kodlama işlerinde kullanmasına daha uygun olacak şekilde ayarlanmış model
- Kod üretimiyle ilgili 20K büyüklüğünde Instruction Following veri setiyle değiştirilmiş (Self-Instruct tekniği kullanılarak)
- Veri üretim pipeline'ı kısmen değiştirilmiş: genel görevler yerine kod üretimi/düzenleme/optimizasyonuyla ilgili olacak şekilde prompt'lar değiştirilmiş
- Hugging Face eğitim kodu ve Deepspeed ile fine-tuning
Henüz yorum yok.