GPT benzeri LLM’ler özel veri kümeleriyle nasıl fine-tune edilir

• nanoGPT tabanlı açık kaynak bir uygulama olan Lit-Parrot ile LoRA ve Adapter kullanarak fine-tuning yapma
  • StableLM, Pythia, RedPajama gibi LLM’leri destekler
  • PyTorch’un FlashAttention özelliğini kullanır
• Örnekte, Databricks’in Dolly 2.0 instruction veri kümesiyle RedPajama-INCITE modeli eğitiliyor