Mistral-finetune - Mistral modellerini fine-tune etmek

• Mistral modellerini bellek/performance açısından verimli şekilde fine-tune etmeyi sağlayan hafif bir kod tabanı
• LoRA tabanlı; ağırlıkların büyük kısmı dondurulur ve Low-Rank Matrix Perturbation biçiminde yalnızca %1-2 ek ağırlık eğitilir
• Verimliliği en üst düzeye çıkarmak için A100 veya H100 GPU kullanılması önerilir; kod tabanı çoklu GPU tek düğüm eğitim kurulumuna optimize edilmiştir, ancak 7B gibi küçük modeller için tek GPU da yeterlidir

Not: Bu deponun amacı, Mistral modellerini ince ayar yapmak için basit ve yönlendirmeli bir giriş noktası sunmaktır. Bu nedenle (özellikle veri biçimlendirmesi konusunda) oldukça görüş odaklıdır ve farklı model mimarileri veya donanım türleri genelinde kapsamlı olmayı hedeflemez. Daha genel bir yaklaşım için torchtune gibi diğer harika projelere göz atın