- LLM'leri kolayca oluşturmak, ince ayar yapmak ve denemeler yürütmek için Native-PyTorch tabanlı bir ince ayar kütüphanesi
- Popüler LLM'lerin yerel PyTorch implementasyonları
- HF formatındaki checkpoint'ler dahil çeşitli formatlarda checkpoint desteği
- Referans benchmark'lar ve kapsamlı doğruluk kontrolleriyle yaygın olarak kullanılan ince ayar teknikleri için eğitim reçeteleri sunar
- EleutherAI evaluation harness aracılığıyla eğitilmiş model değerlendirmesi
- Eğitim için HuggingFace veri setleriyle entegrasyon
- PyTorch Distributed'in FSDP özelliğini kullanan dağıtık eğitim desteği
- Eğitim çalıştırmalarını kolayca yapılandırmak için YAML yapılandırması
- [Yakında] TorchAO'nun düşük hassasiyetli dtype ve nicemleme teknikleri desteği
- [Yakında] Çeşitli çıkarım motorlarıyla entegrasyon desteği
Henüz yorum yok.