Unsloth: Llama 3'ü 2x daha hızlı, 6x daha uzun context ve %68 daha az VRAM ile fine-tune edin

• Büyük dil modellerini fine-tune etmeye yönelik bir araç olan Unsloth, artık Meta'nın en yeni Llama 3 modelini destekliyor; bu sayede Flash Attention 2 (FA2) ve Hugging Face (HF) ile karşılaştırıldığında 2 kat daha hızlı fine-tuning ve %63 daha düşük VRAM kullanımı sunuyor.

• Unsloth kullanıldığında, Llama 3'ün 70B sürümü 1,8 kat daha hızlı çalışıyor ve %68 daha az VRAM kullanarak fine-tuning sırasında çok daha uzun context uzunluklarına izin veriyor. Bu, soru-cevap veya metin üretimi gibi geniş bağlam gerektiren görevler için özellikle faydalı.

• Unsloth ayrıca Llama 3 modelleri için 4 bit quantization desteği sunarak indirmeleri 4 kat hızlandırıyor ve bellek gereksinimlerini azaltıyor. Llama 3'ün hem 70B instruct hem de base sürümlerine yönelik önceden quantize edilmiş 4 bit modeller Hugging Face sayfasında kullanılabiliyor.

• Ayrıca Unsloth, tokenizer'da BOS token'ının bulunmaması ve base modelde eğitilmemiş token'ların yer alması gibi Llama 3'e özgü bazı tuhaflıkları ve "bug"ları da ele alıyor. Unsloth, fine-tuning sırasında bu sorunları otomatik olarak çözüp doğru ve verimli eğitim sağlıyor.