- Metin, ses, embedding ve görüntü dahil çeşitli yapay zeka modellerinin yerelde çalıştırılması ve eğitimi için tek bir arayüz sunan açık kaynak araç
- Mac/Windows/Linux üzerinde GGUF/safetensor modelleri yerelde çalıştırılabilir; eğitim sırasında 2 kata kadar daha yüksek hız ve %70 daha az VRAM kullanımı sağlar
- llama.cpp + Hugging Face tabanlı çoklu GPU çıkarımı ve çoğu model için destek
- Unsloth çekirdeği LoRA, FP8, FFT, PT için optimizasyon sağlayarak 500'den fazla metin, görüntü, TTS/ses ve embedding modelini destekler
- Qwen3.5, NVIDIA Nemotron 3 gibi en yeni LLM'lerin fine-tuning'i yapılabilir ve çoklu GPU otomatik olarak desteklenir
- Full fine-tuning, 4bit/16bit/FP8 eğitim, reinforcement learning (GRPO) gibi geniş kapsamlı eğitim yöntemlerini destekler
- MoE LLM'leri 12 kat daha hızlı eğitmek veya 80GB GPU üzerinde 500K'dan uzun bağlam uzunluğuyla 20B modeli eğitmek gibi optimizasyon teknikleri sürekli ekleniyor
- Fine-tuning yapılmış modeller dahil tüm modeller safetensors/GGUF olarak dışa aktarılabilir; böylece llama.cpp, vLLM, Ollama, LM Studio vb. ortamlarda kullanılabilir
- PDF, CSV, JSON gibi yapılandırılmamış belgeleri otomatik olarak veri kümesine dönüştüren Data Recipes özelliği ile self-healing tool calling ve kod çalıştırma işlevleri yerleşik olarak gelir
- Eğitim kaybını ve GPU kullanımını gerçek zamanlı izleyen gözlemlenebilirlik özellikleri içerir
- Model Arena içinde temel model ve fine-tuning yapılmış model dahil iki modelin çıktısı yan yana karşılaştırılabilir
- %100 çevrimdışı yerel çalışmayla gizliliği garanti eder; Apple MLX, AMD ve Intel desteği yakında eklenecek
- İş akışı :
Studio'yu çalıştır →
Yerel dosyalardan veya desteklenen entegrasyonlardan model yükle →
PDF, CSV, JSONL vb. ile eğitim verisini içe aktar veya sıfırdan veri kümesi oluştur →
Data Recipes içinde veri kümesini temizle ve genişlet → önerilen ön ayarlar veya özel ayarlarla eğitimi başlat →
Eğitilmiş model ile temel modelin çıktılarını karşılaştır →
Mevcut kullanım yığınına yerel olarak kaydet veya dışa aktar
- Lisans
- Ana Unsloth paketi Apache 2.0 lisansı altında
- Yalnızca Unsloth Studio UI gibi bazı isteğe bağlı bileşenlerde AGPL-3.0 açık kaynak lisansı uygulanır
3 yorum
Ben de çıkar çıkmaz denedim ama sayfa bozuluyordu ve öğreticiyi geçemiyordum T_T
https://github.com/unslothai/unsloth/…
Demek ki hemen düzeltmişler!
Hacker News yorumları
Hâlâ MacBook'ta unsloth studio kurulumunu düzgün yapabilmiş değilim
Sebebi Python araç zinciriyle ilgili sorunlar
Bunun yerine zaten Docker container içinde llama.cpp sunucusu çalıştırıyordum, bu yüzden üç kod tabanını karşılaştırmalı olarak denedim
Birinci karşılaştırma kodu, İkinci karşılaştırma kodu
Oldukça ilginç sonuçlardı. unsloth studio düzgün çalışırsa gelecek hafta tekrar denemeyi planlıyorum
Aşağıdaki komutlarla kurulabilir
unsloth'un iş modelini merak ediyorum. Ücretsiz olarak çok şey yayımlıyorlar ama gelir yapısı pek net görünmüyor
Kapalı kaynak çözümlerin daha popüler olmasının nedeninin araç kalitesi olduğunu düşünüyorum. İleride açıklayacağımız daha çok şey var
Eğitim özelliği ilgimi çekmişti ama “on NVIDIA” yazdığı için hayal kırıklığına uğradım
macOS'un Metal stack'i ile SFT (gözetimli ince ayar) yapmaya yönelik bir alternatif ya da eğitim olup olmadığını merak ediyorum
Ben de AMD kullanıyorum ve bunu bekliyorum. ROCm acı verici ama AMD'nin kendisini seviyorum
Unsloth gerçekten oldukça iyi bir proje
Kendi yapay zeka motorunu çalıştıran biriyseniz kesinlikle denemeye değer
Apache lisansı olduğu için şirkette de denemeyi düşünüyorum
LMStudio özel lisanslı olduğu için onay almak zordu
AMD desteğini mutlaka getirmelerini isterim
Şu anda AMD GPU ile karmaşık geçici çözümler kullanıyorum
macOS'ta kaynaktan derlemeyi denedim ama aşağıdaki TypeScript hatası oluştu
'status' is declared but its value is never readmacOS'ta pip ile kurulum yapmak sistemi bozma riski taşıdığı için tavsiye edilmiyor
Bir Homebrew paketi ya da elle kurulum için zip dosyası gerekiyor
uv tool install unslothile kurulursa yönetimi kolay oluyorAğırlıklı olarak Python ekosisteminden geldiğim için paketleme deneyimim azdı. Sıradaki hedef Homebrew desteği
pyproject.tomlile bağımlılıkları yönetip tek komutla yeniden üretilebilir bir ortam oluşturabilirsinizDaha önce ROCm tabanlı yayımlanmamış bir sürümle unsloth kurmuştum,
uv synctek satırda halletmiştiİlgili issue yorumu
pipx kurulum belgeleri
AMD desteği gelince tekrar bakmaya geleceğim
Mac'te GPU kullanıp kullanmadığını merak ediyorum
setup sırasında yalnızca CPU olduğu yazıyordu