- Yeni model desteği
- Llama 3: Meta'nın yeni modeli ve şimdiye kadarki en yüksek performanslı açık LLM
- Phi 3 Mini: Microsoft'un 3,8 milyar parametreli yeni hafif açık modeli
- Moondream: uç cihazlarda verimli çalışacak şekilde tasarlanmış küçük bir görsel-dil modeli
- Dolphin Llama 3: Eric Hartford tarafından Llama 3 tabanlı olarak eğitilen sansürsüz model. Çeşitli eğitim, sohbet ve kodlama becerileri içeriyor
- Qwen 110B: değerlendirmelerde üstün performans gösteren 100B parametre boyutunda model (Alibaba)
- Hata düzeltmeleri
- Modelin sonlanmaması nedeniyle API'nin durmasına yol açan sorun düzeltildi
- Apple Silicon Mac'lerde bellek yetersizliği hatası düzeltildi
- Mixtral mimarili modeller çalıştırılırken oluşan bellek yetersizliği hatası düzeltildi
- Deneysel eşzamanlılık özelliği
OLLAMA_NUM_PARALLEL: tek bir model için birden fazla isteği aynı anda işlerOLLAMA_MAX_LOADED_MODELS: birden fazla modeli aynı anda yükler- Ortam değişkenlerinin ayarlanması gerekir
OLLAMA_NUM_PARALLEL=4 OLLAMA_MAX_LOADED_MODELS=4 ollama serve
1 yorum
Birden fazla model kullanmam gerekiyordu; artık mümkün olmuş. ^^=b