Ollama v0.1.33 - Llama 3 + Phi 3 + Qwen 110B desteği

• Yeni model desteği
  • Llama 3: Meta'nın yeni modeli ve şimdiye kadarki en yüksek performanslı açık LLM
  • Phi 3 Mini: Microsoft'un 3,8 milyar parametreli yeni hafif açık modeli
  • Moondream: uç cihazlarda verimli çalışacak şekilde tasarlanmış küçük bir görsel-dil modeli
  • Dolphin Llama 3: Eric Hartford tarafından Llama 3 tabanlı olarak eğitilen sansürsüz model. Çeşitli eğitim, sohbet ve kodlama becerileri içeriyor
  • Qwen 110B: değerlendirmelerde üstün performans gösteren 100B parametre boyutunda model (Alibaba)
• Hata düzeltmeleri
  • Modelin sonlanmaması nedeniyle API'nin durmasına yol açan sorun düzeltildi
  • Apple Silicon Mac'lerde bellek yetersizliği hatası düzeltildi
  • Mixtral mimarili modeller çalıştırılırken oluşan bellek yetersizliği hatası düzeltildi
• Deneysel eşzamanlılık özelliği
  • OLLAMA_NUM_PARALLEL: tek bir model için birden fazla isteği aynı anda işler
  • OLLAMA_MAX_LOADED_MODELS: birden fazla modeli aynı anda yükler
  • Ortam değişkenlerinin ayarlanması gerekir
    • OLLAMA_NUM_PARALLEL=4 OLLAMA_MAX_LOADED_MODELS=4 ollama serve

[siabard]

Birden fazla model kullanmam gerekiyordu; artık mümkün olmuş. ^^=b