Ollama, Windows'ta önizleme sürümüyle kullanılabilir

 (ollama.com)
2 puan yazan GN⁺ 2024-02-18 | 1 yorum | WhatsApp'ta paylaş

Windows'ta Ollama Önizleme Kullanımı

  • Ollama, Windows'ta önizleme sürümüyle kullanılabilir hale geldi.
  • Windows sürümünde Ollama, GPU hızlandırma, tam model kütüphanesine erişim ve OpenAI uyumlu Ollama API'sini içeriyor.

Donanım Hızlandırma

  • Ollama, NVIDIA GPU'ları ile AVX, AVX2 gibi modern CPU komut setlerini kullanarak model çalıştırmayı hızlandırır.
  • Kurulum veya sanallaştırma gerektirmeden kullanılabilir.

Tüm Model Kütüphanesine Erişim

  • Windows'ta çalıştırılabilir olan Ollama'nın tam model kütüphanesine erişim sağlanır.
  • LLaVA 1.6 gibi görsel modelleri çalıştırırken görselleri sürükleyip mesajınıza ekleyebilirsiniz.

Sürekli Çalışan Ollama API'si

  • Ollama'nın API'si arka planda otomatik olarak çalışır ve ek ayar olmadan araçlar ve uygulamalar tarafından kullanılabilir.
  • Örneğin, PowerShell ile Ollama'nın API'sini çağırma yöntemi gösterildi.

Başlarken

  • Windows için Ollama Preview'u başlatmak amacıyla Ollama'yı indirin ve kurun.
  • Kurulumdan sonra terminali açıp modeli çalıştırmak için ollama run llama2 komutunu kullanın.
  • Her yeni sürümde Ollama bir güncelleme bildirimi gönderir.
  • Geri bildirim istenir; sorunla karşılaşırsanız bir issue açın veya Discord sunucusuna katılıp durumu bildirin.

GN⁺'nin Görüşü

  • Windows Entegrasyonu: Ollama'nın Windows entegrasyonu, geliştiricilerin Windows ortamında büyük dil modellerini kolayca kullanabilmesini sağlayarak makine öğrenimi ve yapay zeka geliştirme erişimini artırır.
  • Donanım Hızlandırma: GPU ve modern CPU komut setlerini kullanan donanım hızlandırma, modelin çalışma hızını önemli ölçüde artırır ve karmaşık ayar gerektirmeden performansı en üst düzeye çıkarır.
  • API Erişilebilirliği: Sürekli çalışan bir API ile OpenAI uyumluluğu, mevcut araçlarla entegrasyonu kolaylaştırarak geliştiricilerin daha verimli çalışmasına olanak tanır.

İlgili okumalar

1 yorum

 
GN⁺ 2024-02-18
Hacker News yorumları
  • Kullanıcı, masaüstünde Open-WebUI arayüzünü kullanarak Mistral ve birkaç diğer modeli ince ayarladığı bir koleksiyon çalıştırdığını söylüyor. Bunlar sohbet ve bilgi çıkarımı görevlerinde oldukça iyi performans gösteriyor. Open-WebUI uygulaması ChatGPT'ye çok benzer ve sohbet geçmişlerinde arama yapılmasına da olanak sağlar.

    Open-WebUI GitHub sayfası

  • AMD GPU desteğinin belirtilmemiş olmasına duyduğu hayal kırıklığını dile getiriyor ve AMD'yi bu sefer seçtiği için pişman olduğunu belirtiyor.
  • Ollama'yı kullanan, hem çevrimiçi hem yerel modelleri destekleyen bir sohbet kullanıcı arayüzü arayanlar için, gizliliğe odaklanan bir çevrimdışı uygulama geliştiriyor ve o sabah Windows desteğini ekledi.

    msty.app

  • Birçok 'yerel olarak çalıştır' yapay zeka ara yüzünün sunucu olarak çalıştırılmasının nedenini merak ediyorum. Geliştiricilerin UI süreci içinde kod çalıştırabildiğini unuttukları umurumda. Bu durumu stabil difüzyon çalıştırıcısında ve LLM host'larında da görüyorum. İhtiyaç yoksa yerelde arka plan servisi çalıştırmak istemiyorum.
  • Kapalı kaynaklı LM Studio ve Ollama hakkında insanların görüşlerini merak ediyorum.

    LM Studio

  • Birkaç yıl önce Mac kullanıcılarının buna uzun süre beklemek zorunda kalmış olabileceklerini düşünürken, Windows kullanıcılarının Ollama'ya erişemediğini bilmiyordum.
  • Linux ve Mac'te zaten kullanılabiliyor; Windows desteği eklendiğinden bahsediliyor.

    Ollama GitHub sayfası

  • Birkaç gündür Windows makinede Ollama kullanarak VS Code'da yerel sekmede otomatik tamamlama özelliğini denedim ve Mac'teki kadar iyi çalıştı.
  • Yeni bir Mac Mini'ye llama2 modelini kurduktan sonra tam bir çekirdek paniği yaşadım. Neler oluyor?
  • Yerel modeller üzerinde çalışıp geliştirmek insanların tercih ettiği yol mu, ve öğrenilmesi gereken başka olmazsa olmaz araçlar var mı diye soruyorum.