LM Studio - LLM'leri yerelde kolayca çalıştırmayı sağlayan araç

• Yerelde LLM bulmayı, indirmeyi ve çevrimdışı çalıştırmayı destekler
  • LLaMa, Falcon, MPT, StarCoder, GPT-Neo-X gibi modeller
• Mac/Windows/Linux (beta)
• Modeller, yerleşik sohbet arayüzü veya OpenAI uyumlu yerel sunucu üzerinden kullanılabilir
• HuggingFace'in ggml tabanlı Llama, MPT, StarCoder modellerini vb. destekler
  • (Örn: Llama 2, Orca, Vicuna, Nous Hermes, WizardCoder, MPT vb.)
• Minimum özellikler ve gereksinimler
  • Apple Silicon Mac (M1/M2/M3) macOS 13.6 ve üzeri
  • Windows / Linux PC (AVX2 destekleyen işlemci)
  • 16GB+ RAM önerilir. PC'de 6GB+ VRAM önerilir
  • NVIDIA/AMD GPU desteği

LM Studio gizlilik ve kullanım

• LM Studio kullanıcı verilerini toplamaz veya izlemez; tüm veriler kullanıcının cihazında yerel olarak kalır
• Kişisel kullanım için ücretsizdir; iş amaçlı kullanmak isterseniz ekiple iletişime geçmeniz gerekir

GN⁺ görüşü

• LM Studio, gizliliğe önem veren kullanıcılar için cazip bir çözüm; LLM'leri çevrimdışı çalıştırabilmesi en önemli özelliği.
• Kullanıcı verilerinin yalnızca yerelde saklanması, çeşitli modelleri desteklemesi ve bireysel kullanıcılara ücretsiz sunulması dikkat çekici.
• Donanım gereksinimleri nispeten yüksek olduğundan güncel cihaz kullanıcıları için daha uygun; iş amaçlı kullanım planı da olumlu bir nokta.

[GN⁺]

Hacker News yorumları

• Ollama ve bir UI kullanarak açık kaynak kodla aynı işlerin yapılabildiğini gösteren bir bağlantı paylaşılıyor.
• LM Studio hakkında olumlu değerlendirmeler ve öne çıkan özellikleri:
  • Yerel model çalışma zamanı
  • Model kataloğu
  • Modellerle kolayca sohbet etmeyi sağlayan UI
  • OpenAI uyumlu API
  • RAG (ChromaDB kullanarak) gibi eklentiler içeriyor
  • OS ekosisteminin yeni özelliklerinden yararlanmak için iyi bir konumda
  • Ne yazık ki LM Studio'nun kendisi açık kaynak değil
• Sansürsüz bir modeli denemek istiyor. TheBloke/Luna-AI-Llama2-Uncensored-GGML modelini bulup yalnızca ilk dosyayı indirerek çalışıp çalışmadığını kontrol etmiş. Kalan dosyaların da indirilmesi gerekip gerekmediğini ve modelin belirli hassas sorular karşısında gerçekten sansürsüz olup olmadığını merak ediyor.
• LLM'lerle ilgili temel bir soru: "Yüzüklerin Efendisi" serisi bir LLM'e verilirse ne olur, varsayılan olarak "cahil" bir LLM var mıdır ve bundan Orta Dünya uzmanı çıkarılabilir mi gibi sorular.
• İleri düzey mühendislik rolleri için eğlenceli bir yeterlilik listesi: bilgisayarlar ve yazılımlar hakkında derin anlayış, algoritma ve program yazma becerisi vb. isteniyor, ancak bu gereksinimleri ciddiye almak zor geliyor.
• Karmaşık kurulumu basitleştirme girişimi olarak kişisel olarak yaptığı basit bir UI için bir bağlantı paylaşıyor.
• LLM yazılımlarının potansiyel kullanıcı kitlesi konusunda meraklı ve pazar segmentasyonu hakkında bilgi ya da tahminler görmek istiyor. Karmaşık kuruluma rağmen bu arayüzde ve sohbet/model yönetiminde değer buluyor.
• Uygulamanın UI'ı için iyileştirme önerileri:
  • Sohbet kutusu alanının varsayılan durumu iyileştirilmeli
  • Model yüklenmeden önce CUDA hızlandırmasının nasıl ayarlanacağı belirsiz
  • Bazı HuggingFace modelleri listelenmiyor ve nedeni belirtilmiyor
  • Arayüzdeki akordeon bölümlerinin kaydırması yalnızca fare tekerleğine tepki veriyor
  • Sunucu sekmesi ilk hata ayıklama için çok kullanışlı
• Çeşitli LLM modellerini (Mistral, Llama 2, Code Llama, Orca Mini, Vicuna) kullanırken ortaya çıkabilecek sorunlar (%50 halüsinasyon, var olmayan API kodu önermesi, eski StackOverflow yanıtlarını yeniden üretmesi vb.) hakkında sorular soruyor ve insanların bunları gerçekte nasıl kullandığına dair örnekler istiyor.
• LM Studio'yu kurup çalıştırdıktan sonra CPU kullanımının %30'a kadar çıktığını ve dizüstü bilgisayar fanının sesinin arttığını deneyimlemiş. LM Studio sürecini kapatıp yeniden açtığında arka plan kullanımının %5'e düştüğünü belirtiyor.