Sidekick - Mac için yerel öncelikli açık kaynak LLM sohbet botu uygulaması

• Kullanıcının dosya, klasör ve web sitelerine dayanarak bilgi sağlar ve tamamen çevrimdışı da çalışır
• Kurulu bir model çıkarım motoru içerir; gerektiğinde OpenAI uyumlu API anahtarı bağlanarak harici modeller de kullanılabilir
• LLM'nin bağlam bilgisine dayanarak daha doğru yanıtlar verebilmesi için tasarlanmıştır
• llama.cpp tabanlı

Başlıca özellikler

• Yerel öncelikli sohbet botu

  • Tüm konuşmalar çevrimdışı gerçekleşir, veri sızıntısı endişesi yoktur
  • Ek kurulum olmadan dosya, klasör ve web sitelerinde doğrudan bilgi arama
  • GPT prompt'ları veya yapılandırma bilgisi olmadan da kullanılabilir
  • Yerleşik çıkarım motoru ile Apple Silicon'da hızlı çalışır

• Uzman tabanlı bağlam yönetimi (Expert System)

  • Konuya göre uzmanlar (Expert) oluşturulabilir (Computer Science, History vb.)
  • Her uzmana sınırsız kaynak eklenebilir (RAG tabanlı)
  • Sürükle-bırak ile kolayca belge ekleme
  • Gerektiğinde web araması da dahil edilerek en güncel bilgiler yansıtılabilir

• Çeşitli model desteği

  • Alibaba'nın QwQ-32B ve DeepSeek-R1 gibi çeşitli yerel çıkarım modelleri kullanılabilir
  • OpenAI uyumlu API anahtarı girildiğinde harici modeller çağrılabilir

• Yerleşik kod yorumlayıcı

  • Modelin yazdığı kodu doğrudan çalıştırıp sonucu yansıtabilir
  • Matematik ve mantık tabanlı sorularda daha yüksek doğruluk

• Canvas

  • Web siteleri, kod ve metin görsel olarak oluşturulup düzenlenebilir
  • Metin seçildikten sonra LLM'den seçimli düzenleme talebi istenebilir

• Görsel oluşturma

  • Metin prompt'u ile otomatik görsel oluşturma
  • Ayrı bir mod değiştirmeden yalnızca prompt ile otomatik algılama
  • macOS 15.2 ve üzeri sürümlerde CoreML tabanlı çalışır

• Satır içi yazma yardımcısı

  • Command + Control + I ile herhangi bir uygulamada satır içi destek kullanılabilir
  • Microsoft Word'de ödev sorusu girildiğinde otomatik yanıt verebilir

• Gelişmiş Markdown render etme

  • LaTeX formül render etme desteği
  • Veri görselleştirme: tablo tabanlı otomatik grafik oluşturma (çubuk grafik, çizgi grafik, pasta grafik vb.)
  • Kod vurgulama, kod kopyalama/dışa aktarma desteği

• Toolbox araç takımı

  • Detector: yapay zeka üretimi olup olmadığını tespit etme ve yeniden yazım rehberi sağlama
  • Diagrammer: prompt ile karmaşık ilişki diyagramları oluşturma
  • Slide Studio: tek satırlık prompt ile slayt hazırlama, PDF/PowerPoint olarak dışa aktarabilme

• Performans ve çıkarım optimizasyonu

  • llama.cpp tabanlı çıkarım ile Apple Silicon'da çok yüksek hız
  • Speculative decoding ile ek hız artışı sağlanabilir
  • MacBook'ta pil ömrünü uzatma ve işlem dağıtımı özellikleri sunar

Kurulum ve gereksinimler

• Mac + Apple Silicon (M1 ve üzeri)
• En az 8GB RAM
• Releases sayfasından .dmg dosyasını indirip çalıştırın

Geliştirme hedefleri

• Herkesin kolayca kullanabileceği kişisel yerel yapay zeka asistanı
• İnternet bağlantısı olmadan da çalışan tam çevrimdışı sistem
• Ayar gerektirmeden klasörleri, dosyaları ve web sitelerini anında tanıma
• Gizliliğin korunması, konuşma içeriğinin izlenmemesi
• Açık kaynak proje olarak şeffaflık ve genişletilebilirlik sağlama

[galadbran]

Bunu kurup denemem gerekecek.