Açık kaynak - Ollama tabanlı LLM mobil istemcisi

 (github.com/bipark)
10 puan yazan rtlink 2024-11-23 | 2 yorum | WhatsApp'ta paylaş

Bu yıl video ile ilgili LLM-RAG çalışmalarına epey zaman ayırdım. Böyle olunca biraz da yan ürün(?) ortaya çıktı; bunların bir kısmını düzenleyip uygulama haline getirdim ve açık kaynak olarak yayımladım.

Demo için hem uygulama hem web üzerinde aynı anda kullanılabilecek bir sohbet arayüzüne ihtiyacım vardı; bu yüzden Flutter'ın flutter_chat_ui temelinde çalıştım. Ama sadece demo olarak bırakmak istemediğim için, mobilde kullanılabilecek bir Ollama istemcisi uygulaması yaptım.

ChatGPT ve Claude performans açısından iyi olsa da maliyet ya da güvenlik konusunda endişesi olanlar için, kendi bilgisayarına Ollama kurup ihtiyaçlarına uygun bir LLM yükleyerek kullanmak da iyi bir yöntem olabilir.
Flutter kaynak kodu olduğu için iPhone ve Android telefonlarda derlenip kullanılabilir.

Tanıtım

Ollama, büyük dil modellerini (Large Language Models, LLMs) yerel bilgisayarda kolayca çalıştırmayı sağlayan açık kaynak bir yazılımdır. MyOllama ile Ollama'ya bağlanıp çeşitli LLM'lerden yararlanabilirsiniz. MyOllama - LLM'ler kendi bilgisayarınızda Ollama programı üzerinden çalıştığı için, ek kullanım ücreti olmadan yapay zeka modelleriyle sohbet edebilirsiniz.

Başlıca özellikler

  • Uzak LLM erişimi: IP adresi üzerinden Ollama host'una bağlanma
  • Özel prompt'lar: kullanıcı tanımlı instruction ayarlarını destekler
  • Çeşitli açık kaynak LLM desteği (Llama, Gemma, Qwen, Mistral vb.)
  • Kullanıcı tanımlı instruction ayarlanabilir
  • Görsel tanıma özelliği desteği (yalnızca bu özelliği destekleyen modellerde)
  • Sezgisel sohbet biçimli UI
  • Konuşma geçmişi: sohbet oturumlarını kaydetme ve yönetme
  • iOS ve Android desteği
  • Türkçe, English ve 日本語 desteği

Kullanım

  • Ollama'yı bilgisayarınıza kurun (macOS, Windows, Linux desteklenir). Ollama kurulum yöntemi için Ollama GitHub sayfasına bakabilirsiniz.
  • Kaynak kodunu indirip Flutter ile derleyin veya App Store'dan MyOllama uygulamasını indirin.
  • Ollama'ya istediğiniz modeli kurun. Model indirme
  • Ollama'nın uzaktan erişime izin verecek şekilde ayarlarını değiştirin.
  • MyOllama uygulamasını çalıştırın ve Ollama'nın kurulu olduğu bilgisayarın IP adresini girin.
  • İstediğiniz yapay zeka modelini seçip sohbete başlayın.

Avantajlar

  • Bu uygulama, açık kaynak LLM'leri verimli şekilde kullanmak isteyen geliştiriciler ve araştırmacılar için tasarlanmıştır. API çağrıları, prompt engineering ve model performans testleri gibi çeşitli teknik deneylerde kullanılabilir.
  • Gelişmiş yapay zeka özelliklerini ücretsiz kullanabilme
  • Çeşitli LLM modelleri desteği
  • Gizlilik koruması (yerel bilgisayarda çalışır)
  • Programlama, yaratıcı işler ve günlük sorular gibi çeşitli amaçlarla kullanılabilir
  • Konuşmanın bağlamını sürdürebilecek şekilde yapılandırılmıştır

Dikkat edilmesi gerekenler

  • Bu uygulamayı kullanmak için mutlaka Ollama kurulmuş bir bilgisayar gerekir.
  • Ollama host ayarları ve yönetimi kullanıcının sorumluluğundadır. Güvenlik ayarlarına dikkat edin.

İlgili okumalar

2 yorum

 
chungjungsoo 2024-11-23

Benim amacım farklı olsa da benzer bir uygulama geliştirip şu anda işletiyorum; Ollama da yakın zamanda destekleyen bir güncelleme yayımladı.
Özellikle yurt dışında Ollama talepleri oldukça fazlaydı.

https://tr.news.hada.io/topic?id=15375
 
rtlink 2024-11-23

GitHub bağlantısı
https://github.com/bipark/my_ollama_app