MirrorOn - LLM için çoklu sorgu programı geliştirdim.
(practical.kr)[LLM]
LLM (Large Language Model) artık eksikliği hissedilecek kadar önemli bir varlık haline geldi. Geliştirici açısından bakınca, son iki yıldır Github Copilot'u kodlama yardımcısı olarak verimli şekilde kullanıyordum; ancak ChatGPT ve Claude'un daha iyi kod üretir hale gelmesiyle birlikte, son dönemde arama destekli üretim (RAG – Retrieval-Augmented Generation) geliştiriciler için önemli bir anahtar kelimeye dönüştü. Bu yüzden MML'nin yapısını ve API'sini öğrenmemek mümkün olmadı; ben de çalışmaya başladım.
Öğrenmenin en hızlı yolunun öğretmek ya da bir şeyler üretmek olduğunu her zaman düşündüğüm için, ne zaman bir konu çalışsam genelde yeni bir proje başlatıp onu uygulamaya geçiririm. Bu kez LLM çalışırken ortaya çıkan proje de MirrorOn oldu.
[Çoklu LLM sorgu aracı MirrorOn]
MirrorOn, tek bir soru sorup birden fazla LLM'den yanıt almanızı sağlayan bir sorgu aracıdır. İsmi, “Ayna ayna...” ifadesinden esinlenmiştir. ^^ Aynayı açtığınızda (On!), size dünyadaki en güzel kişinin kim olduğunu söyleyecektir.

Şu anda (V 0.1.0) ChatGPT, Claude ve Ollama kullanılabiliyor. ChatGPT ve Claude için API key gerekiyor. Kullanıcı, API key'i kendisi alıp ayarlardan girdikten sonra sorusunu yazarak API sorgu sonuçlarını görüntüleyebilir. Konuşmanın bağlamını sürdürebilecek şekilde tasarlanmıştır ve menü üzerinden kopyalama, silme, paylaşma gibi işlemler yapılabilir.
[Yerel LLM]
Ollama (https://ollama.com), kullanıcının bilgisayarında LLM çalıştırmayı sağlayan bir programdır. Bağlantıdan Ollama'yı kurup istediğiniz modeli yükleyerek ücretsiz (!) şekilde soru sorabilirsiniz. Bilgisayarınızın depolama kapasitesi elverdiği sürece çeşitli modelleri çalıştırabilirsiniz.
MirrorOn'u bir Ollama istemcisi olarak kullanırsanız, her ay LLM'e ödediğiniz maliyetten tasarruf edebilirsiniz.
[RAG – Retrieval-Augmented Generation]
Arama destekli üretim (RAG), uygulama geliştiricileri açısından gelecekte mutlaka sahip olunması gereken bir özellik gibi görünüyor. MML her şeyi bilemeyebilir; ancak kullanıcı ihtiyaçları çok çeşitli ve buna uyum sağlamanın yolu RAG'den geçiyor.
MirrorOn V0.1.0'da temel işlevleri oluşturdum. Şu anda PDF belge yükleme, özetleme ve arama düzeyinde; ancak ileride vektörleştirme gibi özellikler eklemeyi planlıyorum.
Ayrıca görsel yükleyip içeriği hakkında soru sorma ya da LLM'e instruction verme gibi, LLM kullanımı için özel bazı işlevler de bulunuyor. Ayrıntılı özellikler için bağlantıya bakabilirsiniz. İngilizce ve Japonca destekleniyor, ayrıca dokümantasyon da mevcut.
[Ayrıntılı özellik açıklaması]
https://github.com/bipark/MirrorOn
[İndir]
Şu anda yalnızca Mac sürümü mevcut. Mac App Store'a yüklemek için birkaç hafta uğraştım; ancak API key girme özelliği nedeniyle Apple onayı beklemeye alındığı için, Git Release üzerinden indirilebilecek şekilde yayımladım. İleride Apple onayı çıkarsa App Store'da da yer almasını umuyorum. Windows sürümü de hazırlanıyor.
Henüz yorum yok.