HN'de paylaşıldı: Yerelde çalışan bir 'Perplexity' klonu geliştirildi

LLocalSearch nedir

• LLM ajanları kullanan, tamamen yerelde çalışan bir arama motoru.
• Kullanıcı bir soru sorduğunda sistem, yanıtı bulmak için LLM zinciri kullanır.
• Kullanıcılar ajanın ilerleme durumunu ve nihai yanıtı görebilir.
• OpenAI veya Google API anahtarı gerektirmez.
• Artık takip soruları özelliği eklendi: demo.mp4

Özellikler

• 🕵️ Tamamen yerelde çalışır, bu yüzden API anahtarı gerekmez.
• 💸 "Düşük özellikli" LLM donanımında çalışır (demo videosunda 7b model kullanılıyor).
• 🤓 Arama sürecini daha iyi anlayabilmeniz için ilerleme günlükleri sunar.
• 🤔 Takip soruları sorulabilir.
• 📱 Mobil uyumlu arayüz.
• 🚀 Docker Compose ile hızlı ve kolay dağıtım.
• 🌐 Her cihazdan kolay erişilebilen web arayüzü.
• 💮 Açık ve koyu modu destekleyen el yapımı arayüz.

Durum

• Bu proje hâlâ erken aşamada. Bazı hatalar olabilir.

Nasıl çalışır

• En güncel bilgiler için infra dokümantasyonuna bakın.

Self-hosting ve geliştirme

Gereksinimler

• Konteynerden erişilebilen, çalışmakta olan bir Ollama sunucusu.
• GPU zorunlu değildir ama tavsiye edilir.
• Docker Compose

En son sürümü çalıştırma

• Bu projeyi geliştirme niyetiniz yoksa tavsiye edilir.

  git clone https://github.com/nilsherzig/LLocalSearch.git
  cd ./LLocalSearch
  # 🔴 compose dosyasındaki ortam değişkenlerini kontrol edin ve ollama sunucusunun host:port bilgisini ekleyin
  docker-compose up 🎉
  

• Artık varsayılan olarak web arayüzünü http://localhost:3000 adresinde açabilirsiniz.
• Varsayılan olarak başka hiçbir şey dışa açılmaz.

Mevcut git sürümünü çalıştırma

• Daha yeni özellikler kullanılabilir, ancak daha az kararlı olabilir.

  git clone https://github.com/nilsherzig/LLocalsearch.git
  # 1. `docker-compose.dev.yaml` içindeki ortam değişkenlerini mutlaka kontrol edin.
  # 2. Normal compose dosyası yerine dev compose dosyasını kontrol ettiğinizden emin olun.
  # 3. Konteynerleri build edin ve servisleri başlatın
  make dev
  

• make kurulu değilse Makefile içindeki komutları elle çalıştırabilirsiniz.
• Artık frontend'e http://localhost:3000 adresinden erişebilirsiniz.

GN⁺ görüşü

• LLocalSearch, kullanıcı gizliliğini önemseyen modern bir arama motoru alternatifi olarak dikkat çekiyor. Kullanıcı verilerini harici sunuculara göndermeden arama işlevi sunarak gizlilik kaygılarını hafifletebilir.
• Bu proje, açık kaynak topluluğunda geliştiricilere cazip bir fırsat sunuyor. Geliştiriciler projeye katkıda bulunarak arama motoru teknolojilerine dair anlayışlarını geliştirebilir ve portföylerini güçlendirebilir.
• Ancak proje erken aşamada olduğu için hata ve kararlılık sorunları olabilir. Bu da gerçek kullanım ortamlarında değerlendirirken temkinli olunması gerektiği anlamına geliyor.
• LLocalSearch başarılı şekilde gelişirse, mevcut büyük arama motorlarına bağımlılığı azaltmaya ve arama motoru pazarına çeşitlilik katmaya yardımcı olabilir.
• Teknik açıdan bakıldığında, LLM ajanlarıyla yapılan arama oldukça yenilikçi olsa da bunu etkili biçimde kullanmak için yeterli hesaplama kaynağı ve teknik bilgi gerekir.

[GN⁺]

Hacker News görüşü

• Hacker News yorum derlemesi özeti:

  • 🤖 LLM'ler ve arama motorlarının birleşimi: LLM'lerin arama motorlarına erişip vektör veritabanını sorgulayabildiği bir sistemin açıklaması. LLM tarafından başlatılan arama sorgusundan en üstteki n sonuç kazınıp küçük parçalara bölünerek vektör veritabanına kaydedilebiliyor; ardından LLM bu veritabanını sorgulayarak ilgili parçaları alabiliyor. Bu yaklaşım, 128k bağlamlı bir LLM'nin her şeyi özetlemesi kadar kapsamlı olmasa da yerel donanımda çok daha hızlı çalışıyor ve daha az kaynak kullanıyor. GitHub'daki demo, tipik bir tüketici GPU'sunda (amd rx 6700xt) çalışıyor.

  • 👍 Mimariye övgü: Bunu mevcut LLM'lerle birlikte kullanmayı planladıklarını, yerelde de çalıştığını görmenin sevindirici olduğunu belirtiyorlar. Paylaşım için teşekkür ediyor ve mimariyi beğendiklerini söylüyorlar.

  • ❓ Perplexity ile ilişkisine dair soru: Bu sistemin Perplexity ile tam olarak ne ilgisi olduğunu soruyor ve bunun yerine kullanılan temel modele bir atıf gerektiğini belirtiyorlar.

  • 🌟 Yerel modelin özel yetenekleri: Daha önce özel modülleri çağıran bir yerel model görmediklerini, kişisel olarak kullandıkları yerel 7b open-hermes modelini de çok iyi bulduklarını söylüyorlar.

  • 🚀 Kurumsal iç arama motorlarıyla entegrasyon olasılığı: Henüz çalıştırmamış olsalar da çok umut verici göründüğünü, kurum içi arama motoruna bağlayarak kullanmanın çok faydalı olacağını düşünüyorlar. Yerel LLM'lere bağlanan, API anahtarı gerektirmeyen ürünlerin daha fazla yapılmasından memnunlar.

  • 🛠️ Altyapı içindeki karar sürecine dair soru: 'Araç kullanımı gerekli' ve 'yanıt bulundu' bloklarının altyapı içinde nasıl belirlendiğini soruyorlar. Demoda sonucun dönmesinin zaman aldığını gördüklerini, en çok süren aşamanın arama, vektör deposuna yazma ya da vektör veritabanı sorgusu olup olmadığını merak ediyorlar.

  • 🕵️ Yerel arama motorunun nasıl çalıştığı: Bunun 'yerelde çalışan bir arama motoru' olarak tanımlandığını ama siteleri ve sayfaları nasıl bulup indekslediğine dair soru işaretleri olduğunu belirtiyorlar.

  • 🤫 Perplexity hakkındaki sır: Perplexity'nin, hazır bir modeli kullanmanın ötesinde aslında çok fazla şey yapmadığı görüşü paylaşılıyor.

  • 🏭 Perplexity'nin chatbot rakibi olarak görülmesi: Perplexity'nin bir chatbot rakibi gibi göründüğü söyleniyor.

  • ✨ Plandex ile entegrasyon önerisi: Bugün paylaşılan Plandex ile bunu birleştirip, bilgisayardan hiç ayrılmadan yapay zekayla kod üzerinden işbirliği yapılabilen bir araç üretmenin harika olacağı öneriliyor.

Arka plan bilgisi: LLM'ler (Large Language Models), doğal dil işleme için kullanılan büyük dil modelleridir; vektör veritabanları ise verileri vektör biçiminde saklayarak hızlı aramayı mümkün kılar. Perplexity, doğal dil işleme alanında model performansını değerlendiren bir ölçüt de olabilir; ancak burada belirli bir ürün veya hizmeti ifade ediyor gibi görünüyor.