Show HN: Khoj - Llama 2 ile ikinci beyin ve çevrimdışı sohbet

• Khoj, kullanıcının yeteneklerini genişleten kişisel bir yapay zeka uygulamasıdır ve cihaz içi kişisel yapay zekadan bulut ölçeğinde kurumsal yapay zekaya kadar ölçeklenebilen bir yapıya sahiptir
• Yerel veya çevrimiçi LLM'lerle sohbet edebilir; örnek modeller arasında llama3, qwen, gemma, mistral, gpt, claude, gemini, deepseek bulunur
• İnternetten ve belgelerden yanıt alabilir; desteklenen belge biçimleri arasında görseller, PDF, Markdown, org-mode, Word ve Notion dosyaları yer alır
• Browser, Obsidian, Emacs, Desktop, Phone ve Whatsapp üzerinden erişilebilir; özelleştirilmiş bilgi, persona, sohbet modeli ve araçlara sahip ajanlar oluşturmayı destekler
• Tekrarlayan araştırmaları otomatikleştirme, kişisel bültenler ve akıllı bildirimleri gelen kutusuna iletme, gelişmiş anlamsal arama ile ilgili belgeleri keşfetme, görsel oluşturma, sesli konuşma ve mesaj oynatma desteği sunar
• Açık kaynaklıdır ve self-hosting destekler; kullanıcının bilgisayarında özel olarak çalıştırılabilir veya cloud app üzerinden kullanılabilir
• Enterprise sürümü bulut hizmeti, on-premise ve hibrit çözüm olarak sunulur

[GN⁺]

Hacker News yorumları

• Web sitesinin açılış sayfasında Llama ya da çevrimdışı kullanım senaryosuna dair hiçbir şey göremiyorum; yalnızca OpenAI üzerinden çevrimiçi kullanımdan bahsedilmiş gibi
  Hangi model boyutu ve ince ayar kullanılıyor, bu kullanım senaryosunda performansı nasıl gördünüz, onu da merak ediyorum
  Llama 2’yi 7B ve 13B boyutlarında biraz denedim; tüketici makinelerinde RAM’i epey yiyor gibi geldi, bu yüzden potansiyeli gerçekten heyecan verici
  Aramanın, gömmeler ve vektör DB üzerine tarih komutları gibi ek metadata filtrelemesi eklenen bir yöntem olup olmadığını da merak ediyorum

  • Web sitesindeki içerik eski kalmış; bugün içinde güncellemeye çalışacağım
    Khoj, TheBloke’un Llama 7B 4-bit kuantize GGML modelini kullanıyor
    Notlar bağlam olarak verildiğinde kullanıcı sorgularına tutarlı yanıtlar veren ilk çevrimdışı sohbet modeline yakın; GPT-3.5+’tan daha konuşma diline yakın olması da ilginç
  • Yapay zeka entegrasyonunun ayrıntılarını pek bilmeyen biri olarak, böyle projelerin yalnızca yerel modda kullanılabilir olup olmadığını hep merak ediyorum
    Kendi barındırdığımda kişisel bilgilerin uzak servislere hiç gönderilmediğinin garantisi varsa, bu gizlilik güvencesini çok net yazmanız faydalı olur

• Bunu görünce gerçekten harika olduğunu düşünüyorum; yerelde çalıştırma bence yapay zekanın gerçek geleceği
  Küçük bir M2 MacBook Air’de çalıştırmayı denedim, tamamen kilitlendi
  Eski PC’me virüs bulaşıp fareyi hareket ettirdikten 45 saniye sonra imlecin hareket ettiği günleri hatırlattı; garip bir nostalji bile hissettirdi
  Bu Air için performans beklentilerimi düşürmem gerekecek gibi; böyle bir şeyi ilk kez yaşıyorum

  • Yaklaşık 10 yıl sonra bilgisayarlarda özel bir yapay zeka işlem birimi olacak; bir botla konuşurken sistemin kilitlenmesinden endişe etmemize gerek kalmayacak
  • MacBook’un belleğinin ne kadar olduğunu merak ediyorum
    7B model birleşik bellek 16GB ve üzerindeyse genelde iyi çalışıyor, ama 8GB Mac’lerin epey zorlandığını gördüm

• Bir gün boyunca web geçmişimi alıp araştırdığım şeyleri notlar halinde özetlemesi de mümkün olur mu?
  Kişisel yapay zekanın idealine giderek yaklaşıyor
  Birkaç yıl içinde bildiğim her şeyle doldurulmuş dijital bir beynim olabilecek gibi; sabırsızlanıyorum

  • Oldukça harika olurdu
    Günlük web geçmişini özetleyen bir tarayıcı uzantısı yapmak o kadar büyük bir iş olmayabilir; zaten benzer bir şey de vardır muhtemelen
    Tüm dijital gezinme izlerini indeksleyip kolayca sindirilebilir hale getirmek gerçekten çok değerli olur
    Umarım Khoj buna dönüşür
  • https://www.rewind.ai
  • Benim de aklıma tam olarak aynı soru geldi; bu gerçek bir sıkıntıyı çözebilir
    Bunu yapan araç önerileri var mı merak ediyorum
    Ya da birlikte yapmak isteyen birini de arıyorum

• PostHog telemetrisi ne için kullanılıyor?
  Neden dokümanlarda bununla ilgili hiçbir şey yok ve neden net bir opt-out yöntemi yok anlamıyorum

  • Kullanımı anlamak için kullanıyoruz
    Örneğin insanların Markdown mı yoksa org mu kullandığını anlamak gibi amaçlar için
    Tüm veriler tamamen anonimleştirilmiş olarak toplanıyor ve tanımlanabilir bilgiler telemetri sunucusuna gönderilmiyor
    Opt-out için khoj.yml içinde should-log-telemetry değerini false olarak ayarlayabilirsiniz
    Nelerin nasıl toplandığını dokümanlara ekledim: https://docs.khoj.dev/#/telemetry
  • Kaldırması oldukça kolaydı, sonunda öyle yaptım
    Bunun dışında proje şaşırtıcı derecede iyi çalışıyor

• Güzel bir proje gibi görünüyor
  PDF dizinlerini indeksleyebilmesi ve taranmış belgeleri indeksleyebilmek için PDF’lere OCR uygulaması gerçekten harika olurdu
  Şu an projenin kapsamı dışında olabilir, ama daha birkaç gün önce böyle bir aracın iyi olacağını düşünmüştüm

  • PDF dosyalarını arayabilmek ve onlarla sohbet edebilmek oldukça kullanışlı olur
    Khoj, arama ve sohbet için PDF dizinlerini indeksleyebiliyor
    Ancak şu anda seçilebilir metin içermeyen taranmış PDF dosyalarını işleyemiyor
    Bu tür dosyaları da ele alabilse iyi olur; yalnızca uygulanması gerekiyor
    Yakında mümkün olmasını umuyorum
  • Kendi makinemde çalışıp tüm dosyalarımı otomatik sınıflandıran, düzenleyen, etiketleyen ve taşıyan bir yerel crawler istiyordum
    PDF’leri, indirmeleri, ekran görüntülerini, fotoğrafları vb. tarayıp dosya organizasyonunun mantıksal ağacını göstermesi ve “Bu konuyla ilgili PDF’leri buraya ekle, kaynak/yazara göre düzenle, ekran görüntülerini de tarihe göre buraya taşı” gibi komutlarla düzenleyebilmek iyi olurdu
    Hep “COMPUTER.” diye seslenebileceğim bir bilgisayar istemiştim
    “COMPUTER!” dedim, “Efendim, klavyeyi kullanmanız gerekiyor” dedi; ah klavye, ne kadar da eski usul

• gpt4all kullanıyor gibi görünüyor; yerel çıkarım modelini değiştirmenin resmi olarak desteklenen bir yolu var mı merak ediyorum
  OpenAI’nin completion/chat API’si için tasarlanmış uygulamaların çoğu, yalnızca llama-cpp-python [0] tarafından sağlanan endpoint’i işaret ederek neredeyse aynı şekilde çalışabiliyor ve llama.cpp’nin desteklediği çeşitli modelleri ve kuantizasyonları kullanabiliyor
  Böylece Apple Silicon’da Metal hızlandırma ya da NVIDIA GPU dahil istediğiniz donanımda daha büyük modeller çalıştırabilir, openrouter.io gibi başka proxy’leri de kullanabilirsiniz
  Kişisel olarak openrouter.io’yu, Anthropic’in 100k modelini desteklediği için severek kullanıyorum
  [0]: https://github.com/abetlen/llama-cpp-python

  • gpt4all’ın özü, modeli büyük kırılmalar olmadan değiştirebilmek
    Bu satırı https://github.com/khoj-ai/khoj/blob/master/src/khoj/process... istediğiniz modelle değiştirmeniz yeterli olabilir
    docker-compose ile yerel imajı kendiniz derlemeniz gerekir, ama görece basit olmalı
  • Henüz resmi destek yok
    Birçok geliştirici farklı modelleri denemek istiyor, ama biz kullanımı kolay ve aynı zamanda derinlemesine yardımcı olan bir yöne gitmek istiyoruz
    Kaynaklarımız sınırlı olduğu için nereye odaklanmamız gerektiği konusunda biraz düşünüyoruz

• Obsidian kullanmaya başlamış ve sohbet yapay zekâlarını kurcalayan biri olarak bu gerçekten harika

  • Benim kullanım senaryoma uyup uymadığını denemenizi ve haber vermenizi isterim
  • Obsidian’a geçmek istememe neden olan bir proje :D

• Henüz denemedim ama böyle bir şeyin kesinlikle olması gerekiyor
  Yeterince iyi bir GPU’nuz yoksa şimdilik tüketici donanımında çok kullanışlı olmayabilir; ama birkaç yıl içinde, hatta daha erken, mümkün olacağına eminim
  Logosu da güzel, renklerini de beğendim
  Bu tür kullanım senaryolarında Llama 2 yeterince yetkin görünüyor; özellikle gizlilik önemliyken ChatGPT’ye para vermenin cazibesini azaltabilir
  Geliştirmeye devam etmenizi dilerim

  • Llama V2’nin birçok kullanım senaryosunda ChatGPT’nin, yani GPT-3.5’in yerini alacak kadar iyi hale geleceğini düşünüyorum

• Khoj’u bir gün kullandım; gerçekten temiz ve iyi yapılmış
  Birkaç gözlemim var

  1. Telemetri varsayılan olarak açık ve API ile sohbet sorgularını içerebilir
     Bununla ilgili bir issue ve öneriyi buraya bıraktım: https://github.com/khoj-ai/khoj/issues/389
  2. YAML ayarlarını container imajına gömmek yerine UI üzerinden yapılandırmak mümkün olsa iyi olurdu
     Yukarıdaki GitHub issue’suna bir not da ekledim
  3. Kendi modelinizi getirip getiremeyeceğiniz net değil
     Örneğin huggingface/gpt4all modelini ayarlayabiliyor muyum; mümkünse ada göre otomatik indiriliyor mu, yoksa .bin ve YAML dosyasını bir volume içinde bir yere mi koymam gerekiyor, merak ediyorum
  4. AMD GPU/APU hızlandırması, yani CLBLAS desteği olsa gerçekten iyi olurdu; bu özellik isteğini de issue olarak bıraktım: https://github.com/khoj-ai/khoj/issues/390
  • Khoj, arama terimlerini veya sohbet sorgularını toplamaz
    Dokümanda yazdığımız gibi telemetri sunucusunu[1] kendiniz inceleyebilirsiniz
    Garip bir şey görürseniz haber verin, hemen hotfix çıkaralım
    Tüm telemetri metadata’sını da buradan görebilirsiniz[2]
    [1]: https://github.com/khoj-ai/khoj/tree/master/src/telemetry
    [2]: https://github.com/khoj-ai/khoj/blob/master/src/khoj/routers...
    docker-compose ayarı biraz özel; ayrıntılar için ilgili issue’ya bakabilirsiniz
    GPU entegrasyonuyla ilgili notlar için de teşekkürler; açıklığa kavuşturmak gerekirse indeksleme için GPU optimizasyonu kullanıyoruz, ancak Llama tabanlı yerel sohbet için henüz kullanmıyoruz
    O kısmı çalışır hale getirmeye uğraşıyoruz
  • ggml’de ./server çalıştırdığınızda elde ettiğiniz gibi, yerel modeller için özel URL desteği eklenebilir mi?
    Arama bağlamını önceden token’lara ayırıyorsanız bu daha zor olabilir
    Proje gerçekten çok iyi

• C-s’den bahsetmeniz ilginç
  isearch-forward genelde düşük gecikmeli birebir eşleşme araması için kullanılır
  Hangi iş akışlarında Khoj’un isearch’ün yerine kabul edilebilir bir gecikme ya da daha iyi bir fayda sunabileceğini merak ediyorum
  Belgelerde gezinirken nasıl kullandığınıza dair bir örnek var mı?

  • Khoj araması neredeyse tam olarak bu rolü üstleniyor
    Anahtar kelimeyle değil, doğal dil arama arayüzüyle yazdığınız anda arama deneyimi sunuyor
    Benim iş akışım şöyle
    1. Khoj aramasıyla[1] ara: C-c s s RET
    2. speed key ile ilgili öğeye atla[2]: n n o 2
       [1]: C-c s, khoj transient menüsüne bağlı
       [2] https://orgmode.org/manual/Speed-Keys.html