RLama - Ollama ile açık kaynaklı DocumentAI

• Yerel Ollama modeliyle bağlantı kurarak kullanılan, belgeler için yapay zeka tabanlı bir soru-cevap aracı
• Dokümantasyon gereksinimlerine uygun RAG (Retrieval-Augmented Generation) sistemleri oluşturabilir, yönetebilir ve bunlarla etkileşim kurabilirsiniz
• macOS, Linux ve Windows üzerinde kullanılabilir
• Belge klasörü indeksleme: Akıllı arama ve sorgular için belge klasörlerini indeksleyebilir; metin, kod, PDF, DOCX gibi çeşitli belge formatlarını destekler
• Yerel işleme: Ollama modeli kullanılarak tüm veriler yerelde işlenir ve veriler dışarı sızmaz
• Etkileşimli RAG oturumları: Belge bilgi tabanını sorgulamak için etkileşimli oturumlar oluşturabilirsiniz
• Kolay yönetim: RAG sistemleri oluşturmak, listelemek ve silmek için basit komutlar sunar
• Geliştirici dostu: Geliştiriciler ve teknik kullanıcılar için Go diliyle tasarlanmıştır

[GN⁺]

Hacker News görüşleri

• Bu sistem belgeleri parçalara ayırmadan, tüm belgeyi embedding isteği olarak Ollama'ya gönderiyor. Bu nedenle yalnızca belge küçük olduğunda faydalı

  • bge-m3 embedding modeli 8192 token'lık bir sequence length'e sahip. rlama tüm kitabı embedding etmeye çalışıyor ancak Ollama embedding isteğine yalnızca ilk birkaç sayfayı koyabiliyor
  • Arama sırasında ilgili pasaj yerine tüm belgeyi getiriyor ve bunu 1000 karaktere kadar kesiyor. Sonuç olarak belgede "Buddha" kelimesi 44.121 kez geçmesine rağmen model "Buddha hakkında doğrudan bir atıf yok" diye yanıt veriyor
  • Daha iyi çözüm, belgeyi embedding modelinin bağlamına uygun parçalara bölmek ve bu parçaları metadata ile birlikte aramak

• Kullanıcıya arama sonuçlarını göstermeyi öneririm. Yalnızca bir vektör arama motoru bile çok faydalı

  • Prompt'u referans sağlayacak şekilde değiştirmek gerekir (ör. sayfa numarası gibi parça metadata'sına dayalı olarak)

• Projeye övgüyle birlikte birkaç hızlı not

  • Dosya sistemini kullanan uygulamalarla ilgili temel endişeler
    • Kimlerin okuyabildiği, uygulamanın veriyi paylaşıp paylaşmadığı
    • İnternet erişimini engelleyen sert bir blok gerekli. rlama bu durumda hâlâ düzgün çalışıyor mu
    • Uygulama dosyaları değiştirebilir/silebilir mi
    • Tüm dosya sistemine erişim yerine yalnızca okuma izni verilmesi gerekir

• Kod notu: Listede .ts (TypeScript) olmaması şaşırtıcı

• Web sitesi çok temiz görünüyor. Sıfırdan mı kodlandı yoksa bir şablon mu kullanıldı merak ediyorum

• Kendi RAG'inizi yapmak çok kolay. Ollama'da hızlı başlangıç eğitimi var. Süreci ihtiyaçlarınıza göre ayarlayabilirsiniz

• Bu tür araçların faydası konusunda şüpheliyim. Halüsinasyon sorunu nedeniyle ne kadar güvenilir olduklarını ve kaynakları ne kadar iyi alıntıladıklarını merak ediyorum

  • Veriyi doğru almak en önemli şey. AI araçlarını bazen kodlama için kullanıyorum ama başka amaçlar için sonuçlardan emin olamıyorum

• Bu projenin mimarisi/teknoloji yığını hakkında hiçbir bilgi yok. GitHub README'sinde ya da web sitesinde de yok

  • Go ile yazılmış olmasını ve hafta sonu göz atılabilecek kadar küçük olmasını beğendim. Ancak LLM ekosistemi araçlarıyla zaman kaybetmiş olduğum için, temel bilgileri görmeden kodu kurcalamaya çekiniyorum
  • Proje mimarisine dair yüksek seviyeli bir genel bakış sunulursa daha fazla kişi aracı benimseyecektir

• Amatör bir tarihçi olarak arşivlerdeki belgeleri tarayıp JPG dosyaları olarak saklıyorum. Bu bilgi kümesini anlamlandırmanın en iyi yolunun ne olduğunu merak ediyorum

  • Şu anda bunu Gemini ile kendim kuruyorum ancak sıfırdan bir RAG sistemi inşa etmeden bunu çözmenin bir yolu olup olmadığından emin değilim

• Ollama'nın motoru olan llama.cpp ile çalışıp çalışamayacağını merak ediyorum

  • Genelde llama.cpp'yi kaynaktan derleyip Hugging Face'ten quantized modeller indiriyorum. Ollama'yı hiç kullanmadım

• Başka sistemlere entegre edilebilmesi için bir API arayüzü olması iyi olurdu

• Harika bir proje. Hangi lisansla yayımlandığını merak ediyorum. Belgelenmemiş

• RAG'in performansını merak ediyorum. Sadece bir vektör veritabanı fırlatmak tek başına faydalı değil