Anything-LLM - Açık kaynak, hepsi bir arada AI masaüstü asistanı

 (github.com/Mintplex-Labs)
34 puan yazan xguru 2024-10-01 | 1 yorum | WhatsApp'ta paylaş
  • Ticari LLM'ler veya açık kaynaklı LLM ve vektör DB çözümleri kullanarak özel bir ChatGPT oluşturabilen tam yığın bir yapay zeka uygulaması
    • Yerel ya da uzaktan barındırılabilir
    • Sağladığınız tüm belge ve kaynakları başvurulabilir bağlama dönüştürür
  • Kullanılacak LLM veya vektör DB seçilebilir; ayrıca çok kullanıcılı yönetim ve yetkilendirmeyi de destekler
    • OpenAI, llama.cpp, AWS Bedrock, ANthropic, Google Gemini, Ollma, Together, Mistral, Groq, Cohere..
  • Çok modlu destek sunar (ticari ve açık LLM'lerin ikisi için de)
  • Kendi web sitenize gömülebilen özel bir sohbet bileşeni sağlar (Docker sürümü)
  • Belgeleri Workspaces adlı nesnelere ayırarak tek bir iş parçacığı gibi kapsülleyip çalıştırır
    • Paylaşım mümkündür, ancak birbirleriyle konuşmazlar; bu sayede her çalışma alanı arasında bağlam korunabilir

monorepo içindeki bileşen ayrımı

  • frontend: viteJS + React ile oluşturulmuş ön yüz
  • server: vektör DB yönetimi ve LLM etkileşimlerini işleyen NodeJS express sunucusu
  • collector: belgeleri işleyen ve ayrıştıran NodeJS express sunucusu
  • docker: Docker komutları ve build süreci bilgileri
  • embed: web gömme bileşeni oluşturma ve yönetim alt modülü
  • browser-extension: Chrome tarayıcı uzantısı alt modülü

İlgili okumalar

1 yorum

 
xguru 2024-10-01

Hacker News görüşleri

  • Kurumsal ortamda özelleştirilmiş bir AnythingLLM örneği dağıtmaya çalışıyorum. TimC ve geliştirme ekibi gerçekten çok iyi ve hızlı yanıt veriyor. EntraID entegrasyonunu bekliyorum; bunun çoğu temel kullanım senaryosunu karşılayacağını düşünüyorum. TimC ve ekibine teşekkürler
  • Başta bunun Ollama/WebGenUI için bir wrapper olduğunu sanmıştım ama aslında çok daha fazlasını destekliyor. Yalnızca LLM değil, embedding modelleri, vektör veritabanları ve TTS/STT de destekleniyor. Tam teşekküllü bir sesli chatbot oluşturmak için gereken her şeyi içeriyor
  • Çok iyi. "Language Learning Model" teriminin komik olduğunu düşünüyorum. Yazarın LLM'nin ne anlama geldiğini bilmeden projeye başladığıyla ilgili şaka yapıyor
  • İndirip kullandım ve şu ana kadar oldukça iyi. GPT-4o ile regülasyon PDF'lerini okumakta kullandım. İlk geri bildirimler:
    • Alıntılar biraz güven vermiyor. Yanıtlar genel olarak doğru ama alıntı penceresindeki içerik biraz kafa karıştırıcı
    • Mevcut sohbetler içinde metin arama özelliği eklenmesini isterdim. Örneğin, sohbet sırasında zürafa hakkında arama yaptığımda ilgili sohbet kaydına geçebilsem iyi olurdu
  • Embed ya da vektörün ne olduğunu bilmeyen biri olarak, standart bir ofis bilgisayarına kurup kullanabildiğim tek çevrimdışı yapay zeka aracı bu
  • LLM'ler gelecekte web framework'leri gibi ücretsiz ve açık kaynak olacak. Ücretli seçenekler de olacaktır ama çoğu iş için ücretsiz seçenekler yeterli olacaktır
  • Kurumsal ölçekte AnythingLLM kurdum ve özelliklerin çoğundan çok etkilendim. Keşke özel CSS'i düzgün şekilde ekleyebileceğimiz bir seçenek olsa. Varsayılan arayüz biraz eski görünüyor. Harika iş çıkarmaya devam edin
  • Linux kurulumu sırasında hata aldım ama şu komutlarla çözüldü: 
    sudo chown root:root /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
sudo chmod 4755 /home/hn/AnythingLLMDesktop/anythingllm-desktop/chrome-sandbox
    Bunun dışında çok iyi çalışıyor
  • AnythingLLM, LLM'leri hem yerelde hem de API üzerinden kullanmayı çok kolaylaştırıyor. Embedding aracı ve vektör store için çeşitli seçenekler var. Tek kurulumluk masaüstü paketlemesi çok temiz. Yaklaşan yeni özellikleri merakla bekliyorum