OneRAG - Sohbet botu PM'inin yaptığı, tek satırlık ayarla vektör DB/LLM vb. değiştirilebilen RAG kaynağı
(github.com/notadev-iamaura)Geliştirici olmayan biri olarak sohbet botuyla ilgili ürünleri birkaç kez yürütürken, bir noktadan sonra kafamdaki gibi bir ürünü kendim yapmak istedim.
Bu yüzden Kmong'da sohbet botu geliştirmeye başladım.
Geliştirici olmayanların Kmong projeleri bu aralar oldukça fazla; ben de geçen yıl eylülden başlayarak 5 ay boyunca yalnızca RAG sohbet botu işiyle yaklaşık 14 milyon won gelir elde etmeyi denedim.
Müşterilerin gereksinimleri büyük ölçüde benzerdi ve biraz farklılaşan RAG pipeline'larıyla, vektör DB kullanım senaryolarına göre kodu sürekli değiştirmek zahmetli olduğundan OneRAG'i yaptım.
Temel fikir: Yapılandırma dosyasında tek satırı değiştirerek herhangi bir bileşen değiştirilebilir
Desteklenen bileşenler:
- Vector DB: Weaviate, Chroma, Pinecone, Qdrant, pgvector, MongoDB
- LLM: Gemini, OpenAI, Claude, OpenRouter
- Reranker: Jina, Cohere, Google, OpenAI, Local
- Cache: Memory, Redis, Semantic
- Extra: GraphRAG, PII Mask, Agent
5 dakikalık quickstart:
git clone https://github.com/notadev-iamaura/OneRAG
cd OneRAG && make quickstart
FastAPI tabanlıdır, Docker Compose içerir ve varsayılan olarak Korece NLP desteği sunar.
(Kore'deki yapay zeka servisleri tarafında çalıştım)
MIT lisanslı. Mimariyle ilgili geri bildirim ya da hangi bileşenlerin eklenmesinin iyi olacağına dair görüşlerinizi paylaşırsanız memnun olurum.
8 yorum
Son zamanlarda ben de böyle bir hizmete ihtiyaç duyduğumu belirsiz de olsa hissediyordum. Acaba zhipu'nun GLM'i veya kimi gibi Çin modellerini eklemeyi düşünüyor musunuz, merak ediyorum.
Görüşünüz için teşekkürler!
Şu anda da OpenRouter tabanlı olarak model çağrısı yapılabildiği için, OpenRouter tabanlı çağrı ayarını yaparsanız yalnızca model adını değiştirerek bahsettiğiniz modeli çağırabilirsiniz.
Bahsettiğiniz modeli yerelde çalıştıracak bir yapıysa, bunu ileride güncellemek istiyoruz.
Ancak zamanlaması, Korece RAG'de kullanılabilecek seviyede bir model olarak görüldükten sonra olacak gibi duruyor.
O zamana kadar, RAG ile ilk kez tanışan kişilerin basitçe deneme yapabilmesi için daha sadeleştirilmiş bir pipeline eklemeyi planlıyoruz.
Örneğin, Grok Collections API'yi kullanarak daha az ayarla çok daha kolay RAG yapılmasını sağlayan özellikler gibi şeyleri değerlendiriyoruz :)
Yanıtınız için teşekkürler. OpenRouter derken https://openrouter.ai/ hizmetini mi kastediyorsunuz? Korece RAG için kullanılabilecek seviyede bir model olduğunu söylediğiniz kısım benim çok iyi bildiğim bir konu değil, ancak GLM 4.7'nin benim istediğim promptlarda sonnet 4.5'ten tutarlı biçimde daha iyi Korece yanıtlar verdiğini gördüğüm için ona olan güvenim biraz arttı. Bu yüzden ilgiyle değerlendirirseniz güzel olabilir.
Evet, doğru! İlgili bağlantıdaki OpenRouter API temel alındığında model değiştirmek kolaydır.
(Ancak yükleme maliyetine yaklaşık %5 ek ücret geldiği için oyuncak proje seviyesinde rahatça kullanılabilir.)
GLM4.7 performansını da bizzat kullanarak kontrol edip uygulanabilecek şekilde planlayacağım :)
Web uygulamasını şık biçimde düzenleyip chatbot için backend olarak kullanmak açısından iyi görünüyor.
Evet, kişisel bir projede ön yüzü iyi düzenleyip kullanmak için fena görünmüyor :)
Paylaşım için teşekkürler!
Evet! RAG ürünlerini kolayca test etmeye az da olsa yardımcı olursa ne mutlu!