- LLM yanıtlarını önbelleğe alarak kurumların LLM maliyetlerini düşürür ve yanıt hızını artırır
- Semantik önbellekleme stratejisiyle benzer veya ilişkili sorguları bularak önbellek isabet oranını yükseltir
- Gömme algoritmalarıyla sorguları embedding'lere dönüştürür ve vektör deposu üzerinden bu embedding'ler için ilişkili arama yapar
- LLM Adapter: OpenAI ChatGPT ve LangChain desteği (Bard/Anthropic/LLaMA vb. için de destek planlanıyor)
- MultiModal Adapter: OpenAI Image Create, OpenAI Audio Transribe, HuggingFace Stable Diffusion
- Embedding Generator: OpenAI, ONNX, HuggingFace, Cohere, fastText, SentenceTransformers
- Cache Storage: SQLite, PostgreSQL, MySQL, SQLServer,..
- Vector Store: Mulvus, Zilliz Cloud, FAISS, Hnswlib
- Cache Manager: LRU, FIFO
Henüz yorum yok.