Lanarky - LLM'leri prodüksiyona dağıtmak için açık kaynak bir framework
(github.com/ajndkr)- FastAPI tabanlı
- Çok modlu token streaming
- Hızlı prototipleme için basit bir gradio chatbot
- LangChain uygulama desteği
- Birden fazla LLM caching stratejisi
- Yakında desteklenecekler: LlamaIndex, Guidance, Rebuff desteği ve SQL DB entegrasyonu
Henüz yorum yok.