KubeAI - Kubernetes üzerinde Private AI çalıştırma
(github.com/substratusai)- OpenAI ile uyumlu HTTP API sağlar
- Yüke dayalı otomatik ölçeklendirme
- Açık kaynak LLM'leri CPU/GPU tabanlı olarak servis edebilir
- Sıfır bağımlılık (Istio, Knative vb.)
- Yerleşik Chat UI
Henüz yorum yok.