OpenLLM - LLM’leri prodüksiyonda çalıştırmak için açık platform
(github.com/bentoml)- Çeşitli LLM türlerini destekleyerek çıkarım ve dağıtım olanağı sağlar
- StableLM, Falcon, DOlly, Flan-T5, ChatGLM, StarCoder,..
- Tek bir komutla LLM’leri RESTful API veya gRPC olarak servis eder
- WebUI, CLI, Python/Javascript istemcisi veya herhangi bir HTTP istemcisinden çağrılabilir
- LangChain, BentoML, HuggingFace desteği yerleşik olarak sunulur
- LLM fine-tuning desteği yakında eklenecek
Henüz yorum yok.