LocalAI - Kendi Kendine Barındırılabilen OpenAI Uyumlu API

• OpenAI ile uyumlu REST API sayesinde çeşitli LLM'ler kullanılabiliyor
• GPU olmadan da çalışabiliyor. llama.cpp uyumlu LLM'lerde GPU hızlandırma desteği sunuyor
• Çoklu model desteği sunuyor; ses transkripsiyonu, metin üretimi ve görüntü üretimini (Stable Diffusion) destekliyor
• Bir kez yüklendikten sonra modeli bellekte tutarak hızlı çıkarım sağlıyor
• Tüm ggml uyumlu modelleri destekliyor: llama, gpt4all, rwkv, whisper, vicuna, koala, gpt4all-j, cerebras, falcon, dolly, starcoder,..