liteLLM - 50'den fazla LLM'i destekleyen proxy sunucusu

• /chat/completion API'si, Azure, OpenAI, Replicate, Anthropic, Hugging Face gibi çeşitli LLM'ler için çağrılabilir
• Girdi/çıktı formatını OpenAI formatında birleştirir
• Model fallback desteği sunar (ör.: GPT-4 başarısız olursa llama2 çağrılır)
• Loglama desteği: Supabase, Posthog, Mixpanel, Sentry, Helicone
• Token kullanımını takip eder
• Semantic Caching uygular
• Streaming ve asenkron desteği sunar