- LiteLLM’e benzer hafif bir yapay zeka ağ geçidi; Go tekil binary olarak geldiği için container imajı hafif ve cold start süresi hızlı
- OpenAI, Anthropic, Gemini, Groq, xAI dahil 11 sağlayıcıyı tek bir OpenAI uyumlu API altında birleştiriyor
- Tek bir Docker container’ına yalnızca API anahtarlarını ortam değişkeni olarak vermek yeterli; sağlayıcıyı otomatik algılayarak anında kullanılabiliyor
/v1/chat/completions (streaming), /v1/responses, /v1/embeddings, /v1/models, /v1/files, /v1/batches gibi OpenAI API’nin tüm endpoint’leri destekleniyor- Yerel API pass-through için
/p/{provider}/... da sunuluyor; böylece upstream yanıtı olduğu gibi iletiliyor (ağ geçidinin desteklemediği özellikler de doğrudan kullanılabiliyor)
- Dahili 2 katmanlı yanıt önbelleği
- Katman 1: istek gövdesi hash’ine dayalı tam eşleşme önbelleği (sub-milisaniye sorgulama)
- Katman 2: embedding vektörü KNN aramasına dayalı anlamsal önbellek (yüksek tekrar eden iş yüklerinde %60~70 isabet oranı)
- Vektör backend’i olarak Qdrant, pgvector, Pinecone, Weaviate destekleniyor
- Dahili yönetim dashboard UI ile token kullanımı, maliyet takibi, denetim günlükleri, sağlayıcı durumu, model override gibi bilgiler görülebiliyor
- Prometheus metrikleri, denetim günlüğü ve guardrail pipeline gibi gözlemlenebilirlik özellikleri dahili olarak geliyor (her biri ortam değişkeniyle etkinleştiriliyor)
- API kimlik doğrulaması için
GOMODEL_MASTER_KEY kullanılıyor; storage backend olarak SQLite, PostgreSQL veya MongoDB seçilebiliyor
- Aynı sağlayıcının birden fazla instance kaydı da sonekli ortam değişkenleriyle destekleniyor (ör.
OPENAI_EAST_API_KEY)
- Storage backend olarak SQLite (varsayılan), PostgreSQL ve MongoDB seçilebildiği için küçük ölçekli kullanımda kurulumdan hemen sonra çalışıyor, büyük ölçekte ise yalnızca veritabanını değiştirerek ölçeklenebiliyor
- 0.2.0 yol haritası: akıllı yönlendirme, DeepSeek V3 ve Cohere eklenmesi, user_path bazlı bütçe yönetimi, cluster modu vb. planlanıyor
- MIT lisansı
Henüz yorum yok.