GoModel - Go ile yazılmış yüksek performanslı yapay zeka ağ geçidi

 (github.com/ENTERPILOT)
8 puan yazan xguru 2026-04-30 | 1 yorum | WhatsApp'ta paylaş
  • LiteLLM'e benzer hafif bir yapay zeka ağ geçidi; Go tekil binary'si sayesinde container imajı hafif ve cold start süresi hızlı
  • OpenAI, Anthropic, Gemini, Groq, xAI dahil 11 sağlayıcıyı tek bir OpenAI uyumlu API altında birleştirir
  • Tek bir Docker container'ında yalnızca API anahtarlarını ortam değişkeni olarak vererek sağlayıcıları otomatik algılama ile hemen kullanılabilir
  • /v1/chat/completions (streaming), /v1/responses, /v1/embeddings, /v1/models, /v1/files, /v1/batches dahil OpenAI API'nin tüm endpoint'lerini destekler
  • Native API passthrough için /p/{provider}/... da sunar; böylece upstream yanıtları olduğu gibi iletir (ağ geçidinin desteklemediği özellikler de doğrudan kullanılabilir)
  • 2 katmanlı yanıt önbelleği yerleşik olarak gelir
    • Katman 1: istek gövdesi hash'ine dayalı tam eşleşme önbelleği (sub-milisaniye sorgulama)
    • Katman 2: embedding vektörü KNN aramasına dayalı semantik önbellek (yüksek tekrar eden iş yüklerinde %60~70 isabet oranı)
    • Vektör backend'i olarak Qdrant, pgvector, Pinecone, Weaviate desteklenir
  • Yerleşik yönetim dashboard UI ile token kullanımı, maliyet takibi, denetim günlükleri, sağlayıcı durumu, model override'ları gibi bilgiler görülebilir
  • Prometheus metrikleri, denetim loglaması, guardrail pipeline gibi gözlemlenebilirlik özellikleri yerleşik gelir (her biri ortam değişkeniyle etkinleştirilebilir)
  • API kimlik doğrulaması için GOMODEL_MASTER_KEY kullanır; depolama backend'i olarak SQLite, PostgreSQL veya MongoDB seçilebilir
  • Aynı sağlayıcının birden fazla instance'ının kaydı da sonekli ortam değişkenleriyle desteklenir (ör. OPENAI_EAST_API_KEY)
  • Depolama backend'i olarak SQLite (varsayılan), PostgreSQL ve MongoDB arasında seçim yapılabildiğinden küçük ölçekli kurulumlarda anında kullanılabilir, büyük ölçekte ise yalnızca veritabanını değiştirerek genişleyebilir
  • 0.2.0 yol haritasında akıllı yönlendirme, DeepSeek V3 ve Cohere eklenmesi, user_path bazlı bütçe yönetimi, cluster mode gibi özellikler planlanıyor
  • MIT lisansı

İlgili okumalar

1 yorum

 
xguru 2026-04-30

LiteLLM’i kullanmayı düşünen şirketlerin, bunu hafif bir alternatif olarak bir kez değerlendirmesinde fayda var gibi görünüyor.

Python tabanlı LiteLLM daha önce bir kez tedarik zinciri saldırısına uğramıştı; bu yüzden Go’nun nispeten daha güvenli göründüğü gibi bir etki de var.