Cafe24, LLM Router’ı duyurdu
(llm-router.cafe24.com)- Claude, Gemini, Qwen, Llama, DeepSeek gibi 100’den fazla modeli tek bir endpoint üzerinden çağıran birleşik LLM altyapısı
- Sağlayıcıya göre değişen API spesifikasyonlarını, yeniden deneme mantığını ve streaming formatlarını ayrı ayrı öğrenip sürdürme ihtiyacını ortadan kaldıran OpenAI uyumlu tek API sunuyor
- Auto Router, prompt’u analiz ederek kodlama/akıl yürütme/çeviri/yaratıcı üretim türlerini ayırt ediyor ve maliyet açısından en uygun modeli otomatik seçiyor
- Örnek: "React infinite scroll kodu oluştur" → kodlama algılandı → claude-sonnet-4-6
- Auto Fallback, kesinti veya timeout durumunda önceden tanımlı alternatif rotaya anında geçiyor; başarısız çağrılar faturalandırılmıyor (ZCI)
- Örnek: qwen3-72b → llama-3.3-70b → deepseek-v3
- Provider Routing ile maliyet, hız ve throughput ölçütlerine göre sağlayıcı önceliği belirlenebiliyor
- BYOK (Bring Your Own Key) modu sayesinde mevcut OpenAI/Anthropic/Google anahtarlarınızı doğrudan kaydedip maliyeti doğrudan kontrol edebiliyorsunuz
- Semantic Cache ile benzer sorularda LLM çağrısı tamamen atlanarak token maliyeti düşürülüyor, yanıtlar milisaniye düzeyinde dönüyor
- Preset özelliğiyle Primary model, System Prompt, Sampling ve çok aşamalı Fallback zinciri birlikte kaydediliyor; çağrı tek satırda kalırken ayarlar konsoldan yönetiliyor ve kodu yeniden dağıtma ihtiyacı SIFIR oluyor
- Privacy & yönetişim kapsamında loglarda ve modele aktarılan verilerdeki hassas bilgilerin (PII) otomatik maskelenmesi destekleniyor
- Realtime Dashboard üzerinde istek, maliyet ve token eğilimleri; model bazlı maliyet dağılımı; başarı/başarısızlık oranı ve istek bazında ayrıntılı loglar görülebiliyor
- Playground içinde kod yazmadan model bazında yanıt kalitesi, hız ve maliyet anında karşılaştırılabiliyor
- Taahhüt veya abonelik gerektirmeyen kredi bazlı kullandıkça öde modeli, aylık 0 TL temel ücret, kayıt olur olmaz ücretsiz kredi, KRW bazlı faturalandırma ve vergi faturası desteği
Henüz yorum yok.