BricksLLM - LLM'ler için AI Gateway
(github.com/bricks-cloud)- Go ile yazılmış, cloud-native bir yapay zeka gateway'i
- OpenAI için bir proxy olarak çalışır
- Rate limit, cost limit ve TTL'e sahip API anahtarları oluşturarak OpenAI'nin sunmadığı ayrıntılı erişim kontrolü özelliklerini sağlayabilir
- Hedefi; LLama2, Claude, PaLM2 gibi çeşitli LLM'leri desteklemek ve LLM operasyonlarını sadeleştirmektir
Henüz yorum yok.