Basaran - OpenAI Text Completion API için açık kaynaklı bir alternatif

• Hugging Face Transformer tabanlı metin üretim modelleri için OpenAI uyumlu bir streaming API sunuyor
  • Diğer LLM'leri OpenAI servisi gibi kullanmayı mümkün kılıyor
• Çeşitli decoding stratejileriyle streaming üretim yapılabiliyor
• Hem decoder-only hem de encoder-decoder modelleri destekleniyor
• surrogates ve whitespace destekleyen bir detokenizer içeriyor
• Quantization seçeneği mevcut. Çoklu GPU desteği var
• SSE(Server-Sent Events) kullanarak gerçek zamanlı ilerleme durumu gösterimi