Whisper Jax: en hızlı Whisper API uygulaması
(github.com/sanchit-gandhi)- OpenAI'nin Whisper konuşma tanıma modeli optimize edilerek hızlı bir şekilde uygulanmış
- TPU v4-8 üzerinde JAX ile çalışıyor. A100 GPU'da PyTorch ile çalıştırılmasına kıyasla en fazla 70 kat daha hızlı
- CPU/GPU/TPU üzerinde çalışabiliyor ve hem bağımsız hem de inference endpoint olarak çalıştırılabiliyor
Henüz yorum yok.