Whisper.cpp 1.4.0 sürümü yayınlandı
(github.com/ggerganov)- Tamsayı nicemleme (integer quantization) desteği: ggml Whisper modelini varsayılan 16 bit kayan noktalı ağırlıklardan 4, 6, 8 bit tamsayı ağırlıklara dönüştürme imkanı
- Disk boyutunu ve bellek kullanımını azaltarak bazı mimarilerde daha hızlı çalışmayı sağlar
llama.cppprojesine katkı olarak eklenen kod sayesinde mümkün oldu
- cuBLAS kullanılarak NVIDIA GPU desteği
1 yorum
Whisper.cpp - OpenAI Whisper’ın yüksek performanslı C/C++ implementasyonu