13 puan yazan xguru 2023-05-02 | 1 yorum | WhatsApp'ta paylaş
  • Tamsayı nicemleme (integer quantization) desteği: ggml Whisper modelini varsayılan 16 bit kayan noktalı ağırlıklardan 4, 6, 8 bit tamsayı ağırlıklara dönüştürme imkanı
    • Disk boyutunu ve bellek kullanımını azaltarak bazı mimarilerde daha hızlı çalışmayı sağlar
    • llama.cpp projesine katkı olarak eklenen kod sayesinde mümkün oldu
  • cuBLAS kullanılarak NVIDIA GPU desteği