llama-tokenizer-js - Tarayıcıda çalışan LLaMA tokenizer
(github.com/belladoreai)- İstemci tarafında tokenları doğru şekilde hesaplamak için kullanılabilir
- Hiç bağımlılığı olmayan tek bir dosya olarak kolayca kullanılabilir
- LLaMA tabanlı modellerin çoğuyla uyumlu
- Yaklaşık 2 bin tokenı 20 ms içinde tokenize edebilir
Henüz yorum yok.