tiktoken - OpenAI'nin Tokenizer'ı
(github.com/openai)- OpenAI'nin modelleriyle kullanmak için hızlı bir BPE (Byte pair encoding) Tokenizer
- Mevcut Tokenizer'lara (Huggingface) kıyasla 3-6 kat daha hızlı
- PyPI üzerinden kurulabilir
- Python + Rust açık kaynak
Henüz yorum yok.