Web LLM - WebGPU ile tarayıcıda LLM’leri hızlandırarak çalıştırma
(github.com/mlc-ai)- Sunucu olmadan tarayıcıda LLaMA, Vicuna gibi LLM’leri WASM kullanarak çalıştırma
- WebGPU ile hızlandırır; ayrıca Apache TVM’in desteklediği GPU backend’lerini de destekler (CUDA, OpenCL, Vulkan)
- MLC (Machine Learning Compilation) teknolojisini kullanır
Henüz yorum yok.