IPEX-LLM - LLM'leri Intel CPU/GPU üzerinde çalıştırmak için PyTorch kütüphanesi
(github.com/intel-analytics)- Intel Extension for PyTorch (IPEX) tabanlı
- 50'den fazla model için optimize edildi/doğrulandı (LLaMA2, Mistral, Gemma, LLaVa, Whisper vb.)
- Yerel iGPU veya Arc/Flex/Max gibi dağıtık GPU'larda düşük gecikmeyle çalışır
llama.cpp, HuggingFace, LangChain, LlamaIndex vb. ile iyi entegre olur
Henüz yorum yok.