- PyTorch LLM'lerini yerelde çalıştırmayı mümkün kılan küçük bir kod tabanı (sunucu, masaüstü, mobil)
- Python kullanarak LLM'leri kendi (C/C++) uygulamalarınızda (masaüstü veya sunucu) ve iOS ile Android'de çalıştırma
- Llama 3/2, Mistral gibi popüler LLM'lerle komut satırı etkileşimi
- Popüler donanım ve işletim sistemi desteği: Linux(x86), Mac OS(M1/M2/M3), Android(XNNPACK destekli cihazlar), iOS 17+ (iPhone 13 Pro+)
- Çeşitli veri türleri: float32, float16, bfloat16
- Çeşitli nicemleme (Quantization) şemaları desteği
- Çoklu çalışma modu: Python (Eager, derlenmiş) veya yerel (AOT Inductor (AOTI), ExecuTorch)
Henüz yorum yok.