Intel, NPU hızlandırma kütüphanesini yayınladı

Intel® NPU Hızlandırma Kütüphanesi: Intel sinirsel işlem birimiyle yapay zeka performansını artırma

• Intel NPU Hızlandırma Kütüphanesi, yapay zeka uygulamalarının verimliliğini artırmak için Intel sinirsel işleme biriminin (NPU) gücünden yararlanan bir Python kütüphanesidir. En iyi performans ve güç verimliliği için hesaplama ve veri akışını verimli biçimde yönlendirir, hesaplama kullanımını en üst düzeye çıkarır ve veri aktarımını en aza indirerek yapay zeka iş yüklerini optimize eder.

• Kütüphane, NPU ile hesaplama hızlandırma ve veri aktarım özelliklerini birleştiren Intel Core Ultra işlemciler için tasarlanmıştır. Yapay zeka işlemleri için Neural Compute Engine, genel hesaplama görevleri için Streaming Hybrid Architecture Vector Engine ve verimli veri aktarımı için DMA Engine öne çıkan bileşenleridir.

• Geliştirmenin başlıca özellikleri arasında 8 bit ve 4 bit kuantizasyon, NPU yerel mixed-precision inference, Float16 ve BFloat16 desteği, torch.com dosya desteği, LLM MLP yatay füzyon uygulaması, statik şekil çıkarımı, MHA NPU çıkarımı ve NPU/GPU heterojen hesaplama yer alıyor.

• Kütüphaneyi kullanmak için sisteminizde kullanılabilir bir NPU bulunduğunu doğrulayın ve paketi pip ile kurun. Windows ve Linux sistemleriyle uyumludur, ancak MacOS henüz desteklenmemektedir. En iyi performans için NPU sürücüsünü en güncel sürüme yükseltin.

• Kütüphane, uygulanmış örnekler sunar ve NPU için PyTorch modellerini optimize etmeye yönelik torch.com dosyalarını destekler. Ayrıca, 2.0.0 altı PyTorch sürümlerini kullanırken veya Windows ortamında model derlerken açık işlevler sağlar.

[kuroneko]

Harici ekran kartı olmasa da yalnızca NPU ile yapay zeka hesaplamalarının ne kadar mümkün olacağını görmek heyecan verici.