ExecuTorch Alpha: Topluluk iş birliğiyle büyük dil modelleri ve yapay zekanın edge dağıtımını güçlendirme

• PyTorch, büyük dil modellerini (LLM) ve büyük ML modellerini edge cihazlara dağıtmaya, API'leri kararlı hale getirmeye ve kurulum sürecini güçlendirmeye odaklanan ExecuTorch Alpha'yı tanıtıyor.

• ExecuTorch Alpha, Meta'nın Llama 2'si için destek ve Llama 3 için erken destek sunarak bu LLM'lerin iPhone, Samsung Galaxy telefonlar gibi edge cihazlarda verimli şekilde çalışmasını sağlıyor.

• Kısıtlı edge cihazlarda performansı optimize etmek için ExecuTorch Alpha, nicemleme tekniklerini kullanıyor ve geniş CPU cihaz desteği için XNNPack'in dinamik şekil desteği ile yeni dtype'lardan yararlanıyor.

• ExecuTorch SDK, geliştirilmiş hata ayıklama ve profilleme araçları sunarak geliştiricilerin operatör düğümlerini yeniden özgün Python kaynak koduna eşlemesine, böylece verimli sorun giderme ve performans ayarı yapmasına olanak tanıyor.

• Arm, Apple, Qualcomm Technologies, Google, Unity ve Meta gibi iş ortaklarıyla yapılan iş birliği, Meta'nın bunu halihazırda el takibi ve cihaz üzerindeki çeşitli modeller için kullandığı ExecuTorch'u geliştirmede önemli rol oynadı.