- AICI - Artificial Intelligence Controller Interface
- Büyük dil modellerinin (LLM) çıktısını gerçek zamanlı olarak kısıtlayıp yönlendiren denetleyiciler oluşturmayı sağlar
- Denetleyiciler; kısıtlı kod çözme, prompt ve üretilen metnin dinamik olarak düzenlenmesi ve paralel üretimler arasında koordinasyon sağlayabilir
- Denetleyiciler, token bazlı kod çözme sırasında özel mantığı entegre eder ve LLM isteği boyunca durumu korur
- AICI'nin amacı, mevcut ve yeni denetleyici stratejilerini kolayca oluşturup denemeyi mümkün kılmaktır
- Bunu, temel LLM çıkarımı ve sunum motorunun uygulama ayrıntılarını soyutlayarak yapar
- denetleyici geliştirmeyi basitleştirmeyi,
- hızlı denetleyicileri daha kolay yazmayı ve
- LLM çıkarım ve sunum motorları arasında uyumluluğu kolaylaştırmayı hedefler
- AICI, (nihayetinde) çok kiracılı LLM dağıtımları dahil olmak üzere yerel ve bulut çalıştırma için tasarlanmıştır
- Denetleyiciler, GPU token üretimiyle meşgulken CPU'yu kullanan ve LLM çıkarım motoruyla aynı sistemde çalışan hafif WebAssembly (Wasm) modülleri olarak uygulanır
- AICI, çıkarım yığınının bir katmanıdır; Guidance, LMQL gibi kontrol kütüphanelerinin bunun üzerinde çalışmasına ve LLM çıkarım ile servis motorları genelinde taşınabilirlik, verimlilik ve performans artışları elde etmesine olanak verecek şekilde tasarlanmıştır
- AICI
- esnektir: Denetleyiciler, Wasm'a derlenebilen herhangi bir dilde (Rust, C, C++, ...) yazılabilir veya Wasm içinde yorumlanabilir (Python, JavaScript, ...)
- güvenlidir: Denetleyiciler sandbox içinde çalışır; dosya sistemine, ağa veya diğer kaynaklara erişemez
- hızlıdır: Wasm modülleri yerel koda derlenir ve LLM çıkarım motoruyla paralel çalışarak üretim sürecine yalnızca minimum ek yük getirir
- Microsoft Research tarafından tasarlanıp geliştirilen bir prototip
Henüz yorum yok.