LLMLingua-2'nin TypeScript uygulaması

Microsoft tarafından geliştirilen "LLM tabanlı genel amaçlı istem sıkıştırıcısı" LLMLingua'yı daha çeşitli ortamlarda kullanılabilir kılmak için Python'dan TypeScript'e taşıyan açık kaynak proje.

LLMLingua nedir?

• GeekNews: "Microsoft LLMLingua - çıkarımı hızlandırmak ve maliyeti azaltmak için istemleri sıkıştırma"
• LLMLingua-2 ana sayfası
• Şu anda Python dili için resmi uygulama olarak dağıtılıyor.

LLMLingua-2'nin TypeScript uygulaması

• İstem sıkıştırma demosu (GitHub Pages)
  • JavaScript + React + Vite
  • Demoyu denemek için gereksinim: WebGPU destekleyen bir tarayıcı gerekli (Windows/macOS üzerinde Google Chrome vb.)
• Kaynak kodu: GitHub ve HuggingFace üzerinden incelenebilir
• Paket (npm): npm install @atjsh/llmlingua-2

Öne çıkanlar

• Python ile yazılmış LLMLingua-2 hattını saf TypeScript'e taşıyor
• Uygulamada kullanılan kütüphaneler: js-tiktoken, transformer.js ve TensorFlow.js
• Node.js desteği için ek geliştirme sürüyor (şu anda hemen test etmek mümkün)
• MIT lisanslı açık kaynak

Hâlâ çok erken aşamada

• use_context_level_filter, return_word_label gibi bazı özellikler henüz uygulanmamış durumda
• Temel özellik olan istem sıkıştırma işlevinde bile, orijinal LLMLingua-2'ye kıyasla hatalı uygulanmış kısımlar bulunabilir...