Kiwi: Akıllı Korece biçimbirim çözümleyici (Korean Intelligent Word Identifier)

• Kiwi: Akıllı Korece biçimbirim çözümleyici (Korean Intelligent Word Identifier)
• Hızlı hız ve genel amaçlı performansı hedefleyen bir Korece biçimbirim çözümleyici kütüphanesi
• Hafif bir dil modeli yerleşik olarak gelir; belirsizlik bulunan durumlarda bile biçimbirimleri oldukça isabetli biçimde analiz eder
• C++ ile geliştirilmiştir. Geliştirici bir C++ hayranı.
  • Kütüphane Python, JavaScript, C#, Java, R ve Go için sunuluyor
  • wasm'a derlenerek tarayıcıda çalıştırılabiliyor
• Model üç boyutta sunuluyor: küçük (16MB), orta (40MB) ve büyük (90MB)
• Geliştirme süreci blogda ayrıntılı biçimde yayımlanmış
  • https://bab2min.tistory.com/560
• Kiwi'yi tokenizer olarak kullanan Korece dil modeli eğitimi de etkileyici
  • https://github.com/bab2min/kiwi-farm