LiteRT-LM-Unity - LiteRT-LM için Unity Android sarmalayıcısı

Android üzerinde cihaz içi LLM geliştiriyorum.

Daha önce whisper.cpp kullanıyordum, ancak GPU hızlandırması olmadığı için hız konusunda bir eksiklik hissediyordum.
LiteRT-LM yayımlandıktan sonra, özellikle MTP de uygulanınca hızın oldukça iyi olduğuna karar verip portlama çalışmasına başladım
ve tatmin edici sonuçlar elde ettim.

Ayrıca LiteRT Community'de yayımlanan çeşitli modeller için benchmark sonuçlarını da çalıştırdım.

Belki birilerine faydası olur diye paylaşıyorum

[wedding]

Parakeet ASR desteği uygulanmış durumda ve Whisper ASR desteği üzerinde çalışılıyor.