Şu anda Expo + React Native ile bir uygulama geliştiriyorum ve Gemma-4-E2B-it modelini doğrudan telefona kurup cihaz üzerinde çalıştırmak istiyorum.
Araştırınca aşağıdaki gibi seçenekler var gibi görünüyor, ancak pratikte hangi yaklaşımın daha yaygın kullanıldığını pek kestiremiyorum.
- llama.rn
- llama.cpp
- GGUF
- LiteRT / AI Edge
- MLC LLM
Yapmak istediğim şeyler kısaca şöyle:
- uygulama içinden model indirme/kurma
- yerel çıkarım (mümkünse tamamen çevrimdışı)
- Expo/RN uygulamasının içinde kullanma
Şu anda en yaygın kullanılan runtime/kütüphane hangisi?
Uygulamış olan varsa, mimari, örnek repo ya da deneyim paylaşırsa gerçekten çok sevinirim.
2 yorum
Benzer bir PoC'yi Flutter ile yürütmüştüm. Öncelikle LiteRT-lm ile çalışmıştım ve https://github.com/google-ai-edge/gallery deposunu çok referans almıştım.
Aha, anladım. Ben de Google Edge Gallery'yi kurup çeşitli şeyler denemiştim; buna da göz atacağım, teşekkürler!