4 puan yazan minsoo010 19 일 전 | 2 yorum | WhatsApp'ta paylaş

Şu anda Expo + React Native ile bir uygulama geliştiriyorum ve Gemma-4-E2B-it modelini doğrudan telefona kurup cihaz üzerinde çalıştırmak istiyorum.

Araştırınca aşağıdaki gibi seçenekler var gibi görünüyor, ancak pratikte hangi yaklaşımın daha yaygın kullanıldığını pek kestiremiyorum.

  • llama.rn
  • llama.cpp
  • GGUF
  • LiteRT / AI Edge
  • MLC LLM

Yapmak istediğim şeyler kısaca şöyle:

  • uygulama içinden model indirme/kurma
  • yerel çıkarım (mümkünse tamamen çevrimdışı)
  • Expo/RN uygulamasının içinde kullanma

Şu anda en yaygın kullanılan runtime/kütüphane hangisi?
Uygulamış olan varsa, mimari, örnek repo ya da deneyim paylaşırsa gerçekten çok sevinirim.

2 yorum

 
ysahn0 18 일 전

Benzer bir PoC'yi Flutter ile yürütmüştüm. Öncelikle LiteRT-lm ile çalışmıştım ve https://github.com/google-ai-edge/gallery deposunu çok referans almıştım.

 
minsoo010 18 일 전

Aha, anladım. Ben de Google Edge Gallery'yi kurup çeşitli şeyler denemiştim; buna da göz atacağım, teşekkürler!