Google AI Edge Gallery - Tamamen çevrimdışı LLM galeri uygulaması açık kaynak oldu

 (github.com/google-ai-edge)
21 puan yazan xguru 24 일 전 | 2 yorum | WhatsApp'ta paylaş
  • Cihaz üstü üretken yapay zeka çalıştırmaya özel iOS/Android uygulaması; internet bağlantısı olmadan tamamen çevrimdışı ve gizli bir ortamda LLM çalıştırır
  • Gemma 4 ailesi için resmi destek eklendi - sunucuya veri göndermeden gelişmiş muhakeme, mantık ve yaratıcılık yetenekleri test edilebilir
  • Agent Skills: LLM ile sohbet etmenin ötesine geçip onu proaktif bir asistana dönüştürme
    • Wikipedia gerçek bilgi arama, etkileşimli harita, görsel özet kartları gibi araçlarla LLM yeteneklerini genişletme
    • URL'den modüler yetenek yükleme ve GitHub Discussions topluluk yeteneklerini keşfetme desteği
  • Thinking Mode: AI sohbeti sırasında modelin adım adım muhakeme süreci görsel olarak izlenebilir (şu anda yalnızca Gemma 4 ailesi gibi desteklenen modellerde)
  • Ask Image: kamera ve fotoğraf galerisiyle çok modlu nesne tanıma, görsel bulmaca ve ayrıntılı açıklama üretimi
  • Audio Scribe: cihaz üstü modelle sesi gerçek zamanlı olarak yazıya dökme ve çeviri
  • Prompt Lab: temperature, top-k gibi parametreleri ayrıntılı biçimde ayarlayarak prompt test etmeye yönelik özel çalışma alanı
  • Mobile Actions : FunctionGemma 270m ince ayarlı model tabanlı çevrimdışı cihaz kontrol otomasyonu
  • Tiny Garden : doğal dil mini oyunu
  • Model Management & Benchmark: açık kaynak modelleri indirme, özel model yükleme ve donanıma göre benchmark testi desteği
  • LiteRT hafif runtime + Hugging Face entegrasyonu ile model keşfi ve optimizasyon çalıştırma
  • Android 12+, iOS 17+ desteklenir / Google Play , App Store üzerinden kurulabilir / Google Play'e erişilemeyen ortamlarda GitHub sürümlerinden APK'yi doğrudan yüklemek de mümkün
  • Lisans: Apache-2.0 / Geliştirme dili: Kotlin

İlgili okumalar

2 yorum

 
lastorder 23 일 전

https://github.com/google-ai-edge/gallery/issues/437

Görünüşe göre Exynos uyumluluğu pek iyi değil. Galaxy Quantum 5'te (A55) Çince karakterleri sonsuz şekilde tekrarlayarak yanıt verme sorunu var.
 
GN⁺ 24 일 전
Hacker News yorumları

  • Gerçekten etkileyici bir model. Şu anda Mac'te çalıştırıyorum; artık iPhone'da da yerel olarak çalıştırılabildiğine göre denemem gerekecek
    Bu modeli heretic betiğiyle dealignment (sansürün kaldırılması) için denedim ve gerçekten çok iyi çalıştı. Hatta bunu düzenlemek için doğrudan gemma4-heretical reposunu da oluşturdum
    MLX sürümü olarak da yapılabilir; Mac'te biraz daha hızlı ama Ollama'da çalışmıyor (LM Studio'da mümkün olabilir)
    M4 Macbook Pro 128GB'ta çok iyi çalışıyor, 64GB'ta da muhtemelen rahat çalışır. Bellek daha azsa quantization seviyesini düşürmek gerekiyor
    Ben böyle yerel hizalanmamış modelleri seviyorum. Harici platformlarda sansürlenmek yerine kendi cihazımda özgürce deney yapabiliyorum. Bu da “hassas ama üretken” konuşmaları mümkün kılıyor
    OpenClaw'a bağlamayı denedim ama sorun çıktı. Elbette bu yaklaşım kötüye kullanılabilir, ama iyi niyetli kullanıcıların çok daha fazla olduğunu düşünüyorum

    • Mac'te omlx ile MLX modelleri çalıştırıyorum ve gayet iyi çalışıyor
    • abliterate betiğine baktım ama tam olarak ne yaptığını bilmiyorum. Ne tür konuşmaları mümkün kıldığını merak ediyorum
    • Mac'te kodlama için denedim ama Qwen kadar etkileyici gelmedi. Bazı alanlarda daha iyi olabilir ama henüz emin değilim
    • Henüz agent skills platformunda bir şey geliştirmedim ama oldukça ilginç görünüyor. Android'de sandbox, WebView içinde index.html yüklüyor ve standartlaştırılmış string I/O ile etkileşime giriyor. Gelecekteki uç bilişim ajan sandbox yapısının erken bir hali gibi hissettiriyor
    • Yerel bir LLM ile ne tür “hassas konuşmalar” denemeyi planladığına dair örnek verebilir misin, merak ediyorum

  • Bu uygulama güzel ama E2B modelinin potansiyelini tam göstermiyor
    Ben M3 Pro üzerinde Gemma E2B ile gerçek zamanlı ses ve video yapay zekası yaptım ve bunu /r/LocalLLaMA'de Parlor adıyla paylaştım. Oldukça iyi ilgi gördü
    Ben Macbook'ta çalıştırıyorum ama bu benchmark verilerine göre iPhone 17 Pro'da da rahatlıkla mümkün

    • Parlor gerçekten harika. Üstelik ücretsiz olarak yayımlamış olman da müthiş. Yerel LLM'lerin çok iyi bir kullanım örneği bence

  • Modeli iPhone'da denedim ve oldukça iyi sonuçlar aldım. Buluttaki Gemini kadar iyi değil ama gayet kullanılabilir
    “Mobil eylemler” özelliğiyle el fenerini açmak, haritayı açmak gibi cihaz kontrolü yapılabilmesi ilginç. Siri Shortcuts ile entegre olursa gerçekten çok iyi olur
    Öğretmenler için uygulama geliştiren biri olarak, yerel modellerin yaygınlaşması beni çok sevindiriyor. Gizlilik yasaları nedeniyle istemci tarafında çalıştırma önemli. iOS veya Chrome'da da cihaz üstü model API'leri var ama kalite hâlâ düşük

    • Bana göre bu modelin halüsinasyonu eski dönemlere dönmüş gibi hissettiriyor. Yine de yerelde bu seviyenin çalışabiliyor olması etkileyici. Umarım önümüzdeki yıllarda birkaç yıl öncesinin seviyesindeki modelleri bile yerelde çalıştırmaya devam edebiliriz

  • Bana göre yapay zekanın gerçekçi geleceği sadece iki seçenekten ibaret — yerelde, cihaz üstünde, ücretsiz çalıştırma ya da bulutta yüksek maliyetli hizmet
    İkincisi yalnızca insanların daha pahalı ya da daha yavaş olduğu işler için kullanılacak. Gemma 4 modelleri, iPhone ve macOS'a entegre geleceğin Siri'sinin, yani “Her” filmindeki türden bir asistanın mümkün olabileceğini gösteriyor

    • Neden bulutun daha pahalı olacağını düşündüğünü merak ediyorum. Büyük şirketler çıkarım aşamasında zaten kâr ediyor. Sadece buluta özel donanım daha verimli olur ve telefonda çalıştırmak ise sadece pili tüketir
    • Tüketici cihazlarında ücretsiz modeller çalıştırılabiliyorsa, bulut sağlayıcıları da daha iyi kaliteyi ve ek katma değeri paketleyip sunamaz mı?
    • Üreticinin kontrol ettiği bir telefonda yerel model çalıştırıyor olmak, gerçek anlamda yerel özerklik demek değil
    • Bu, hayalini kurduğun geleceğe giden ilk adım değil
    • “Her”i izleyip de gerçekten böyle bir geleceğin gelmesini isteyip istemediğini samimiyetle sormak isterim

  • İngilizce uygulama sürümünün bağlantısını paylaşıyorum
    iOS için Google AI Edge Gallery
    Android sürümü
    Google'ın Edge projesi için demo uygulaması

  • Modellerin çoğu hâlâ indirilemez durumda. Yakında açılmasını umuyorum

  • App Store web sayfasının sahte gibi göründüğü yönünde soru işaretleri var. Başlıktaki metin pikselli görünüyor, arka plan titriyor ve ikon kalitesi de düşük

    • Aynı ABD sürümü sayfası da tasarım kalitesi açısından zayıf görünüyor. Apple için tasarım artık temel bir güçlü yan değil gibi
    • URL'de /nl/ olduğuna göre bu Hollanda sürümü. Varsayılan App Store ana sayfası biraz daha iyi ama yine de tuhaf
    • Muhtemelen yerelleştirme kalitesi sorunu. Benim iPhone'umda App Store uygulamasıyla açılınca normal görünüyor
    • Firefox'ta bu sorun görünmüyor
    • GrapheneOS üzerindeki Firefox'ta kusursuz render ediliyor

  • iPhone 16 Pro'da Gemma-4-E2B-it modelini test ettim; saniyede yaklaşık 30 token çıktı. Telefon epey ısındı ama performans etkileyiciydi. Bunu kendi uygulamama da eklemeyi planlıyorum

  • Oğlum Android'de 2B modeli kullanmaya başladı. Ucuz bir Motorola telefonda bile iyi çalışıyor ve yabancı dilde okuma-yazma pratiği için kullanıyor. Modelin hafifliği gerçekten şaşırtıcı

  • Yeni modeller gerçekten çok etkileyici. AI Edge Gallery GPU'da çalışıyor ama modern çiplerdeki NPU çok daha hızlı
    Örneğin A16 çipi 35 TOPS'luk bir Neural Engine'e sahip ve GPU tarafı yaklaşık 7 TFLOPS seviyesinde. Qualcomm'da da durum benzer

    • Bu kadar düşük güçlü çiplerde bu seviyede performans görmek şaşırtıcı. M serisi sürümü merakla bekliyorum. Masaüstü ve telefonlarda ultra hızlı TPU dönemi yakında gelecek gibi