Google Gemma 4, iPhone’da tamamen çevrimdışı yapay zeka çıkarımını destekliyor

 (gizmoweek.com)
3 puan yazan GN⁺ 14 일 전 | 1 yorum | WhatsApp'ta paylaş
  • Google’ın açık kaynak modeli Gemma 4, iPhone’da internet bağlantısı olmadan yerel olarak çalışarak tamamen çevrimdışı çıkarım gerçekleştirebiliyor
  • Gemma 4’ün 31B modeli, Qwen 3.5’in 27B modeliyle benzer performans gösterirken yaklaşık 4 milyar daha fazla parametreye sahip
  • E2B·E4B varyantları, hız ve ısınma kontrolü için optimize edilmiş mobil modeller olarak öne çıkıyor; Google uygulaması varsayılan olarak E2B kullanımını öneriyor
  • Kullanıcılar Google AI Edge Gallery uygulaması üzerinden model seçip API veya bulut olmadan cihaz içinde çıkarım çalıştırabiliyor
  • Bu çalışma, cihaz üstü yapay zekaya geçişin gerçeğe dönüştüğünü gösterirken, edge AI ekosisteminin genişlemesi açısından önemli bir dönüm noktası olarak değerlendiriliyor

iPhone’da Google Gemma 4’ün cihaz üstü çalıştırılması

  • Google’ın açık kaynak modeli Gemma 4, iPhone’da tamamen çevrimdışı çıkarımı destekliyor ve yerel olarak çalışıyor
    • İnternet bağlantısı olmadan yerel çıkarım yapılabiliyor
    • Edge AI dağıtımı, geleceğe ait bir hedef olmaktan çıkıp şu anda gerçekleşen bir teknik gerçekliğe dönüşüyor
  • Performans karşılaştırmasında, Gemma 4’ün 31B varyantı Qwen 3.5’in 27B modeliyle benzer seviyede değerlendiriliyor
    • Gemma, yaklaşık 4 milyar daha fazla parametreye sahip
    • Her iki modelin de göreve göre farklı güçlü yönleri bulunduğundan mutlak bir üstünlük yok
  • Mobil için optimize edilmiş modeller olan E2B ve E4B varyantları dikkat çekiyor
    • Verimliliğe odaklanarak hız, hafiflik ve ısınma kontrolü açısından avantaj sağlıyorlar
    • Google’ın uygulaması varsayılan olarak E2B kullanımını öneriyor
  • Google AI Edge Gallery uygulaması App Store’dan indirilip hemen çalıştırılabiliyor
    • Kullanıcılar model varyantını seçerek doğrudan cihaz üzerinde çıkarım yapabiliyor
    • API çağrısı veya bulut bağımlılığı yok
  • Uygulama, basit bir metin arayüzünün ötesinde görüntü tanıma, sesli etkileşim ve genişletilebilir Skills çerçevesi içeriyor
    • Cihaz üstü yapay zeka deney platformu olarak tasarlandığı için geliştiriciler ve ileri düzey kullanıcılar tarafından kullanılabiliyor

Teknik yapı ve performans

  • Gemma 4, iPhone’un GPU’su üzerinden çıkarım yolunu kullanıyor
    • Çok düşük yanıt gecikmesiyle tüketici donanımında da yüksek performanslı yapay zeka iş yüklerinin işlenebileceğini kanıtlıyor
    • Yerel yapay zeka dağıtımının ticarileşme potansiyelini gösteren önemli bir örnek olarak değerlendiriliyor
  • Çevrimdışı işlevler, kurumsal ortamlardaki kullanım alanını büyük ölçüde genişletiyor
    • Saha çalışmaları, sağlık ortamları ve veri gizliliğinin kritik olduğu alanlarda buluta bağımlı olmadan kullanılabiliyor

Anlamı ve gelecek perspektifi

  • Gemma 4’ün iPhone’da çalıştırılması, basit bir teknik gösteri değil; cihaz üstü yapay zeka çağının gelişini simgeliyor
    • Google, Gemma aracılığıyla edge AI ekosistemini genişletmeyi ciddi biçimde hızlandırıyor
    • “Gemma artık şişeden çıktı” ifadesinde olduğu gibi, yapay zekanın yerelleşmesine yönelik dönüşüm zaten başlamış durumda

İlgili okumalar

1 yorum

 
GN⁺ 14 일 전
Hacker News yorumları

  • Yazının üslubu sanki bir LLM yazmış gibi hissettirmiş
    “It’s not mere X — it’s Y” gibi kalıpların birkaç kez tekrarlandığı söylenmiş

    • “gizmoweek dot com”un ahlaki standartlarını sorgulama fikriyle dalga geçen bir şaka yapılmış
    • Yazarı insan ya da LLM olsun fark etmez denmiş; asıl sorunun ayrıntı eksikliği olduğu vurgulanmış. iPhone model benchmark’ları yok ve içerik neredeyse boş denmiş
    • Claude, Grok ve başka modellerle kontrol edildiği, bunların kaynak eksikliği ve tekrarlayan cümleler gibi content farm’a özgü sorunları işaret ettiği söylenmiş. Hatta yazarın gerçek bir kişi olduğu bile doğrulanamamış
    • “:v” emojisini görünce uzun zaman sonra bir milenyuma mensup biriyle karşılaşmış gibi sevinen bir yorum yapılmış
    • Yapay zekanın belirli dil kalıplarından kaçınmamız için bizi eğitiyormuş gibi hissettirdiği söylenmiş. Zayıf anlatımın rehinesi olmak istenmediği ifade edilmiş

  • Çıkarımın Apple Neural Engine yerine GPU üzerinden yapıldığı fark edilmiş
    Google mühendislerinin Apple’ın özel tensor blokları için custom kernel derlemeyi bırakmış olabileceği söylenmiş. Metal taşımayı kolaylaştırıyor ama bataryayı fazla tüketiyor. ANE backend’i yeniden yazılana kadar bunun ancak basit bir teknik demo olduğu yorumu yapılmış

    • ANE’nin LLM çalıştırmak için pratikte pek uygun olmadığı söylenmiş. LLM ekosistemi CPU/GPU merkezli standartlaşmış durumda ve Apple’ın MLX’inde bile ANE desteği yok
    • Birkaç ay sonra WWDC’de CoreML’in yerini alacak Core AI framework’ünün duyurulacağı beklentisi, 9to5mac makalesine atıfla dile getirilmiş
    • ANE’nin verimli çalışması için en az 128 vektörlük gruplama gerektiği söylenmiş. Token üretiminde verimsiz olsa da Flash-MoE ve DFlash gibi yeni teknikler sayesinde eskisine göre daha umutlu olunduğu belirtilmiş
    • Güç tüketiminin kabul edilebilir olduğu ama 24/7 arka planda dinleme gibi özelliklerin mahremiyet kontrolü nedeniyle hoş karşılanmadığı söylenmiş
    • Android’deki AI Edge Gallery uygulamasının da yalnızca GPU kullandığı belirtilmiş. Sorunun Apple’ın tensor bloklarından çok, Google’ın genel olarak yeterince önem vermemesi olabileceği söylenmiş

  • Gemma 4 ile çevrimdışı bir kodlama uygulaması (pucky) yapılıp iPhone’da çalıştırılmış
    GitHub bağlantısına bakılması önerilmiş. 4B modelin de çalıştığı ama bellek kısıtları nedeniyle varsayılanın 2B olduğu belirtilmiş. TypeScript tek dosya üretilip oxc ile derleniyor. App Store incelemesinden geçmesi zor olduğu için Xcode ile doğrudan derlemek gerekiyor

    • Önceki HN başlığına bakılması önerilerek, React Native yerine Swift’e geçmenin düşünülebileceği söylenmiş

  • Apple’ın App Store’da yerel LLM’leri kısıtlıyor gibi göründüğü söylenmiş. Uygulamayı doğrudan dağıtmaya çalışırken 2.5.2 maddesine takıldığı belirtilmiş

    • Apple’ın LLM’lerle ilgili kuralları giderek daha da sıkılaştıracağı öngörülmüş. Kullanıcılar kendi uygulamalarını yapabilirse Apple’ın iş modelinin tehdit altına gireceği söylenmiş
    • Ancak kuralların tutarlı olmadığı da eklenmiş. Yorum sahibinin telefonunda Google Edge Gallery ve Locally AI zaten sorunsuz çalışıyormuş
    • App Store yönergesi 2.5.2’nin tam metni alıntılanarak, yerel LLM’lerin buna neden takıldığının belirsiz olduğu söylenmiş
    • Kendi uygulamasının ANE için optimize edilmiş bir LLM içerdiği, tamamen çevrimdışı çalıştığı ve incelemeden de bir günde geçtiği söylenmiş. Apple’ın amacının AI spam uygulamalarını elemek olabileceği değerlendirilmiş. MacRumors yazısı da anılmış
    • Cactus Compute ile ilgili uygulamaların da aynı sorunu yaşayıp yaşamadığı sorulmuş

  • İlgili başlık olarak Gemma 4 on iPhone paylaşılmış

  • iPhone 16 Plus’ta hızın çok yüksek olduğu, ancak uzun mesajlarda keskin şekilde düştüğü söylenmiş. Bunun termal throttling kaynaklı olmadığı belirtilmiş. Tanılama verilerinin görülmek istendiği eklenmiş

    • LLM çıkarımının O(tokens²) karmaşıklığına sahip olduğu, bu yüzden uzunluk arttıkça yavaşlamasının doğal olduğu söylenmiş

  • Gemma 4 içeren Edge Gallery iOS uygulaması beklense de, intents erişim kısıtları ve web araması için özel eklenti gereksinimi nedeniyle kullanımın can sıkıcı olduğu söylenmiş. ChatMCP’nin API tabanlı olduğu için nispeten işe yaradığı belirtilmiş

  • iPhone 16 Pro’ya Google AI Edge Gallery kurulup benchmark çalıştırılmış
    GPU üzerinde Prefill 231t/s, Decode 16t/s, ilk token’a kadar 1.16 saniye ve başlatma süresi 20 saniye sonucu paylaşılmış

  • Küçük modeller kullanılırken dikkatli olunması gerektiği söylenmiş
    “Bir köpek avokado yiyebilir mi?” sorusuna modelin kendinden emin şekilde ‘Yes’ dediği aktarılmış. Modelin sınırlarının bilinmesi gerektiği vurgulanmış

    • “Teknik olarak yiyebilir tabii…” diye şaka yollu bir yanıt verilmiş

  • Çevrimdışı olsa bile Google’ın girdi verilerini veya cihaz bilgilerini toplayabileceğinden şüphe edilmiş

    • GitHub kaynağına bakıldığında mesaj içeriklerinin toplanmadığı ama model kullanım istatistiklerinin kaydedildiği söylenmiş
    • Google’ın şirket içi eğitim materyallerinde veri toplamanın mahremiyet sorunlarını anlatmak için kurgusal “gShoe” ürünü örnek verildiğine dair eğlenceli bir anekdot paylaşılmış
    • Apple’ın Google’a 1 milyar dolar ödediği ve on-device yapay zeka stratejisini ilerlettiği, bunun da söz konusu yaklaşımın ön gösterimi olabileceği belirtilmiş