Google LiteRT-LM - Uç cihazlar için yüksek performanslı LLM çıkarım çerçevesi

• Google tarafından geliştirilen üretim seviyesinde bir cihaz üstü LLM çıkarım motoru; Android, iOS, web, masaüstü ve IoT (Raspberry Pi) dahil geniş uç ortamlarında büyük dil modellerini çalıştırabiliyor
• En yeni Gemma 4 model desteği de eklendi; GPU·NPU donanım hızlandırması ile uç cihazlarda bile en iyi çıkarım performansını sunuyor
• Çok modlu destek sayesinde görsel (resim) ve ses girdilerini işleyebiliyor; ayrıca CLI'de --attachment seçeneğiyle görsel ekleyerek çıkarım yapmayı da destekliyor
• Ajanik iş akışları için yerleşik Function Calling (Tool Use)
• Gemma, Llama, Phi-4, Qwen gibi çeşitli LLM modelleriyle uyumlu; tek satırlık bir CLI komutuyla modeli Hugging Face'ten indirip hemen çıkarım yapılabiliyor
  • uv tool install litert-lm → litert-lm run ile anında başlayın
• Chrome, Chromebook Plus, Pixel Watch gibi Google ürünlerinde gerçekten kullanılıyor ve cihaz üstü GenAI çalıştırıyor
• Google AI Edge Gallery uygulaması üzerinden model mobilde anında çalıştırılabiliyor (Google Play ve App Store'da mevcut)
• Dil API'leri: Kotlin (Android/JVM), Python (prototipleme), C++ (yüksek performanslı yerel) için kararlı destek; Swift (iOS/macOS) geliştiriliyor
• Sürüm durumu: en güncel sürüm v0.10.2; v0.10.1'de Gemma 4 ve CLI, v0.8.0'da masaüstü GPU ve çok modlu destek, v0.7.0'da NPU hızlandırması eklendi
• Apache-2.0 lisansı

[picopress]

Çalıştırmak istesem de bellek yok, hüzünlü.

[hmmhmmhm]

Acaba artık iyi çalışıyor mu; daha önce Mac tarafında performansı tuhaf biçimde iyi değildi...