SuperGemma4 - Google Gemma 4 26B için sansürsüz/hız iyileştirmeli/kuantize model

 (huggingface.co)
40 puan yazan xguru 14 일 전 | 8 yorum | WhatsApp'ta paylaş
  • Gemma 4 26B IT tabanlı, Apple Silicon için MLX optimize edilmiş / 4 bit kuantize edilmiş, yalnızca metin odaklı bir model; boyutu yaklaşık 13GB
  • Orijinalinden daha zeki, aynı makinede daha hızlı ve kod, araç kullanımı ve Korece konusunda kararlı bir sansürsüz model
  • Yalnızca metin odaklı amiral gemisi; multimodal yerine hızlı metin işlemeye odaklanıyor
  • QuickBench'te 95.8 puan (orijinal 91.4) ile iyileşme ve %8.7 daha hızlı üretim hızı (46.2 tok/s); hissedilir biçimde daha kısa yanıt bekleme süresi
  • Sansürsüz (uncensored) özelliğini temel nitelik olarak korurken kod, araç kullanımı ve Korece prompt'larda kararlı çıktı veriyor
    • Kod üretim puanı 98.6 (+6.3); yerelde Python fonksiyonu yazdırma ve refactor ettirmede orijinalden çok daha doğru sonuç veriyor
    • Korece prompt puanı 95.0 (+4.3); Korece sorulduğunda bozulmadan doğrudan kullanılabiliyor
    • Korece ve ajan tarzı prompt işleme performansı orijinalden daha iyi
    • Sansürsüz bir model olduğu için içerik filtrelerine takılan yanıt sıfır; buna rağmen çıktılar kararsızlaşmıyor veya bozulmuyor
  • Tarayıcı otomasyonu, araç çağrıları, planlama gibi yerel ajan iş yükleri/pipeline'larına doğrudan entegre edilebilir
  • Çalıştırma:
    • mlx_lm.server --model Jiunsong/supergemma4-26b-uncensored-mlx-4bit-v2 --port 8080
    • OpenAI uyumlu servis desteği otomatik; ayrıca template ayarlamaya gerek yok (--chat-template içine yol verilirse yanıtlar hatta bozulabiliyor)
  • MLX 4-bit, BF16·U32 tensor'lar, Safetensors formatı

İlgili okumalar

8 yorum

 
kohs100 12 일 전

Hugging Face'te yüklü olan 31B Heretic'i kullanıyordum, sanırım buna da bakmam gerekecek.
 
jjangdww 13 일 전

Ben de bir denemeliyim sanırım
İyi bilgi için teşekkürler.
 
asdfg 13 일 전

Bunun lisansı da orijinal gemma4'ten farklı görünüyor.
 
fanotify 13 일 전

Evet, Apache 2.0 değilmiş.
 
caniel 12 일 전

Lisans sekmesinde Gemma 4’e bağlantı verilmiş; bunu nerede görebilirim?
 
adieuxmonth 14 일 전

Harika vay be
 
sea715 14 일 전

Heh, yerel bir toplulukta yapılmış bir model olması ilginç.