Bonsai 27B - Telefonda çalışan 27B sınıfı model

 (prismml.com)
4 puan yazan GN⁺ 4 시간 전 | 1 yorum | WhatsApp'ta paylaş
  • Mevcut 27B modeller 4 bite düşürüldüğünde bile 18 GB’a ulaşıyor; PrismML ise Qwen3.6 27B’yi temel alan, çıkarım, araç çağırma, görsel işleme ve bilgisayar kullanımını destekleyen Bonsai 27B’yi iPhone’un bellek sınırlarına sığdırıyor
  • Kalite odaklı Ternary model ağırlık başına 1,71 bit ile 5,9 GB, kapasite odaklı 1-bit model ise 1,125 bit ile 3,9 GB boyutunda; düşük bitli temsil tüm dil ağına uygulanıyor
  • Düşünme modundaki 15 benchmark’ta Ternary model tam hassasiyet referans performansının %95’ini, 1-bit model ise %90’ını korudu; genel puanlar sırasıyla 80,5 ve 76,1
  • NVIDIA GeForce RTX 5090’da en fazla 163 tok/s, M5 Max’te en fazla 87 tok/s kaydederken 262K token bağlamı, 4 bit görsel kulesi ve spekülatif çözmeyi destekliyor
  • Yerel çalıştırma, tekrarlı ajan görevlerinde adım adım API maliyetini ve veri aktarımını ortadan kaldırıyor; hassas görevleri cihazda işleyip yalnızca zor adımları buluta gönderen hibrit dağıtımı mümkün kılıyor

27B sınıfı bir modeli telefona sığdırma yöntemi

  • Mevcut 27B modeller 16 bit hassasiyette yaklaşık 54 GB, yaygın 4 bit derlemelerde bile 18 GB yer kaplıyor; bu da telefonlara ve çoğu dizüstüne yerel dağıtımı zorlaştırıyor
  • Qwen3.6 27B tabanlı Bonsai 27B, çok aşamalı çıkarımı, yapılandırılmış araç çağırmayı, görsel görevleri ve birden fazla aşamada tutarlılığı koruyan bilgisayar kullanım ajan döngüsünü destekliyor
  • İki düşük bitli yapılandırma farklı dağıtım ortamlarını hedefliyor
    • Ternary Bonsai 27B, {−1, 0, +1} ağırlıkları ve FP16 grup bazlı ölçekleme kullanarak ağırlık başına etkin 1,71 bit ve 5,9 GB boyuta ulaşıyor
    • Dizüstü sınıfı kaliteyi hedefliyor ve tüm çıkarım, araç çağırma ve ajan özelliklerini sunuyor
    • 1-bit Bonsai 27B, {−1, +1} ağırlıkları ve aynı grup bazlı ölçekleme kullanarak ağırlık başına etkin 1,125 bit ve 3,9 GB boyuta ulaşıyor
    • iPhone 17 Pro’nun bellek bütçesine sığan telefon sınıfı kapasiteye odaklanıyor

Uçtan uca düşük bitli ve multimodal yapılandırma

  • Düşük bitli temsil; embedding, attention, MLP ve LM head dahil tüm dil ağına uygulanıyor, bazı bölümler daha yüksek hassasiyetle bypass edilmiyor
  • Her iki model de multimodal; görsel kulesi sıkıştırılmış 4 bit formatında sunuluyor, böylece ekran görüntüleri, belgeler ve kamera girdileri cihazda işlenebiliyor
  • En fazla 262K token bağlamını destekliyor
  • Taslak üretip ardından doğrulayan kayıpsız hızlandırma yöntemi olan spekülatif çözme kullanılabiliyor
  • Model ağırlıkları Apache 2.0 License ile sunuluyor

15 benchmark’ta korunan performans

  • Modelin tüm çıkarım yeteneklerini kullanan düşünme modunda, bilgi, çıkarım, matematik, kodlama, talimat izleme, araç çağırma ve görseli kapsayan 15 benchmark değerlendirildi
  • Tam hassasiyetli Qwen3.6 27B’nin genel puanı 85,0; Ternary Bonsai 27B 80,5, 1-bit Bonsai 27B ise 76,1 puan aldı
    • Ternary model, tam hassasiyet referans performansının %95’ini koruyor
    • 1-bit model, referans performansının %90’ını koruyor
  • Alan bazlı puanlar şöyle
    • Matematik — GSM8K, MATH-500, AIME25, AIME26: tam hassasiyet 95,3, Ternary 93,4, 1-bit 91,7
    • Kodlama — HumanEval+, MBPP+, LiveCodeBench: tam hassasiyet 88,7, Ternary 86,0, 1-bit 81,9
    • Ajan·araç çağırma — BFCL v3, TauBench: tam hassasiyet 80,0, Ternary 74,0, 1-bit 66,0
    • Talimat izleme — IFEval, IFBench: tam hassasiyet 78,4, Ternary 71,8, 1-bit 65,8
    • Bilgi·STEM — MMLU-Redux, MuSR: tam hassasiyet 83,1, Ternary 77,0, 1-bit 73,4
    • Görsel — MMMU Pro, OCRBench: tam hassasiyet 72,6, Ternary 65,2, 1-bit 59,6
  • Matematik ve kodlamada performans düşüşü görece küçük; Ternary modelin araç çağırma performansı da tam hassasiyete yakın seviyeyi koruyor
  • Aynı temel modele uygulanan en agresif genel düşük bitli derleme, 1-bit Bonsai 27B’den 2,5 kat daha fazla bellek kullanmasına rağmen daha düşük puan aldı

Gigabayt başına zeka yoğunluğu

  • 1-bit Bonsai 27B, tam hassasiyetli 2B modelden daha küçük kapasiteyle 27B sınıfı performans sunuyor
  • PrismML’in 1-bit Bonsai 8B’de tanıttığı zeka yoğunluğu ölçütüne göre 1-bit Bonsai 27B, GB başına 0,53 kaydediyor
    • Tam hassasiyet referansına göre 10 kattan fazla yüksek
    • Kullanılabilen en üst düzey düşük bit alternatifinden yaklaşık 2,7 kat yüksek
  • Bu ayrımda modelin mutlak yeteneği hangi görevleri yapabileceğini belirlerken, zeka yoğunluğu bu görevleri çalıştırabilecek cihazları ve ortamları belirliyor

Sürekli ajan görevlerini yerele taşıma

  • Yapay zeka işleri tekil yanıtlardan uzaklaşıp gerçek araçları kullanan asistanlar, insansız iş akışları ve onlarca belgeyi sentezleyen araştırmalar gibi sürekli görevlere kayıyor
  • Ajanlar modeli bir kez değil yüzlerce kez çağırıyor; her adımda bağlamı aktarıyor, yapılandırılmış çıktı üretip bunu sonraki adımın girdisi olarak kullanıyor
  • Bulut API’leri hâlâ birçok ürün için uygun, ancak ajan görevlerini yalnızca bulutta çalıştırmak yapısal kısıtlar doğuruyor
    • Her adım uzak istek olarak işleniyor
    • Her yinelemede token maliyeti birikiyor
    • Planlar, araç çağrıları ve ara sonuçların yanı sıra kullanıcının kişisel dosyaları, ekranı ve verileri de ağdan geçiyor
  • Cihazda yeterli yeteneğe sahip bir model çalıştırıldığında ajan ürünün içinde tutulabiliyor
    • 100 adımlık döngüde bile ek model çağırma maliyeti oluşmuyor
    • Kullanıcı verisi cihazdan ayrılmıyor
    • Sürekli on-device ajanlar, çevrimdışı asistanlar ve yerel özel verileri doğrudan işleyen asistanlar uygulanabiliyor
  • Hassas olan veya frontier düzeyinde performans gerektirmeyen görevleri yerel modele gönderip yalnızca en zor adımları bulut modeline bırakan hibrit mimari, ajan sistemlerinde görev başına maliyeti düşürebiliyor

Çalışma hızı ve telefon bellek kısıtları

  • NVIDIA GeForce RTX 5090’da ölçülen en yüksek üretim hızları şöyle
    • 1-bit model: 163 tok/s
    • Ternary model: 134 tok/s
  • M5 Max’te ölçülen en yüksek üretim hızları şöyle
    • 1-bit model: 87 tok/s
    • Ternary model: 58 tok/s
  • Telefon uygulamaları cihazın tüm belleğini kullanamaz; 12 GB iPhone’da bile modelin kullanabileceği bellek yaklaşık 6 GB’tır
  • Bu bütçeye yalnızca model ağırlıkları değil KV cache ve aktivasyonlar da sığmak zorunda olduğundan, yalnızca depolama dosyası boyutunu küçültmek yeterli değildir
  • Yaklaşık 4 GB olan 1-bit Bonsai 27B, görevler için gereken boş alanı bırakarak bu bellek sınırını karşılıyor
  • iPhone 17 Pro Max’teki multimodal ajan demosu, cache ve önceden girilmiş görsel bağlam kullanan demo modunda çalışıyor

Desteklenen platformlar ve dağıtım biçimi

  • Apple cihazlarda MLX aracılığıyla Mac, iPhone ve iPad’de native çalışıyor
  • NVIDIA GPU’larda CUDA kullanıyor
  • Her iki platform da hibrit attention mimarisine uygun olarak hazırlanmış özel düşük bitli kernel’lardan yararlanıyor
  • Sınırlı süreyle geliştiricilerin modeli denemesi için ücretsiz geliştirici önizleme API’si sunuluyor
  • Sıkıştırma, değerlendirme ve benchmark sürecinin tüm teknik ayrıntılarına Bonsai 27B whitepaper üzerinden ulaşılabilir

Daha büyük modeller ve yeni mimariler

  • Bonsai 27B; düşünme, multimodal anlama, görsel ve araç kullanımı dahil modern model yeteneklerini, genel kullanıcıların sahip olduğu cihazlarda çalıştırılabilecek boyuta indiriyor
  • Sıkıştırma metodolojisi belirli bir mimariye bağımlı değil; PrismML daha büyük modeller ve yeni mimariler geliştiriyor
  • Zeka yoğunluğu arttıkça gelişmiş yapay zekayı çalıştırabilecek cihaz, ürün ve ortamların kapsamı telefonlardan tek GPU’lu sunuculara kadar genişliyor

İlgili okumalar

1 yorum

 
GN⁺ 4 시간 전
Hacker News görüşleri

  • En çok karşılaştırmak istediğim şey Gemma 4 12B'nin 4 bit QAT sürümü. 7GB bile değil; bu modelden yalnızca biraz daha büyük ve çoğu güncel cihazda çalışırken boyutuna göre şaşırtıcı derecede akıllı.
    Araç kullanma becerisi çok güçlü ve görsel performansı da boyutuna kıyasla etkileyici. Hassasiyeti her kademe düşürdüğümüzde ne kadar performans kaybı olduğunu hâlâ anlamaya çalışıyorum ama Google'ın QAT sürümleri 4 bitte kaybın çok az olduğunu gösteriyor gibi görünüyor

    • Açıklanan sayıları Gemma sonuçlarıyla çapraz karşılaştırırsak, bu model matematik ve kodlamada Gemma 4 12B'nin belirgin biçimde önünde; bilgi ve araç çağırmada biraz geride, görsel görevlerde ise ciddi şekilde daha zayıf
    • Keşke Gemma 4 12B'nin 1 bit ikili sürümünü de yapsalar ;)
    • Birçok model ailesinde 4 bit bir eşik noktası, ancak ağırlıklar, ağırlıklar+aktivasyonlar ve KV cache'ten hangisinin 4 bite kuantize edildiğine göre durum değişiyor. Bu ayrıca model boyutuna ve göreve de bağlı; yani kuantizasyonda düşünüldüğünden daha fazla incelik var.
      2024'te çıkan iyi bir değerlendirme kaynağı https://arxiv.org/pdf/2402.18158. Asıl yazar değilim ama şu anda güncellenmiş bir sürüm hazırlıyorum; henüz kapsamlı bir literatür taraması yapmadım, o yüzden benzer inceleme çalışmaları bilen olup olmadığını merak ediyorum

  • Yatırımcı bakış açısından bu gerçek bir paradigma değişimi. Gizliliği öne çıkarıp büyük barındırılan modelleri saran Avrupalı girişimlerin çoğu ortadan kalkabilir.
    Her şeyi doğrudan dizüstünde çalıştırabiliyorsanız, ‘Privacy GPT™’ gibi şirketleri kullanmak için hiçbir neden kalmıyor. Bankalar ve diğer regüle sektörler de bu düzeyde zekâyı kendi kendine barındırabilir, dolayısıyla böyle şirketlere bağımlı olmaları gerekmez

  • Anlamama yardımcı olun. Buradaki olayın, kuantizasyonla 50GB'ı 4GB'a indirirken zekânın büyük kısmını Pareto-optimal aralık içinde korumak olduğunu ve bunun diğer kuantize modellerle boyut başına zekâ açısından karşılaştırıldığını düşündüm. Ama diğer küçük modellerde de sorun olan araç çağırma performansı en çok zarar görmüş gibi duruyor.
    Bu model, son dönemdeki diğer 4GB modellerle karşılaştırıldığında nasıl? Ana modelin zekâsını gerçekten koruduğunu mu, yoksa benchmark'lara göre ince ayar yapıldığını mı nasıl anlayabiliriz?
    Kötülemek için söylemiyorum; gerçekten etkileyici bir sonuç olmasını isterim ama sınırlı bilgimle bakınca adil bir karşılaştırma grafiği eksik gibi ve mevcut grafikler de yanlış anlaşılmaya açık görünüyor. Yanlış anladığım kısımları açıklarsanız sevinirim

    • PrismML'in, alışıldığı gibi FP16 ile eğitilmiş bir modelin bitlerini kesip VRAM'i düşüren kuantizasyon yapmadığını; bunun yerine en baştan 1 bit ağırlıklarla eğitildiğini anladım.
      Makalede daha ayrıntılı anlatılıyor; örneğin her 128 adet 1 bit ağırlık bloğu için bir FP16 ağırlık kullanmak gibi tekniklerle daha fazla bilgi taşıyor

  • Apple'ın PrismML ile görüşmeler yürüttüğü söyleniyor: https://www.cnbc.com/2026/07/14/apple-prismml-ai-compression...

    • Bu bilgi PrismML CEO'su Babak Hassibi'nin doğrudan CNBC'ye söylediği bir şey; yani ya doğru değildir ya da görüşme haberini sızdırarak anlaşma ihtimalini bizzat bitirmiş olabilir

  • Küçük bir kusur bulma gibi gelebilir ama demoda modelin önerdiği yemek pek lezzetli görünmüyor ve makro besin hesabı da tamamen yanlış gibi. ‘Spagetti, havuç, dolmalık biber, sarımsak, otlar’ ile 25g protein mi?

    • İyi spagettide protein oranı %15 civarındadır, yani 100g'da 15g; en düşük kaliteli üründe bile 100g'da 12g bulunur
    • Ben şahsen havucu pek sevmem ama tatsız görünmüyor. Domates sosu olsa çok daha iyi olurdu ama verilen görselde seçenek olarak yok gibiydi.
      25g proteini nohut bazlı gibi yüksek proteinli bir makarna varsayarak hesaplamış olabilir ama yine de sayı kesinlikle yanlış görünüyor
    • 200g spagettide gerçekten yaklaşık 25g protein vardır
    • Bu kadar sıradan bir sorunun neden telefondaki yapay zekâyla çözülmesi gerektiğini anlamıyorum. Böyle bir iş için yapay zekâya, hele yerel yapay zekâya hiç gerek yok; eskiden beri basit bir Google araması yeterliydi.
      Telefon boyutunda bir yapay zekâ faydalı olacaksa, yalnızca yapay zekânın yapabileceği işleri çözmeli. Telefon kamerasıyla taranan belgeleri anlayabiliyor mu? Gerçek zamanlı çeviri yapabiliyor mu? Tarif önerisi zaten başka yollarla fazlasıyla çözülmüş bir şey; özellikle bunun sorulmasına gerek yok

  • Model, Hugging Face'in https://huggingface.co/prism-ml/models sayfasına yükleniyor
    LM Studio'da GGUF ve MLX modellerini ayrı ayrı denedim ama ikisi de çalışmadı. Önce LM Studio'nun llama.cpp ya da MLX motorunu yükseltmesi gerekebilir; çalıştırmayı başaran biri olup olmadığını merak ediyorum

    • Önceki modeli, PrismML'nin özel llama.cpp fork'u olan https://github.com/PrismML-Eng/llama.cpp üzerinde çalıştırmıştım. Bu modeli henüz denemedim ama bu hafta içinde zaman bulup benchmark yapmayı planlıyorum
      Ayrıca ana dal llama.cpp'ye de Metal ve CPU backend'leri için yamaların girdiği söyleniyor; dolayısıyla Mac'iniz ya da yeterince hızlı bir CPU'nuz ve belleğiniz varsa yalnızca en güncel llama.cpp'yi kullanmak da yeterli olabilir
    • Çalıştırmak istediğiniz modele bağlı olarak özel fork gerekebilir; ayrıntılar https://github.com/PrismML-Eng/Bonsai-demo/blob/main/README.... adresinde var
    • PrismML'nin llama.cpp fork'unu LM Studio içinde çalıştırmanın bir yolu olup olmadığını bilmiyorum
      Fork'un kendisi düzgün çalışıyor ama basit bir testte model çıkarım döngüsüne ciddi şekilde takıldı. Bu, çıkarım gücü yüksek ayarlandığında ortaya çıkan aynı sorun da olabilir
      M1 Max'te hâlâ MoE Qwen 3.6 ve Gemma 4 en iyi seçenek gibi görünüyor. 35B'nin gerçekten daha kötü olduğu iddiasından da emin değilim; benim kullanım ortamımda 27B'ye göre çıkarım döngüsüne çok daha az takılıyor
    • LM Studio'da iki resmi modeli indirdim ve ikisi de 3.6GB idi ama hiçbirini yükleyemedim
    • Unsloth'ta da çalışmadı ama bir sonraki güncelleme paketi geldiğinde bir iki gün içinde düzeltilmesi büyük olasılık

  • Harika! 1 yıldan uzun süredir ternary modellerin ölçeklenmesini bekliyordum[1]. Normal Qwen 27B, yerel donanımda makul hızda çalıştırmak için fazla ağır kalıyor; bunu kendim deneyebilecek olmak heyecan verici
    [1] https://jackson.dev/post/dont-sleep-on-bitnet/

    • Ben de aynı durumdayım. 16GB dizüstü bilgisayarda işe yarayabilecek bir model olma ihtimali heyecan verici

  • 1 bitlik modelle performansın %90'ına ulaşılmış olması başlı başına hayranlık verici bir sonuç
    Ama son 2 haftada bunun daha şimdiden beşinci ürün duyurusu olduğunu görüyorum; hepsi de yapay zekanın kullanım şeklini değiştirdiğini ve kendi ödünleşimlerinin kusursuz çözüm olduğunu ilan ediyor. Paradigma değişimi ürün lansman metinlerinde olmaz
    Tüm duyuru yazılarını paradigma değişimi gibi gösteren şey, bir tür yapay zekaya özgü üslup olabilir diye düşünüyorum

    • Her teknoloji duyurusu böyle. Gerçeklikle ilgisi olsun olmasın, pazarlamacılar pazarlama yapar

  • Tüm bağlam uzunluğu boyunca KV cache bellek kullanımının şaşırtıcı derecede düşük göründüğünü düşünüyorum. Bu sayede çoklu ajanlı kodlama iş akışları için özellikle faydalı olabilir
    Yeni model duyurularında ve demolarında KV cache bellek kullanımı ve ilgili optimizasyonların daha açık ele alınmasını isterdim

    • KV cache'i quantize etmek attention ve recall performansını kötüleştirir; bunun etkisiyle uzun metin görevleri de zarar görür. Her model ailesi ve boyutu, her bölümün quantization'ını farklı ölçüde tolere eder; bu, hedef göreve göre de değişir

  • Bugün öğrendiğim şey: 1 bit modeller aslında +1, 0, -1 olmak üzere üç değer kullanan 1.58 bitlik modeller

    • Bunun iki varyantı var. Şaka yollu söylersek bitlerin değerini epey büyük seçmişler
      Ternary Bonsai 27B, üç değerli {-1, 0, +1} ağırlıklar ve FP16 grup başına ölçekleme kullanıyor; bu yüzden ağırlık başına efektif bit sayısı 1.71 bit. 1-bit Bonsai 27B ise ikili {-1, +1} ağırlıklar ve aynı grup başına ölçeklemeyi kullanıyor; bu yüzden ağırlık başına efektif bit sayısı 1.125 bit
    • 3 durumlu 5 sayıyı 1 bayta sığdırmanın en pratik yolu üzerinden hesaplarsanız 1.6 bit ediyor. Ama pratikte genelde 4 durumlu 4 sayı birlikte paketleniyor
    • İlk ‘1 bit’ modelden kalma talihsiz bir gelenek. Yine de Bonsai'nin hem ternary sürümü hem de gerçek 1 bit sürümü var