Microsoft, CPU’larda çalışabilen aşırı verimli yapay zeka modeli BitNet’i geliştirdi

• Microsoft araştırmacıları, BitNet b1.58 2B4T adlı aşırı verimli bir yapay zeka modeli geliştirdi
• 1 bit niceleme ile yüksek hız ve düşük bellek kullanımı sağlanıyor; model CPU üzerinde de çalışabiliyor ve MIT lisansı ile yayımlandı
• Apple M2 gibi CPU’larda çalışabiliyor ve GPU olmadan da işleyebiliyor
• 2 milyar parametreye sahip BitNet b1.58 2B4T, Meta, Google ve Alibaba modellerinden daha iyi performans gösteriyor
• Ancak Microsoft’un bitnet.cpp framework’ünü kullanmak gerekiyor ve GPU ile uyumluluk sorunu hâlâ devam ediyor

---

Microsoft’un ultra hafif 1 bit yapay zeka modeli BitNet b1.58 2B4T

Ultra hafif model BitNet’in kavramı

• BitNet, 1 bit niceleme uygulanan bir yapay zeka modeli; parametreleri göstermek için yalnızca -1, 0, 1 olmak üzere üç değer kullanıyor
• Mevcut nicelenmiş modeller genellikle 8 bit veya 4 bit ile ifade edilirken, BitNet yalnızca 1 bit kullanarak ezici bir bellek verimliliği sağlıyor
• Bu yaklaşım, düşük donanımlı sistemlerde, özellikle de GPU’suz CPU ortamlarında büyük avantaj sunuyor

BitNet b1.58 2B4T’nin özellikleri

• Parametre sayısı: 2 milyar
• Eğitim verisi: 4 trilyon token (yaklaşık 33 milyon kitaplık içerik)
• MIT lisansı ile açık kaynak olarak yayımlandı
• Apple M2 CPU gibi genel amaçlı CPU’larda da çalışabiliyor

Performans karşılaştırması ve benchmark sonuçları

• BitNet b1.58 2B4T, aşağıdaki modellerden bazı benchmark’larda daha iyi performans gösteriyor:
  • Meta Llama 3.2 1B
  • Google Gemma 3 1B
  • Alibaba Qwen 2.5 1.5B
• Kullanılan başlıca benchmark’lar:
  • GSM8K: ilkokul düzeyinde matematik sorularını değerlendirme
  • PIQA: fiziksel sağduyu yürütme yeteneğini değerlendirme
• Bazı testlerde 2 kata kadar daha yüksek hız, bellek kullanımı ise belirgin biçimde daha düşük

Sınırlamalar ve uyumluluk sorunları

• BitNet’in performansı, Microsoft’un özel framework’ü bitnet.cpp üzerine dayanıyor
• bitnet.cpp şu anda yalnızca belirli CPU’ları destekliyor, GPU desteği ise yok
• Bu nedenle, yapay zeka altyapısının standardı olan GPU ortamlarıyla uyumluluk eksikliği bir dezavantaj olarak gösteriliyor

[cartwheel8815]

> BitNet, 1 bit kuantizasyon uygulanan bir yapay zeka modeli; parametreleri ifade etmek için yalnızca -1, 0, 1 olmak üzere üç değer kullanıyor.

Değer sayısı 3 ama 1 bit mi? Garip geldiği için HN yorumlarına biraz baktım,

> https://compilade.net/blog/ternary-packing

Bayt başına 2 değeri ifade eden 8 bit yerine, 3 değeri ifade eden 5 adet ternary digit ile işlendiği için, teknik olarak tam anlamıyla 1 bitlik bir model değil; log(3) / log(2) = 1.5849... bitlik bir model. Model adında b1.58 geçiyor olması da bunun doğru olduğunu düşündürüyor.

[cartwheel8815]

4. satırdaki 2억 개의 파라미터를 ifadesinin 20억 개의 파라미터를 olarak düzeltilmesi gerekiyor.

[GN⁺]

Hacker News görüşleri

• Microsoft'un BitNet'i, FP16 veya BF16 gibi hassasiyetlere sahip Transformer LLM'lerle aynı model boyutunu ve eğitim token'larını kullanırken gecikme, bellek, throughput ve enerji tüketimi açısından daha maliyet verimli
  • Daha fazla bilgi için GitHub bağlantısı ve arXiv makalesine bakılabilir
• Yapay zeka modelinin "parametre sayısı", yapay zeka modelinin "GHz" değeri gibidir
  • Karşılaştırılan tüm modeller 1-2 milyar parametreye sahip, ancak gerçek boyutları 10 kat veya daha fazla farklı olabilir
• Ücretsiz LLM'lerin çoğu CPU'da çalıştırılabilir
  • Buradaki iddia, bu modelin CPU'da pratikte işe yarayacak kadar hızlı çalıştığı
  • GPU'daki çalışma hızını bilmediğim için bu iddianın doğruluğundan emin olamıyorum
• BitNet b1.58 2B4T modeli, aynı boyuttaki diğer modellere göre daha hızlı ve daha az bellek kullanıyor
  • Model boyutu 1 GB'tan büyük ve modern CPU'larda iyi çalışan 1-2 GB'lık pek çok model var
• NVidia, CUDA üzerinden yazılım düzeyinde kilitlenmeyi hızla dayatıyor
  • Aksi halde hissesi Zoom'unkine benzer bir yola girebilir
• "1-bit" deniyor ama gerçekte {-1, 0, 1} kullanıyor
  • Bu kısım kafa karıştırıcı olabilir
• Daha büyük modelleri BitNet'e distile edebilen bir kütüphane olup olmadığı merak ediliyor
• MIT lisansı altında herkese açık ve Apple'ın M2'si dahil CPU'larda çalışabiliyor
  • M2 zaten 7 GB veya 13 GB'lık LLama ve Mistral modellerini rahatça çalıştırıyor
• M serisi ve MacBook'lar çok yaygın olduğu için ortalama bir CPU'nun (i3 veya i5) ne kadar zayıf olduğunu unutuyor olabilirsiniz
• Fiyat savaşı dip seviyeye inmeye devam edecek
• Bu teknoloji 1 yıldan daha eski ve herkes buna geçiş yapmadı
  • Nedenlerine bakıldığında, bu teknolojinin metrikleri gerçekten etkilediği ve bazılarının etkisinin diğerlerinden daha büyük olduğu görülüyor
  • Her derde deva bir çözüm değil

[cartwheel8815]

4. satırdaki 비교된 모든 모델은 1-2억 개의 ifadesi 비교된 모든 모델은 10-20억 개의 olarak düzeltilmeli.
   AI bağlamında billion çevirisi kulağa tuhaf geliyor.