Gemma 2: Pratik ölçekte açık dil modellerinde iyileştirme

Başlıca noktalar:

Gemma 2, 2 milyardan 27 milyar parametreye uzanan hafifletilmiş, son teknoloji açık dil modellerinden oluşan yeni bir ailedir.
9 milyar ve 27 milyar parametreli modeller şu anda kullanılabilir; 2 milyar parametreli model ise yakında gelecek.

Başlıca teknik iyileştirmeler:

• Yerel-küresel attention’ın dönüşümlü kullanımı
• Grouped-query attention
• Küçük modeller için bilgi damıtma eğitimi
  Modeller, kendi boyutlarına göre en yüksek performansı gösteriyor ve 2-3 kat daha büyük modellerle rekabet edebiliyor.

Model mimarisi:

• Yalnızca decoder tabanlı Transformer mimarisi
• 8192 token bağlam uzunluğu
• Yerel sliding window (4096 token) ile küresel attention katmanlarının dönüşümlü kullanımı
• Grouped-query attention (GQA)
• Katman normalizasyonu için RMSNorm

Eğitim:

• 27 milyar parametreli model 13 trilyon token ile eğitildi
• 9 milyar parametreli model 8 trilyon token ile eğitildi
• 2,6 milyar parametreli model 2 trilyon token ile eğitildi
• Veri kaynakları: web belgeleri, kod, bilimsel makaleler
• 2,6 milyar ve 9 milyar parametreli modellerde bilgi damıtma kullanıldı

Performans:

• Benchmark’larda karşılaştırılabilir açık modelleri geride bırakıyor
• Bazı daha büyük modellerle rekabet edebiliyor
• Soru yanıtlama, akıl yürütme, matematik, bilim ve kodlama görevlerinde güçlü sonuçlar

Güvenlik & sorumluluk:

• Kapsamlı güvenlik testleri ve sorumlu dağıtım süreçleri uygulandı
• Güvenlik politikaları ve eğitim sırasında azaltım önlemleri hayata geçirildi
• Geliştiriciler için sorumlu üretken yapay zeka araç seti sunuluyor

[savvykang]

Sadece CPU ile LLM çalıştırabileceğimiz zaman gelecek mi?

[haebom]

Yaklaşık 20B civarındaysa yalnızca CPU ile çalıştırmak fazlasıyla mümkün. 60B'den sonra zorlanıyor ya da pek iyi çalışmıyor. (Eğitim ise bambaşka bir alan.) Bir kez ollama deneyin.

[savvykang]

Gereksinimlerle ilgili hiç fikrim yoktu, tavsiyeniz için teşekkürler. Intel 11. nesil bir dizüstü bilgisayarla hâlâ zor gibi görünüyor; sanallaştırma sunucusuna kurmam gerekecek galiba.

[hhkkkk]

LM Studio'yu kurarsanız olur.

[savvykang]

Bunu dizüstü bilgisayarda zorlayıcı bulduğumu söylememin nedeni, CPU kullanımının tüm çekirdeklerde %100'e çıkması ve ısınmanın ciddi olması yüzünden kullanımın rahat gelmemesiydi. LM Studio'da prompt arayüzü olduğu için kullanılabilirlik açısından iyi, ancak akıcı ve rahat bir deneyim sunabileceğini sanmıyorum.

[hhkkkk]

Ee..? Zaten yapıyorlar;;