Enerji Verimli Dil Modelleri İçin İhtiyacınız Olan Tek Şey Toplama

Enerji verimli dil modelleri için toplama

• Araştırma arka planı

  • Büyük sinir ağları, işlemlerinin çoğunu kayan noktalı tensör çarpımlarında kullanır.
  • Bu çalışma, bir kayan noktalı çarpıcının tek bir tamsayı toplayıcıyla yüksek hassasiyetle yaklaşık olarak gerçekleştirilebileceğini ortaya koyuyor.

• L-Mul algoritması

  • Kayan noktalı sayıların çarpımını tamsayı toplama işlemiyle yaklaşıklayan, doğrusal karmaşıklığa sahip çarpım algoritması L-Mul öneriliyor.
  • Yeni algoritma, 8 bit kayan noktalı çarpmadan daha az hesaplama kaynağı tüketirken daha yüksek hassasiyet sağlıyor.
  • Kayan noktalı sayıların çarpımı, tamsayı toplama işlemine kıyasla belirgin biçimde daha fazla enerji tükettiği için, L-Mul işleminin tensör işleme donanımına uygulanması öğe bazlı kayan noktalı tensör çarpımlarının enerji maliyetini %95'e kadar, iç çarpımların enerji maliyetini ise %80'e kadar azaltabiliyor.

• Kuramsal ve deneysel değerlendirme

  • L-Mul'un kuramsal hata beklentisi hesaplanıyor ve algoritma; doğal dil anlama, yapısal akıl yürütme, matematik, sağduyuya dayalı soru yanıtlama gibi çeşitli metin, görsel ve sembolik görevlerde değerlendiriliyor.
  • Sayısal analiz deneyleri, kuramsal hata tahminleriyle uyumlu sonuçlar veriyor ve 4 bit mantisalı L-Mul'un float8_e4m3 çarpımıyla benzer hassasiyete ulaştığını, 3 bit mantisalı L-Mul'un ise float8_e5m2'den daha iyi olduğunu gösteriyor.
  • Dikkat çekici kıyaslama sonuçları, L-Mul'un attention mekanizmasına doğrudan uygulanmasının neredeyse kayıpsız olduğunu gösteriyor.
  • Transformer modellerinde tüm kayan noktalı çarpımlar 3 bit mantisalı L-Mul ile değiştirildiğinde, ince ayar ve çıkarım aşamasında birikimli hassasiyet olarak float8_e4m3 kullanılmasıyla eşdeğer doğruluk elde ediliyor.

GN⁺ özeti

• L-Mul algoritması, enerji verimliliğini büyük ölçüde artırırken yüksek hassasiyeti koruyabilen bir yöntem sunuyor.
• Kayan noktalı işlemlerin enerji tüketimi sorununu çözme potansiyeli gösteriyor; özellikle büyük sinir ağı modellerinde kullanımının öne çıkması bekleniyor.
• Bu çalışma, enerji tasarrufunun kritik olduğu alanlarda büyük ilgi görebilir; benzer amaçlara sahip diğer projeler arasında Google'ın TensorFlow Lite'ı da bulunuyor.