- AMD, ilk küçük dil modeli AMD-135M'yi tanıttı
- Bu model, AMD Instinct™ MI250 hızlandırıcısı kullanılarak 670 milyar token ile eğitildi
- İki modele ayrılıyor: AMD-Llama-135M ve AMD-Llama-135M-code
- AMD-Llama-135M modeli, genel veriler kullanılarak 6 gün boyunca 670 milyar token ile eğitildi
- AMD-Llama-135M-code modeli ise ek olarak 20 milyar kod verisi token'ı ile 4 gün boyunca ince ayardan geçirildi
- Bu modelin eğitim kodu, veri seti ve ağırlıkları açık kaynak olarak sunuluyor
- Speculative Decoding ile çıkarım performansı optimize edildi
- Büyük dil modelleri genellikle çıkarım için otoregresif yaklaşımı kullanır
- Bu yaklaşımın temel sınırlaması, her forward pass sırasında yalnızca tek bir token üretebilmesidir
- Speculative Decoding'in kullanıma alınmasıyla bu sorun çözüldü
- Küçük bir taslak model, aday token kümesini oluşturur ve bunu daha büyük hedef model doğrular
- Bu yaklaşım, her forward pass'te birden fazla token üretilmesini sağlayarak bellek erişim tüketimini önemli ölçüde azaltır ve hızı ciddi biçimde artırır
- Çıkarım performansında hızlanma
- AMD-Llama-135M-code kullanılarak CodeLlama-7b için taslak model olarak çıkarım performansı test edildi
- MI250 hızlandırıcısı ve Ryzen™ AI işlemcide (NPU dahil), Speculative Decoding kullanılan ve kullanılmayan durumlar karşılaştırıldı
- Belirli yapılandırmalarda, Speculative Decoding kullanıldığında hız artışı görüldü
- Sonraki adımlar
- AMD, yapay zeka topluluğunda inovasyonu teşvik etmek için açık kaynak referans uygulaması sunuyor
- AMD-135M hakkında daha fazla ayrıntı teknik blogda bulunabilir
- Koda AMD Github deposu üzerinden erişilebilir
- Model dosyaları Hugging Face Model Card üzerinden indirilebilir
- AMD Developer Cloud üzerinden Instinct hızlandırıcı kartlarına erişim için başvuru yapılabilir
GN⁺ Özeti
- AMD'nin ilk küçük dil modeli AMD-135M, yapay zeka topluluğu için önemli bir ilerleme sunuyor
- Speculative Decoding sayesinde çıkarım performansı önemli ölçüde iyileştiriliyor
- Açık kaynak referans uygulamasıyla geliştiricilerin modeli yeniden üretmesi ve diğer SLM ile LLM'leri eğitmesi destekleniyor
- Yapay zeka alanında inovasyonun hızlanması ve daha kapsayıcı, etik teknoloji gelişiminin hedeflenmesi amaçlanıyor
1 yorum
Genel yapay zekaya evrilmek için boyutsal bir sıçramayı sağlayacak bir dönüm noktasına ihtiyaç var; işte o dönüm noktası eğitimdir.