Google, 1,6 trilyon parametreli AI NLP modeli Switch Transformer'ı açık kaynak olarak yayımladı

• Mevcut T5(Text-to-Text Transfer Transformer) modeline kıyasla eğitim hızında 7 kat iyileşme

• Switch Routing adlı değiştirilmiş bir MoE(Mixture-of-Experts) algoritmasıyla, girilen değerlere göre farklı parametreler uygulanıyor

• Model eğitimi için Mesh-Tensorflow kullanıldı (Model Parallelism)