MS ve Nvidia, dünyanın en büyük ölçekli dil modeli MT-NLG 530B'yi duyurdu
(developer.nvidia.com)-
Megatron-Turing Natural Language Generation
-
GPT-3'ün 175 milyarından daha büyük, 530 milyar parametre
-
Öncekilerle kıyaslanamayacak düzeyde doğruluk gösteriyor
→ cümle tamamlama, anlama, sağduyulu akıl yürütme, doğal dil çıkarımı vb.
-
105 katman, transformer tabanlı
-
NVIDIA A100 Tensor Core GPU & HDR InifiniBand ağ yapısı
-
Süper bilgi işlem kümesi NVIDIA Selene ve Microsoft Azure NDv4
Henüz yorum yok.