-
Transformer tabanlı
-
BERT-Large 340M, RoBERTa 355M, OpenAI GPT-2 1.5b gibi modellere kıyasla 10 kattan fazla parametreye sahip, şimdiye kadarki en büyük model
-
DeepSpeed ve ZeRO sayesinde mümkün oldu
Tanıtım sayfasındaki özet metninin de Turing-NLG tarafından üretildiği belirtiliyor
"Turing Natural Language Generation (T-NLG) is a 17 billion parameter language model by Microsoft that outperforms the state of the art on many downstream NLP tasks. We present a demo of the model, including its freeform generation, question answering, and summarization capabilities, to academics for feedback and research purposes."
Henüz yorum yok.