ChatGPT, 20B boyutunda bir model

 (arxiv.org)
9 puan yazan jonghwanhyeon 2023-10-31 | 5 yorum | WhatsApp'ta paylaş

Microsoft Research'ün EMNLP 2023'e sunduğu "CodeFusion: A Pre-trained Diffusion Model for Code Generation" başlıklı makalede, ChatGPT'nin (gpt-3.5-turbo) parametre sayısının 20B olduğu açıklandı.

  • T5 (t5-large): 770M
  • CodeT5 (codet5-large): 770M
  • GPT3 (text-davinci-003): 175B
  • ChatGPT (gpt-turbo-3.5): 20B

İlgili okumalar

5 yorum

 
hyeonseokoh94 2023-11-02

Bu boyut mantıklı mı? Yapay zeka işiyle uğraşanların anlattıklarına göre dehşete düşüyorlarmış...
All you need is 4090
 
geekarxiv 2023-11-01

Aslında GPT-3.5’in de parameter size’ı açıklanmamış mıydı?
Ben bunun sadece GPT-3 175B’ye RLHF uygulanmış hali olduğunu sanıyordum, demek ki öyle değilmiş..
 
spark 2023-11-01

https://arxiv.org/abs/2310.17680v1 v1'e hâlâ bakılabiliyor
 
verilogeek 2023-11-01

"Makalede bazı hatalar var ve onu geri çekmemiz gerekiyor" diyorlar
 
verilogeek 2023-11-01

Hatanın nerede olduğunu bilmiyorum ama sadece bazı sayılar yanlışsa basit bir revizyon yapılmış olmalı... o zaman 20B'nin doğru olma ihtimali daha yüksek, değil mi?