GPT-NeoX-20B’ye dört işlem soruları sordum

 (twitter.com/moyix)
4 puan yazan xguru 2022-02-12 | 4 yorum | WhatsApp'ta paylaş

  • GPT-3 ölçeğindeki modeli açık kaynak olarak sunan GPT-NeoX’e basit dört işlem soruları soruldu

  • 100 sorudan yalnızca 10’una doğru cevap verdi. Ancak çoğu cevap doğru sonuca yakın

Q: "What is 2653 * 30641?"

A: 82356113 (yanlış)

Doğru cevap 81290573

  • "Dil modellerinin" temelde matematikte çok iyi olmadığı biliniyor (muhtemelen kısmen sayıları tokenleştirme biçimlerinden dolayı)

İlgili okumalar

4 yorum

 
louie 2022-02-12

Gerçek doğru cevap 81290573 ve GPT-NeoX’un cevabı 82356113 değil mi?

Ben de doğrudan zihinden hesaplamayı denedim ve hesap makinesiyle de kontrol ettim; doğru cevap 81290573 gibi görünüyor!

(Bağlantıdaki görselde de Correct kısmının No olarak göründüğünü görebilirsiniz.

Eğer değilse lütfen beni düzeltin!)
 
xguru 2022-02-12

Aman of of, sanırım yazarken başla sonu ters çevirmişim. Düzelttim of
 
budlebee 2022-02-12

Aksine, yaklaşık değeri doğru cevap olarak vermesi daha insansı geldiği için daha da şaşırtıcı.
 
xguru 2022-02-12

Bununla ilgili daha ayrıntılı konuşmalar HN yorumlarında var: https://news.ycombinator.com/item?id=30299360