GPT'nin Durumu [42 dakikalık video]

 (build.microsoft.com)
34 puan yazan xguru 2023-06-01 | 2 yorum | WhatsApp'ta paylaş
  • Andrej Karpathy'nin Build 2023'te yaptığı sunum
  • 2 bölümden oluşuyor
    • (Chat)GPT asistanı nasıl eğitilir
    • Bu asistan kendi uygulamanıza nasıl entegre edilir
  • Tokenization, Pretraining, Supervised Finetuning, Reinforcement Learning from Human Feedback gibi konuları geniş kapsamlı biçimde açıklıyor ve
    prompt stratejilerinden çeşitli ekosistem araçlarına ve gelecekteki genişlemelere kadar tanıtıyor

İlgili okumalar

2 yorum

 
kuroneko 2023-06-01

Özetleyince ortaya şöyle bir tablo çıkıyor.

  • GPT gibi büyük dil modelleri, büyük miktarda metin verisi üzerinde yapılan ön eğitim aşaması ve belirli görevler için yapılan ince ayar yoluyla eğitilir.
  • Ön eğitim, genel dil temsillerini öğrenmek için bir dizideki sonraki kelimeyi tahmin etmeyi içerir. İnce ayar ise modeli belirli görevlere uyarlar.
  • Prompting, modele yanıt üretmesi için bir prompt verilerek, ince ayar olmadan da dil modelini görevlere uygulamak için kullanılabilir.
  • Denetimli ince ayar, promptlar ve ideal yanıtların etiketlenmiş verilerini kullanarak bir asistan modelini eğitir.
  • İnsan geri bildirimiyle pekiştirmeli öğrenme uygulanarak, insanların yüksek puan verdiği yanıtlar üretmesi için asistan modeli eğitilerek performans daha da artırılabilir.
  • Modelin çalışma sürecini adım adım göstermeye veya örnekler sunmaya dayanan prompt engineering teknikleri, dil modelinin performansını artırabilir.
  • Dil modelleri, insanlarda bulunan iç monolog ve akıl yürütme yeteneğinden yoksun olduğu için prompting bunun yerini doldurmalıdır.
  • Dil modeline dış araçlara, hesap makinesine ve bilgi tabanlarına erişim verilmesi performansı artırabilir.
  • Belirli görevler için dil modelinin bazı bölümlerini ince ayarla uyarlamak performansı yükseltebilir, ancak daha karmaşıktır.
  • Önyargılar, akıl yürütme hataları ve saldırılara karşı savunmasızlık gibi dil modellerinin çeşitli sınırlamaları hâlâ vardır.
 
xguru 2023-06-01

https://www.youtube.com/watch?v=bZQun8Y4L2A
Aynı video YouTube'da da var, ancak Microsoft sitesinde yapay zeka ile çevrilmiş Türkçe altyazı desteği olduğu için onu paylaşıyorum.