Numpy ile 60 satırda GPT oluşturmak

• Python ve Numpy’ye aşina olunduğu varsayımıyla, GPT’nin basit bir uygulamasını yapıp OpenAI’nin yayımladığı GPT-2 modelini yükleyerek metin üretmeyi gösteren bir eğitim

İçindekiler

• GPT nedir
• Kurulum : Encoder, Hyperparameters, Parameters
• Temel Katmanlar : GeLU, Softmax, Layer Normalization, Linear
• GPT Mimarisi
  • Embeddings
  • Decoder Stack
  • Vocab’a projeksiyon
  • Decoder Block
  • Position-wise Feed Forward Network
  • Multi-Head Causal Self Attention
• Hepsini birleştirmek
• Sırada ne var?
  • GPU/TPU Desteği
  • Backpropagation
  • Batching
  • Inference Optimization
  • Training
  • Evaluation
  • Architecture Improvements