Sıfırdan LLM Kurmak: 3 Saatlik Kodlama Atölyesi

 (magazine.sebastianraschka.com)
1 puan yazan GN⁺ 2024-09-01 | 1 yorum | WhatsApp'ta paylaş
  • Hafta sonunda birkaç saat ayırarak büyük dil modellerini (LLM) anlamak isteyenler için, uygulama, eğitim ve kullanım konularını ele alan 3 saatlik bir kodlama atölyesi sunumu hazırlanmış
  • Aşağıda videoda ele alınan içerikleri gösteren içindekiler yer alıyor (videonun kendisinde, ilgilendiğiniz konuya doğrudan geçebileceğiniz tıklanabilir bölüm işaretleri bulunuyor)

İçindekiler

  • 0:00 – Atölye özeti

  • 2:17 – Part 1: LLM’e giriş

  • 9:14 – Atölye materyalleri

  • 10:48 – Part 2: LLM girdi verisini anlamak

  • 23:25 – Basit bir tokenizer sınıfı

  • 41:03 – Part 3: LLM mimarisini kodlamak

  • 45:01 – GPT-2 ve Llama 2

  • 1:07:11 – Part 4: Ön eğitim

  • 1:29:37 – Part 5.1: Önceden eğitilmiş ağırlıkları yükleme

  • 1:45:12 – Part 5.2: LitGPT ile önceden eğitilmiş ağırlıklar

  • 1:53:09 – Part 6.1: Talimat ince ayarı

  • 2:08:21 – Part 6.2: LitGPT ile talimat ince ayarı

  • 2:26:45 – Part 6.3: Benchmark değerlendirmesi

  • 2:36:55 – Part 6.4: Diyalog performansı değerlendirmesi

  • 2:42:40 – Sonuç

  • Her zamanki metin tabanlı içeriklerden biraz farklı olsa da, birkaç ay önce yapıldığında çok iyi geri dönüş aldığı için bunu bir kez daha paylaşmanın iyi olacağı düşünülmüş

  • İyi seyirler!

Referans materyaller

  1. Build an LLM from Scratch kitabı
  2. Build an LLM from Scratch GitHub deposu
  3. Atölye kodlarını içeren GitHub deposu
  4. Bu atölye için Lightning Studio
  5. LitGPT GitHub deposu

Ahead of AI aboneliği

  • Sebastian Raschka'nın 2 yıl önce başlattığı bir proje
  • Ahead AI, makine öğrenimi ve yapay zeka araştırmalarına odaklanıyor; sürekli değişen bu alanda önde kalmak isteyen on binlerce araştırmacı ve uygulayıcı tarafından okunuyor

GN⁺ Özeti

  • Bu atölye, LLM’leri sıfırdan uygulamayı ve eğitmeyi öğrenmek isteyenler için oldukça faydalı
  • GPT-2 ve Llama 2 gibi modelleri ele alıyor; önceden eğitilmiş ağırlıkların nasıl yükleneceğini ve talimat ince ayarının nasıl yapılacağını açıklıyor
  • Makine öğrenimi ve yapay zeka araştırmalarına ilgi duyanlar için oldukça ilgi çekici ve faydalı olabilir
  • Benzer işlevlere sahip diğer projeler arasında Hugging Face'in Transformers kütüphanesi ve OpenAI'ın GPT modelleri bulunuyor

İlgili okumalar

1 yorum

 
GN⁺ 2024-09-01
Hacker News görüşleri

  • "Temellere geri dönmek her zaman iyidir" görüşüyle birlikte paylaşım için teşekkür edilmiş

  • "Cahilliğim için kusura bakmayın ama bunun Andrej Karpathy’nin https://www.youtube.com/watch?v=kCc8FmEb1nY videosundan farklı olup olmadığını merak ediyorum" diye sorulmuş

    • "Her hâlükârda bu gece yatmadan önce izleyeceğim" görüşü paylaşılmış

  • "Sebastian’ın yazıları güzel" görüşüyle birlikte kitabın beklendiği belirtilmiş

    • LLM’nin yapısına dair pek çok ayrıntı olduğu, ayrıca Llama ve OpenAI’nin eğitim verilerini nasıl düzenleyip yapılandırdığı konusunda daha fazla genişletilmesi istendiği belirtilmiş
    • "Bunun uzun vadede önemli bir mücadele alanı olacağı düşünülüyor" görüşü paylaşılmış