Derin Öğrenme Sistemleri

• CMU takvimine göre 26/8–8/12 arasını kapsayan derin öğrenme sistemleri ders programı, tarih, konu, eğitmen, slaytlar ve 2022 sürümü video bağlantılarını tek bir yerde topluyor
• Bazı derslerin zamanlaması değişebilir ve gelecek ders slaytları önceki sürüm materyaller olduğundan ders öncesinde güncellenecek
• İlk bölüm, tanıtım ve ML tekrarıyla başlayıp otomatik türev alma, optimizasyon, sinir ağı kütüphanesi soyutlamaları ve implementasyonu ile evrişimli ağ implementasyonuna uzanıyor
• Orta ve ileri bölümde doğrusal cebir için donanım hızlandırma, GPU, RNN, Transformers, büyük ölçekli model eğitimi, üretici modeller, önceden eğitilmiş modellerin özelleştirilmesi ve model dağıtımı ele alınıyor
• Çevrimiçi ders videoları, mevcut olduğunda slaytlarla birlikte yayınlanıyor; programda ayrıca güz tatili, Democracy Day, Thanksgiving tatili ve öğrenci proje sunumları da yer alıyor

---

Materyal sunum biçimi ve takvim kapsamı

• Tüm dersler geçici bir takvim olarak sunuluyor
  • Bazı derslerin kesin zamanı değişebilir
  • Gelecek derslerin slaytları önceki sürüm ders materyalleridir ve her ders öncesinde güncellenmiş slaytların yayınlanması planlanmaktadır
  • Herkese açık çevrimiçi ders videoları, mümkün olduğunda slaytlarla birlikte yayınlanır
• Tabloda CMU tarihleri, ders numarası ve konusu, eğitmen, slaytlar ve 2022 sürümü videolar yer alıyor
• Eğitmenler Dettmers, Chen, Both ve Students olarak belirtilmiş

Ders akışı

• Ağustos sonundan Eylül ortasına kadar derin öğrenme sistemlerinin temelleri ele alınıyor
  • 8/26: Introduction / Logistics
  • 8/28: ML Refresher / Softmax Regression
  • 9/2: Manual Neural Networks / Backprop
  • 9/4: Automatic Differentiation
  • 9/9: Automatic Differentiation Implementation
• Eylül ortasından Ekim başına kadar model eğitimi ve framework implementasyonuna doğru genişliyor
  • 9/11: Optimization
  • 9/16: Neural Network Library Abstractions
  • 9/18: Normalization, Dropout, + Implementation
  • 9/23: NN Library Implementation
  • 9/25: Convolutional Networks
• Eylül sonundan Ekim ortasına kadar donanım hızlandırma ve CNN implementasyonu işleniyor
  • 9/30: Hardware Acceleration for Linear Algebra
  • 10/2: Hardware Acceleration + GPUs
  • 10/7: Hardware Acceleration Implementation
  • 10/9: Convoluations Network Implementation
  • 10/14 ve 10/16 tarihlerinde Fall Break nedeniyle ders yok
• Ekim sonlarında sıralı modelleme ve Transformers işleniyor
  • 10/21: Sequence Modeling + RNNs
  • 10/23: Sequence Modeling Implementation
  • 10/28: Transformers and Autoregressive Models
  • 10/30: Transformers Implementation
• Kasım sonrasında büyük modeller, üretici modeller, dağıtım ve proje sunumlarıyla devam ediyor
  • 11/4 tarihinde Democracy Day nedeniyle ders yok
  • 11/6: Training Large Models
  • 11/11: Generative Models
  • 11/13: Generative Models Implementation
  • 11/18: Customize Pretrained Models
  • 11/20: Model Deployment
  • 11/25: Future Directions / Q&A
  • 11/27 tarihinde Thanksgiving nedeniyle ders yok
  • 12/2, 12/4 ve 12/8 tarihlerinde öğrenci proje sunumları yapılacak

[GN⁺]

Hacker News yorumları

• Öz-dikkat işlemi slaytındaki “keys”, “queries”, “values” gibi derin öğrenmede pek de anlam taşımayan adlarla dalga geçilen kısmı gerçekten sevdim
  LSTM bağlamında da “forget gate”, “input gate”, “output gate” gibi adların sıkıştırıldığını söyleyerek iğneliyor; ama tam tersine, bu tür açıklamalar sayesinde konuyu gerçekten anladığıma dair güvenim artıyor
  Eskiden tuhaf terimler yüzünden tamamen yanlış yöne sürüklenmiş gibi hissederdim

  • Makine öğrenimi topluluğunun sinirbilim terimlerini kafasına göre alıp kullanmasına bakınca durum daha da kötüleşiyor
    Yine de kavramları sözle açıklarken kullanılabilecek, akılda kalıcı adların olmasını iyi buluyorum
  • “forget gate”, “input gate”, “output gate” geçerli adlar
    cell_h = cell_(h-1) * forget_gate + tanh(linear(input_h)) * input_gate
out_h = cell_h * output_gate
    Görüldüğü gibi forget_gate, girdiyi maskelemek için [0, 1] aralığında bir sayı çarpar; input_gate dış girdiyi kontrol eder; output_gate ise doğal olarak çıktıyı kontrol eder
  • Neyi ifade ettiklerini anlayınca adlar mantıklı geliyor. Başka ne denilmesinin daha iyi olacağını merak ediyorum
  • Makine öğreniminin istatistik terimlerini sinir bozucu derecede çarpıtarak kullanması da ilginç

• Açık eğitim materyalleri gerçekten iç ısıtıcı geliyor

• Bu ders, makine öğrenimi derleme ve dağıtımına giriş yapan oldukça kendine özgü bir ders

  • Eğitmen Kolter’in tarzını gerçekten beğendim; her dersin ardından not defteri dosyalarıyla birlikte uygulama videosu gelmesi nedeniyle bu dersi özellikle seviyorum
    Çoğu derin öğrenme dersinde uygulama asistanlara bırakılıyor ve ne kayıt alınıyor ne de yayımlanıyor; bu ders bir istisna
    Bir başka iyi istisna da Yann LeCun ve Alfredo Canziani’nin NYU Deep Learning dersi [0]; orada da tüm uygulama oturumları olan “Practica” kaydedilip yayımlanıyor. Canziani harika bir öğretmen
    [0]: https://atcold.github.io/pytorch-Deep-Learning

• Güzel. YouTube’daki VU Amsterdam derin öğrenme dersini de epey beğeniyorum
  Sistem tarafına odağı daha az, ama modern sinir ağı tabanlı makine öğrenimine giriş için çok iyi

  • Bağlantı: https://dlvu.github.io/

• Bu dersi bu sonbaharda da tekrar açıp açmayacaklarını merak ediyorum. Ödevleri göndermek için kayıt olmak gerekiyor gibi görünüyor; umarım yakında tekrar açılır

• MLSys’in büyüdüğünü görmek heyecan verici
  Derin öğrenme yöntemleri hesaplama açısından çok yoğun olduğu için, birçok ilerleme yeni algoritmalar ve optimizasyon yöntemleri sayesinde ortaya çıktı

• CMU’dayken bu ders ilk açıldığında almıştım; gerçekten harika ve iyi yapılandırılmış bir dersti

• Donanım hızlandırmayı ele alması iyi görünüyor. Bilgimde eksik kalan bir alan, anlamaya başlamak istediğim bir konuydu