Pekiştirmeli Öğrenmenin (RL) Matematiksel Temelleri: Kitap ve YouTube Dersleri

• Bu kitap, pekiştirmeli öğrenmenin temel kavramlarını, problemlerini ve algoritmalarını matematiksel açıdan anlaşılır bir şekilde tanıtmayı amaçlar.
• Yalnızca algoritmaların adımlarını değil, neden tasarlandıklarını ve neden etkili olduklarını da anlayabilmek için matematiksel bir bakış açısıyla açıklar.
• Matematiğin derinliği uygun bir seviyede ayarlanmıştır ve okurun isteğe bağlı olarak inceleyebileceği örnekler sunar.
• Algoritmaların temel fikirlerini karmaşık unsurlardan ayırarak okurun daha iyi anlamasına yardımcı olur.
• Her bölüm, önceki bölümün üzerine inşa edilir ve bir sonraki bölüm için temel sağlar.

• İngilizce video dersleri YouTube'da yayınlandı

İçerik

• Bu kitap 10 bölümden oluşur ve temel araçlar ile algoritmalar üzerine iki kısma ayrılır.
• Her bölüm birbiriyle ilişkilidir ve ilk bölümlerin önce çalışılması gerekir.

Hedef Okur Kitlesi

• Bu kitap, pekiştirmeli öğrenmeye ilgi duyan ileri düzey lisans öğrencileri, lisansüstü öğrenciler, araştırmacılar ve uygulayıcılar için hazırlanmıştır.
• Pekiştirmeli öğrenme hakkında ön bilgi olmasa da anlaşılabilmesi için temel kavramlardan başlar.
• Olasılık teorisi ve lineer cebir bilgisi gereklidir; gerekli matematiksel temel eklerde yer alır.

Ders Videoları

• Kitap ve ders videoları birlikte kullanılarak daha iyi bir öğrenme deneyimi elde edilebilir.
• Çince ders videoları Bilibili kanalı ve YouTube kanalında bulunabilir; 2025 Şubat itibarıyla 1.300.000'den fazla izlenmeye ulaşmıştır.
• İngilizce ders videoları YouTube'a yüklenmiştir.

Yazar Hakkında

• Yazar bilgilerine ana sayfa ve araştırma grubu web sitesinden ulaşılabilir.
• 2019'dan beri pekiştirmeli öğrenme üzerine lisansüstü dersler vermektedir ve bu kitap ders notları olarak hazırlanmıştır.
• Bu kitabın, okurların pekiştirmeli öğrenme alanına sorunsuz biçimde giriş yapmasına yardımcı olması umulmaktadır.

Atıf

• Kitap başlığı: "Mathematical Foundations of Reinforcement Learning"
• Yazar: S. Zhao
• Yayın yılı: 2025
• Yayınevi: Springer Nature Press ve Tsinghua University Press

Güncelleme Geçmişi

• Şubat 2025: 5.000+ yıldız elde edildi
• Aralık 2024: 4.000+ yıldız elde edildi
• Ekim 2024: kitap kapağı tasarımı tamamlandı
• Eylül 2024: Springer yayını öncesi son düzeltmeler
• Ağustos 2024: 3.000+ yıldız elde edildi ve kod eklendi
• Haziran 2024: yayın öncesi son düzeltmeler
• Nisan 2024: grid world ortam kodu eklendi
• Mart 2024: 2.000 yıldız elde edildi
• Mart 2024: üçüncü sürüm taslağı çevrimiçi yayınlandı
• Eylül 2023: 1.000+ yıldız elde edildi
• Ağustos 2023: ikinci sürüm taslağı çevrimiçi yayınlandı
• Kasım 2022: Springer Nature ve Tsinghua University Press ile ortak yayın planlandı
• Ekim 2022: ders notları ve videolar çevrimiçi yayınlandı
• Ağustos 2022: ilk taslak çevrimiçi yayınlandı

[kipsong133]

İyi kaynak tanıtımı için teşekkürler.

[GN⁺]

Hacker News görüşleri

• OpenAI Gym dönemindeki pekiştirmeli öğrenmenin (RL) en büyük avantajlarından biri, yeni başlayanlar için erişilebilir olmasıydı. Küçük ortamlarda hobi olarak RL öğrenip bunu Cartpole gibi basit problemlere uygulayabiliyordunuz. LLM'lerle ilişkili, benzer şekilde erişilebilir RL görevleri veya öğrenme ortamları olup olmadığını merak ediyorum. Sıradan bir MacBook Air ile LLM x RL alanında yapılabilecek şeyler olup olmadığını da merak ediyorum

  • Pieter Abbeel'in Deep RL temellerine dair 6 derslik serisi de şiddetle tavsiye edilir. İyi bir genel çerçeve ve sezgi sunuyor
  • Pekiştirmeli öğrenme ve ilgili konular üzerine en iyi dersler Dimitris Bertsekas'ın dersleridir
  • RL hakkında mükemmel görsel bir genel bakış sunan diyagramlar ve 30 dakikalık tanıtım YouTube videosu da şiddetle tavsiye edilir
  • Mühendislik, lojistik ve tıp alanındaki gerçek problemleri çözmek için RL kullanan hiper büyüme aşamasındaki çok sayıda startup ortaya çıkmasını bekliyorum
  • LLM'ler şu anda çok ilgi görüyor ama girişim sermayesinin RL şirketlerine özel bir ilgi göstermemesi şaşırtıcı

• RL için bir başka mükemmel kaynak da Mykel Kochenderfer'in ders kitabı koleksiyonudur

  • Murphy'nin RL'ye odaklanan ve hâlen yazım aşamasında olan ders kitabı da anılmaya değer
  • İlgilenenler için Sutton'ın kitabının büyük kısmını uygulayan bir GitHub deposu var
  • MinRL kodunun da bağlantılanmış olması güzel. RL araştırması yaparken karşılaştırmalı çalışmaları yeniden üretmek ve kendi katkılarınızı doğrulamak büyük bir sorundu. Görselleştirme araçları ve sadece gözlemle doğrulanabilen bir gridworld sandbox'ı olan basit bir kütüphane çok faydalı

• Bu kitap, okuyucunun olasılık teorisi ve lineer cebir bilgisine sahip olması gerektiğini söylüyor. Böyle ifadeleri her zaman biraz şüpheyle ve bunların matematik meraklıları tarafından yazıldığını bilerek değerlendirmek gerekir. Ortalama matematik becerisine sahip ortalama bir programcı dikkatli olmalı

• Bu materyali anlamaktan bu alanda nasıl iş bulunacağına geçişi pek göremiyorum. Şu anda yazılım mühendisi (SWE) olarak kalıyorum