Derin Pekiştirmeli Öğrenme: Acemiden Uzmana Sıçrama

Derin Pekiştirmeli Öğrenmeye Giriş

• Bu kurs, temel ve klasik Derin Pekiştirmeli Öğrenme algoritmalarını uygulamalı olarak öğretmeye odaklanan pratik bir başlangıç eğitimidir
• Kursu tamamladığınızda DQN, SAC, PPO gibi algoritmaları doğrudan uygulayabilir ve bu algoritmaların teorik temelini üst düzeyde anlayabilirsiniz
• Atari oyunlarını oynatmayı veya Ay'a iniş yapan bir yapay zekâyı eğitmeyi öğrenebilirsiniz

Ortam Kurulumu

• Öğrenmeye odaklanabilmeniz için ortam kurulumunu nasıl yapılacağını adım adım sunar
  • Miniconda kurulumu (Python sürümü seçimi yapılabilen bir ortam yöneticisi)
  • Bu Git deposunu checkout edip ilgili klasöre geçin
  • drlzh sanal ortamını oluşturun ve etkinleştirin

    conda create --name drlzh python=3.11
    conda activate drlzh  
    

  • Poetry kurulumu ve bağımlılıkların yüklenmesi (Atari için gymnasium[accept-rom-license] dahil)

    pip install poetry
    poetry install
    

  • Visual Studio Code kurulumu

Başlangıç

• Visual Studio Code'da bu depo klasörünü açın (.vscode klasörünü koruyarak)
• İlk 00_Intro.ipynb defterini açın ve izleyin
• Ardından sırayla bir sonraki deftere geçin
• Takılırsanız /solution klasörüne bakın
• Adım adım kodlama için ayrıntılı açıklamaları YouTube videosunda bulabilirsiniz

GN⁺'in Görüşleri

• Pekiştirmeli öğrenme, oyunlar ve robotikte büyük başarılar elde etmiş bir yapay zeka teknolojisidir, ancak gerçek hayattaki problemlerde uygulanmasında hâlâ zorluklar var. Örneğin öğrenme süreci uzun sürebilir ve güvenliğin kritik olduğu durumlarda deneme yanılma yapmak zor olabilir
• Bu kurs, Atari oyunları veya Ay'a iniş simülasyonu gibi basit problemleri ele alıyor; bu nedenle yeni başlayanların öğrenmesi için iyi bir seçenek, ancak gerçek sahadaki kullanıma geçmek için ek bir öğrenim gerekeceği görülüyor
• Bu tür açık kaynak eğitim materyallerinin artmasıyla daha fazla geliştiricinin yapay zeka teknolojilerini öğrenip kullanabilmesi mümkün hale gelmiş durumda. Özellikle pekiştirmeli öğrenme, robotik ve otonom sürüş alanındaki mühendisler için kritik bir teknik olarak öne çıkacaktır
• Uygulama ortamını kurmak için Conda, Poetry gibi farklı araçlar kullanılıyor; başlangıç seviyesindeki kullanıcılar için kurulum adımı ağır olabilir. Bulut tabanlı bir pratik ortam sunulursa giriş engeli düşürülebilir

[GN⁺]

Hacker News Yorumu

Özetle:

• Derin Pekiştirmeli Öğrenme (Deep Reinforcement Learning) öğrenmeye çalışırken birçok harika kaynağa erişebildim, ancak teori ve pratik arasında doğru dengeyi kuran materyallerin eksik olduğunu fark ettim.
• Bu nedenle bunu bizzat oluşturarak açık kaynak olarak paylaşmaya karar verdim. Algoritmaları sıfırdan Python notebook'larında yeniden yazarak "eğitsel bir yaklaşım" benimsedim.
• QLearning, DQN, SAC ve PPO gibi en yaygın kullanılan algoritmalar için, teori ve kodlama alıştırmalarını kapsayan uygulama odaklı adım adım bir öğreticidir.

Geri Bildirim

• Gerçekten çalışan basit örnekler fazlasıyla var, ancak bir şeyler ters gittiğinde ne yapılması gerektiğine dair pratik kaynaklar yetersiz. Örneğin eylemler üst sınıra takıldığında ya da keşif düzgün çalışmadığında buna dair öneriler olsa iyi olurdu.
• En son RL teknikleri bile Tetris’te basit sezgisel yöntemler kadar iyi performans gösteremiyor.
• Gym ile benzer, müzik üretimi için bir DRL çerçevesi olan RaveForce’u paylaştım. Bunu kullanarak algoritmaları test edebilirsiniz.
• İstatistik/ML temeli zayıf olan kişiler için bile bir ajan nasıl öğrenir bunu anlamaya yardımcı olur gibi görünüyor.
• YouTube video bağlantısı eklenirse iyi olurdu.
• Başlığın Andrej Karpathy'nin "Neural Network: Zero To Hero"dan alındığını belirttiğini söylüyor. Kişisel marka karmaşasına neden olabileceğine dair bir eleştiri var.