Richard Sutton ve Andrew Barto, 2024 Turing Ödülü'nü kazandı

• ACM A.M. Turing Award Honors Two Researchers Who Led the Development of Cornerstone AI Technology

• Andrew Barto and Richard Sutton Recognized as Pioneers of Reinforcement Learning

  • ACM, 2024 ACM A.M. Turing Award sahipleri olarak Andrew G. Barto ve Richard S. Sutton'ı seçti. İkili, pekiştirmeli öğrenmenin kavramsal ve algoritmik temellerini geliştirdi.
  • Barto, Massachusetts Üniversitesi Amherst kampüsünde bilgi ve bilgisayar bilimleri alanında emeritus profesör; Sutton ise Alberta Üniversitesi'nde bilgisayar bilimi profesörü olarak görev yapıyor.
  • Turing Ödülü, bilişim alanının Nobel'i olarak anılıyor ve Google'ın mali desteğiyle 1 milyon dolarlık ödülle veriliyor.

• What is Reinforcement Learning?

  • Yapay zeka alanı, esas olarak algılayan ve eylemde bulunan ajanlar inşa etmeye odaklanır. Pekiştirmeli öğrenme (RL), bu ajanların ödül sinyalleri aracılığıyla daha iyi davranışlar öğrenmesi sürecidir.
  • Pekiştirmeli öğrenmenin temeli, 1980'lerin başında Barto ve Sutton'ın psikolojideki gözlemlerden yola çıkarak bunu genel bir problem çerçevesi olarak formüle etmesiyle atıldı.
  • İkili, Markov karar süreci (MDP) temelli matematiksel altyapıyı kullanarak pekiştirmeli öğrenme algoritmaları geliştirdi.

• Başlıca katkılar

  • Barto ve Sutton, özellikle temporal difference learning, policy gradient yöntemleri ve sinir ağlarıyla öğrenme fonksiyonu gösterimini içeren temel algoritmik yaklaşımları geliştirdi.
  • İkilinin ders kitabı "Reinforcement Learning: An Introduction" hâlâ bu alanın standart başvuru kaynağı olarak kullanılıyor ve 75.000'den fazla atıf aldı.

• Pekiştirmeli öğrenmenin gerçek dünyadaki uygulamaları

  • Pekiştirmeli öğrenme, son 15 yılda derin öğrenme algoritmalarıyla birleşerek büyük ilerleme kaydetti. Bunun öne çıkan örnekleri arasında AlphaGo'nun Go zaferi ve ChatGPT'nin geliştirilmesi yer alıyor.
  • Pekiştirmeli öğrenme; robot motor becerilerinin öğrenilmesi, ağ tıkanıklığı kontrolü, çip tasarımı ve internet reklam optimizasyonu gibi çeşitli alanlarda başarı sağlıyor.

• Pekiştirmeli öğrenmenin nörobilimsel ilhamı

  • Son araştırmalar, yapay zekada geliştirilen belirli pekiştirmeli öğrenme algoritmalarının insan beynindeki dopamin sistemini açıklamada en uygun modeller olduğunu gösterdi.

• ACM A.M. Turing Award hakkında açıklama

  • Turing Ödülü, 1966'dan bu yana bilgi teknolojisi endüstrisini ileri taşıyan bilgisayar bilimcileri ve mühendisleri onurlandırmak için veriliyor.

• 2024 ACM A.M. Turing Award kazananları

  • Andrew Barto, Massachusetts Üniversitesi Amherst kampüsünde bilgi ve bilgisayar bilimleri alanında emeritus profesör olup çeşitli ödüller kazandı.
  • Richard Sutton, Alberta Üniversitesi'nde bilgisayar bilimi profesörü olarak görev yapıyor; çeşitli araştırma kurumlarında çalıştı ve birçok ödül aldı.

[GN⁺]

Hacker News görüşleri

• Çok havalı bir olay. Eşimle birlikte Andy Barto ve eşinin evini satın aldık

  • Satın alma sürecinde teklif savaşı vardı
  • Onun matematikçi olduğunu öğrenince asal sayı kullanarak teklif verdim
  • Başarılarının takdir edildiğini görmek gerçekten sevindirici

• Harika! Bunu fazlasıyla hak eden biri. RL ders kitabının iki baskısını da ücretsiz PDF olarak sunuyorlar

  • 1982'den beri AI pratisyeni olarak çalışıyorum ve RL benim için kişisel olarak ustalaşması zor bir konuydu
  • Sutton/Barto kitabı, Prof. White'ın Coursera RL dersleri vb. çok yardımcı oldu: tavsiye ederim
  • Kitaplarındaki örnek programlar Common Lisp ve Python ile sunuluyor

• The Bitter Lesson'ı yeniden okumak için iyi bir zaman

• Sutton bir insan sonrası savunucusu ve tüm insanlar ölse bile umursamıyor. Ona güvenilmez ve kutlanacak biri değil

• Keşke ödülü fizikçilere verselerdi

• Sutton'ın ABD yerine Kanada'nın Edmonton kentinde yaşıyor olması şaşırtıcı

  • Bu, onun şöhret ve paradan çok dürüstlük ve samimiyete değer verdiğini gösteriyor

• Bunlar harika insanlar ama ne yazık ki Sutton ve Barto'nun AI kitabı gerçekten kötü

  • Trask'ın Grokking Machine Learning'i ve birkaç aylık ML makalesi uygulaması daha iyi olur

• Verdiğim derste onların RL kitabını kullandım

  • Çok güzel yazılmış ve ücretsiz sunuluyor
  • Sık sık güzel yazıya odaklanıp asıl içeriği kaçırıyordum

• Andrew Barto ve Richard Sutton'ı Turing Award kazandıkları için içtenlikle kutluyorum

  • Öğrencilik yıllarımda, onların ders kitabı Reinforcement Learning: An Introduction bu alana giriş yapmamı sağlayan şeydi
  • 'Temporal Difference Learning' üzerine 6. bölüm, ardışık karar verme hakkında düşünme biçimimi temelden değiştirdi
  • Bugün bile hâlâ okunmasını şiddetle tavsiye ettiğim bir klasik

• Bu çoktan gelmesi gereken bir şeydi. Fikri baştan sona taşıyıp onu bir dinamik programlama kitabının alt bölümü olmaktan çıkararak başlı başına bir alana dönüştürdüler

  • Keşke daha fazla oyun gerçekten RL kullansa - tüm bunların başladığı yer orasıydı - gerçekten harika olurdu