Ilya Sutskever: "Bunların hepsini öğrenirseniz önemli şeylerin %90’ını bilmiş olursunuz"

 (reddit.com)
6 puan yazan GN⁺ 2024-05-19 | 3 yorum | WhatsApp'ta paylaş

Ilya Sutskever’in makine öğrenimi/yapay zeka ile ilgili önerdiği okuma listesi

  • The Annotated Transformer
  • The First Law of Complexodynamics
  • The Unreasonable Effectiveness of RNNs
  • Understanding LSTM Networks
  • Recurrent Neural Network Regularization
  • Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
  • Pointer Networks
  • ImageNet Classification with Deep CNNs
  • Order Matters: Sequence to sequence for sets
  • GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
  • Deep Residual Learning for Image Recognition
  • Multi-Scale Context Aggregation by Dilated Convolutions
  • Neural Quantum Chemistry
  • Attention Is All You Need
  • Neural Machine Translation by Jointly Learning to Align and Translate
  • Identity Mappings in Deep Residual Networks
  • A Simple NN Module for Relational Reasoning
  • Variational Lossy Autoencoder
  • Relational RNNs
  • Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
  • Neural Turing Machines
  • Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
  • Scaling Laws for Neural LMs
  • A Tutorial Introduction to the Minimum Description Length Principle
  • Machine Super Intelligence Dissertation
    1. sayfadan itibaren: Komogrov Complexity
  • CS231n Convolutional Neural Networks for Visual Recognition

Bağlantı derlemesi: https://arc.net/folder/D0472A20-9C20-4D3F-B145-D2865C0A9FEE

İlgili okumalar

3 yorum

 
lemonmint 2024-05-19

Neo bot crawling ile ilgili bir sorun var gibi görünüyor.
 
xguru 2024-05-20

Görünüşe göre Reddit engelliyor. Ben de elle ekledim ;)
 
GN⁺ 2024-05-19
Hacker News görüşü

Hacker News yorumları derleme özeti

  • Başlık, bu görevin kapsamını olduğundan küçük gösteriyor. İçeriğe girip bunların ne olduğuna bakarsanız:

    • Biri, evrişimli sinir ağları üzerine tam bir kurs link
    • Biri, 500 sayfalık bir ders kitabı link
    • Bir diğeri, 80 sayfalık bir ders kitabı link
    • Bu listeyi tam zamanlı olarak yaklaşık 1 yıl çalışırsanız mümkün olabilir. Önceliklerinize bağlı olarak buna değebilir.

  • Bir süre önce ben de listedekileri link adresine kopyaladım, böylece wget ile almak daha kolay oldu (örneğin tüm arXiv PDF’lerini)

    • wget komutunu kullanarak tüm arXiv PDF’leri indirilebilir.
    • Bir arkadaşımla birlikte pdfunite kullanarak bunları tek bir PDF’de birleştirdik ve matbaada spiral cilt olarak bastırdık. Sonuç gerçekten çok iyiydi.

  • Bunun gerçek liste olduğuna dair doğrulanmış bir bilgi olmadığını akılda tutun.

    • Bu listenin gerçekten o liste olduğu doğrulanmış değil.
    • Bunun, Ilya’nın 1 yıl önce John Carmack’e verdiği liste olduğu söyleniyor.

  • Zaten bir bilgisayar bilimi geçmişiniz yoksa, bunları öğrenmek için gereken ön koşulları öğrenmek ne kadar sürer?

    • Listeye göz attım ve başlıkların yaklaşık yarısını bile anlamakta zorlandım.
    • Bu listeye başlarsam anlayabilir miyim, yoksa başka bir yerden mi başlamalıyım diye merak ediyorum.

  • İnsanların unuttuğu şey şu: Uygun ve somut bir hedef olmadan, ne kadar temel ya da ilginç makale okursanız okuyun, yine de hiçbir şey hatırlamayacaksınız.

    • Net ve somut bir hedef yoksa, ne kadar çok makale okursanız okuyun akılda kalmaz.

  • Ekim 2022’ye kadar giden birkaç eski tartışma var. Listenin şimdi ne kadar güncelliğini yitirdiğini merak ediyorum.

    • Bu listenin ne kadar eski olduğunu merak ediyorum. Ekim 2022’den beri birkaç tartışma olmuş.

  • Bu sadece birinin yer imi klasörü. Bunların Ilya tarafından önerildiğine dair kanıt nerede?

    • Bu listenin Ilya tarafından önerildiğine dair hiçbir kanıt yok. Sadece birinin yer imi klasörü olabilir.

  • Bunun ML’de önemli olan şeylerin %90’ı olduğu iddiası biraz iddialı görünüyor.

    • Bu listenin makine öğreniminde önemli olanların %90’ını kapsadığı iddiası cesurca. Pekiştirmeli öğrenme ya da grafik sinir ağları gibi önemli konular eksik.

  • Burada LLM’lerle ilgili hiçbir şey yok; oysa in-context learning, retrieval augmentation, tool use ve multimodality asıl hızlı ilerlemenin yaşandığı alanlar.

    • Listede büyük dil modelleri (LLM) hakkında hiçbir şey yok. In-context learning, retrieval augmentation, tool use ve multimodality gibi önemli başlıklar eksik.

  • 30 çalışmayı okumak, "öğrendim ve anladım" anlamına gelmez. Özellikle sıfırdan başlıyorsanız.

    • 30 makale okumak, "öğrendim ve anladım" demek değildir. Özellikle de sıfırdan başlıyorsanız bu daha da geçerlidir.