30 Papers - Ilya Sutskever’in Önerdiği Temel Yapay Zeka Makaleleri Listesinin Özeti

baeba · 2026-07-08T09:33:20+09:00

Ilya Sutskever’in John Carmack’e önerdiği söylenen temel yapay zeka makaleleri listesine dayanarak, makine öğrenmesinin temel çalışmalarını yeni başlayanların takip etmesini kolaylaştıracak şekilde bir araya getiren bir site Liste; derin öğrenme, bilgisayarlı görü, sıralı modelleme, attention, transformer, grafik sinir ağları, ölçekleme yasaları, bilgi kuramı, karmaşıklık kuramı gibi modern yapay zekanın başlıca gelişim çizgilerini izliyor Yalnızca makaleleri sıralamakla kalmayıp ders notları, açıklayıcı yazılar ve kod temelli anlatımları da birlikte sunarak orijinal makalelere giriş eşiğini düşürüyor Modern büyük dil modellerini ve derin öğrenme sistemlerini anlamak isteyen okurlar, mimari·öğrenme teknikleri·karmaşıklık kuramı için başlangıç noktalarını tek bir yerde gözden geçirebilir Başlangıçta 30 makalelik bir liste olarak bilinse de, şu anda web sitesinde yalnızca 27 madde derlenmiş durumda Giriş Yapay zeka gelişiminin temel kaynaklarını derleyen bir liste Bu web sitesi, yapay zeka araştırmalarındaki büyük dönüm noktalarını oluşturan makaleleri ve öğrenme kaynaklarını bir araya getiren bir projedir. Liste, Ilya Sutskever’in John Carmack’e önerdiğine dair söylentiye dayanarak oluşturulmuştur. Web sitesinin yazarı, toplam 30 makaleden şu anda yalnızca 27’sine ulaşabildiğini belirtiyor. Her madde; makale başlığı, ana içeriğin özeti ve başlıca katkı sağlayanlara ilişkin bilgileri içerir. Kaynağın amacı, modern yapay zeka teknolojilerinin temelini oluşturan fikirleri tek bakışta kavranabilecek şekilde düzenlemektir. Ana bölüm Bilgisayarlı görü ve evrişimli sinir ağlarının gelişimi CS231n: Convolutional Neural Networks for Visual Recognition Evrişimli sinir ağlarını temelden anlatan bir eğitim kaynağıdır. Doğrusal sınıflandırıcılardan derin görüntü tanıma modellerine kadar aşamalı biçimde ele alır. Bilgisayarlı görü alanında CNN öğrenmek için giriş niteliğinde bir kaynak işlevi görür. ImageNet Classification with Deep Convolutional Neural Networks AlexNet makalesi olarak bilinir ve ImageNet yarışmasını büyük bir performans farkıyla kazandı. Büyük ölçekli görüntü sınıflandırmada derin evrişimli sinir ağlarının etkisini kanıtladı. Modern derin öğrenme çağını başlatan temsilî makalelerden biri olarak değerlendirilir. Deep Residual Learning for Image Recognition ResNet makalesi olup residual connection kavramını tanıttı. Ağın tüm dönüşümü değil, girdiye göre değişim miktarını öğrenmesini sağlayacak şekilde tasarlandı. Yüzlerce katmandan oluşan derin sinir ağlarının eğitilmesini mümkün kıldı. Identity Mappings in Deep Residual Networks ResNet’in devamı niteliğindeki bu çalışma, identity shortcut’un neden etkili olduğunu analiz etti. pre-activation residual block önererek residual ağ yapısını geliştirdi. Derin ağların optimizasyon kararlılığına ve performans artışına katkı sağladı. Multi-Scale Context Aggregation by Dilated Convolutions dilated convolution ile çözünürlük kaybı olmadan receptive field’ı genişletme yöntemini sundu. Görüntü bölütleme gibi dense prediction görevlerinde bağlam bilgisinin daha geniş kullanılmasını sağladı. İnce mekânsal bilgiyi korurken daha geniş kapsamlı özelliklerin yansıtılmasına katkı verdi. Sıralı modeller ve uzun vadeli bağımlılık probleminin çözümü The Unreasonable Effectiveness of Recurrent Neural Networks Karakter düzeyinde RNN ile metin üretimini deneyen pratik bir blog yazısıdır. RNN’in verideki yapı ve örüntülerin önemli bir bölümünü yakalayabildiğini örneklerle gösterir. Sıralı veri modellemenin imkânlarını sezgisel biçimde açıklar. Understanding LSTM Networks LSTM’in kapı yapısını ve bilgi aktarımını görsel olarak açıklayan bir kaynaktır. Uzun dizilerde bilginin nasıl korunduğunu anlamaya odaklanır. LSTM öğrenmeye yeni başlayanlar için yaygın kullanılan bir giriş kaynağıdır. Recurrent Neural Network Regularization LSTM’de dropout uygulamanın uygun yöntemini sunar. dropout’un recurrent connection yerine non-recurrent connection üzerinde uygulanması gerektiğini açıklar. Büyük tekrarlayan sinir ağlarında aşırı öğrenmeyi azaltmaya katkı sağladı. Order Matters: Sequence to Sequence for Sets sequence-to-sequence modellerinde girdi ve çıktı sırasının performansa etkisini analiz etti. Özünde küme olan verilerin sıralı modellerle işlenirken ortaya çıkan sorunları ele alır. Sırasız veri yapılarının nasıl modellenebileceğine dair bir tartışma sunar. Attention ve transformer’a uzanan yapısal dönüşüm Neural Machine Translation by Jointly Learning to Align and Translate Makine çevirisinde attention mekanizmasını tanıtan temel bir makaledir. Modelin tek bir sabit özet vektöre dayanmak yerine ilgili kaynak kelimelere doğrudan başvurmasını sağladı. Sonraki doğal dil işleme model mimarilerindeki dönüşüm için önemli bir temel oldu. Pointer Networks Çıktının girdideki belirli konumları işaret etmesi için tasarlanmış bir sequence modeldir. Doğru cevabın girdi öğelerinin seçimi ya da sıralanmasıyla ifade edildiği problemlere uygundur. Kombinatoryal optimizasyon ve yapısal tahmin problemlerinde kullanılabilecek bir model mimarisi sundu. Attention Is All You Need Transformer mimarisini öneren makaledir. recurrence’i kaldırıp sıralı veriyi yalnızca self-attention ile işledi. Modern büyük dil modellerinin temel yapısal dayanağı oldu. The Annotated Transformer Transformer makalesini çalıştırılabilir kodla birlikte satır satır açıklayan bir kaynaktır. Orijinal makalenin yapısını gerçek uygulama perspektifinden anlamaya yardımcı olur. Araştırma makalesi ile pratik uygulama arasındaki boşluğu azaltan bir öğrenme materyali işlevi görür. Bellek, ilişkisel akıl yürütme ve grafik yapılı öğrenme Neural Turing Machines Sinir ağını okuma-yazma yapılabilen harici bellekle birleştiren bir modeldir. Belleği diferansiyellenebilir attention ile kontrol eder. Örnek verilerden basit algoritmaları öğrenebilme olasılığını ortaya koydu. A Simple Neural Network Module for Relational Reasoning relation network’ü öneren makaledir. Nesne çiftleri arasındaki ilişkileri çıkarabilen bir modülü sinir ağına ekler. Görsel akıl yürütme ve ilişki temelli problem çözümü için yararlı bir yapı sundu. Relational Recurrent Neural Networks recurrent network ile self-attention tabanlı belleği birleştirdi. Saklanan belleklerin birbirleriyle etkileşime girebileceği şekilde tasarlandı. Zaman içinde ilişkisel akıl yürütme gerektiren görevlerde performansı artırmayı hedefler. Neural Message Passing for Quantum Chemistry Grafik sinir ağlarını message passing framework olarak birleştirip açıkladı. Moleküler yapı özelliklerinin tahmininde grafik tabanlı öğrenmeyi uyguladı. Grafik sinir ağı araştırmalarının yapısal temelini düzenleyen bir makale olarak görülebilir. Büyük ölçekli model eğitimi ve ölçekleme yasaları Scaling Laws for Neural Language Models Dil modellerinin kaybının model boyutu, veri ve hesaplama miktarına göre belirli bir power law biçiminde azaldığını ölçtü. Büyük ölçekli modeller kurmak için ampirik bir temel sundu. Sonraki büyük dil modeli geliştirme stratejileri için önemli bir ölçüt haline geldi. GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism Dev sinir ağlarını birden fazla cihaza bölerek eğitmeye yarayan pipeline parallelism yöntemini sundu. Cihazlar arası işi verimli biçimde dağıtarak büyük ölçekli model eğitimini pratik hale getirdi. Model boyutunu büyütmek için gereken eğitim altyapısına dair bir çözüm sağladı. Deep Speech 2: End-to-End Speech Recognition in English and Mandarin İngilizce ve Mandarin konuşma tanımayı end-to-end biçimde ele alan bir sistemdir. Konuşma dizilerini öğrenmek için connectionist temporal classification kullandı. Farklı dil ortamlarında da ölçeklenebilen konuşma tanıma modellerinin mümkün olduğunu gösterdi. Bilgi kuramı, sıkıştırma ve karmaşıklık açısından öğrenmeyi anlama Keeping Neural Networks Simple by Minimizing the Description Length of the Weights Sinir ağlarının genellemesini, ağırlıkların açıklama uzunluğuyla ilişkilendirerek yorumlayan erken dönem bir çalışmadır. İyi bir modelin, az sayıda bit ile açıklanabilen ağırlıklara sahip olduğu görüşünü sundu. Sıkıştırma ile genelleme arasındaki ilişkiyi bilgi kuramı açısından açıklar. A Tutorial Introduction to the Minimum Description Length Principle Minimum açıklama uzunluğu ilkesini tanıtan bir öğretici kaynaktır. Öğrenmeyi, veriyi en kısa şekilde açıklayan modeli bulma süreci olarak yorumlar. Model seçimi ve sıkıştırma temelli öğrenmeyi anlamak için gerekli temel kavramları sunar. Kolmogorov Complexity Bir dizgiyi üreten en kısa programın uzunluğunu ele alan kuramdır. description length ve algorithmic randomness için biçimsel bir temel sağlar. Yapay zeka modellerinde sıkıştırma, genelleme ve karmaşıklık tartışmalarıyla bağlantılıdır. The First Law of Complexodynamics Kapalı sistemlerde karmaşıklığın neden artıp sonra azaldığını açıklayan bir yasayı inceleyen yazıdır. Karmaşıklığı yalnızca entropiyle özdeşleştirmeyip ayrı bir dinamik özellik olarak ele alır. Karmaşık sistemlerin zamana bağlı değişimine dair kavramsal sorular ortaya koyar. Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton Kahve ile kremanın karışma sürecini hücresel otomatlarla modelleyen bir çalışmadır. Sistemin dengeye ilerlerken karmaşıklığın önce artıp sonra azaldığı olguyu analiz eder. Karmaşıklığın zamansal değişimini nicel olarak ifade etme çabasını gösterir. Üretici modeller ve evrensel zeka kavramı Variational Lossy Autoencoder Variational autoencoder ile autoregressive decoder’ı birleştiren bir modeldir. latent code’un hangi bilgiyi koruması gerektiğini kontrol etmenin yolunu sunar. Üretici modellerde temsil öğrenimi ile bilgi koruma arasındaki dengeyi ele alır. Machine Super Intelligence Makine zekâsını evrensel olarak ölçme yöntemini öneren bir doktora tezidir. Çok güçlü ajanların özelliklerini ve sonuçlarını kuramsal olarak inceler. Yapay genel zekâ ve süperzekâ tartışmalarının biçimsel temellerinden biri olarak görülebilir. Sonuç Modern yapay zekanın temel gelişim rotasını sıkıştırılmış biçimde sunan bir referans listesi Bu liste, modern yapay zekanın gelişimini yönlendiren başlıca kavramları teknolojik akışlara göre düzenliyor. Erken dönem bilgisayarlı görü modellerinden başlayıp RNN, LSTM, attention, Transformer ve scaling laws’a uzanan yapısal dönüşümü gösteriyor. Sinir ağı optimizasyonu, büyük ölçekli eğitim, grafik yapılı öğrenme, bilgi kuramı ve karmaşıklık kuramını da geniş biçimde kapsıyor. Tek bir alana ait makale listesi olmaktan çok, modern yapay zekayı anlamak için çok katmanlı bir öğrenme rotasına yakındır. Yapay zeka araştırmacıları ve geliştiricileri için, teknolojinin tarihsel bağlamını, temel ilkelerini ve araştırma yönlerini birlikte kavramayı sağlayan bir temel kaynak olarak kullanılabilir.

(30papers.com)

21 puan yazan baeba 4 시간 전 | 2 yorum | WhatsApp'ta paylaş

Ilya Sutskever’in John Carmack’e önerdiği söylenen temel yapay zeka makaleleri listesine dayanarak, makine öğrenmesinin temel çalışmalarını yeni başlayanların takip etmesini kolaylaştıracak şekilde bir araya getiren bir site
Liste; derin öğrenme, bilgisayarlı görü, sıralı modelleme, attention, transformer, grafik sinir ağları, ölçekleme yasaları, bilgi kuramı, karmaşıklık kuramı gibi modern yapay zekanın başlıca gelişim çizgilerini izliyor
Yalnızca makaleleri sıralamakla kalmayıp ders notları, açıklayıcı yazılar ve kod temelli anlatımları da birlikte sunarak orijinal makalelere giriş eşiğini düşürüyor
Modern büyük dil modellerini ve derin öğrenme sistemlerini anlamak isteyen okurlar, mimari·öğrenme teknikleri·karmaşıklık kuramı için başlangıç noktalarını tek bir yerde gözden geçirebilir
Başlangıçta 30 makalelik bir liste olarak bilinse de, şu anda web sitesinde yalnızca 27 madde derlenmiş durumda

Giriş

Yapay zeka gelişiminin temel kaynaklarını derleyen bir liste

Bu web sitesi, yapay zeka araştırmalarındaki büyük dönüm noktalarını oluşturan makaleleri ve öğrenme kaynaklarını bir araya getiren bir projedir.
Liste, Ilya Sutskever’in John Carmack’e önerdiğine dair söylentiye dayanarak oluşturulmuştur.
Web sitesinin yazarı, toplam 30 makaleden şu anda yalnızca 27’sine ulaşabildiğini belirtiyor.
Her madde; makale başlığı, ana içeriğin özeti ve başlıca katkı sağlayanlara ilişkin bilgileri içerir.
Kaynağın amacı, modern yapay zeka teknolojilerinin temelini oluşturan fikirleri tek bakışta kavranabilecek şekilde düzenlemektir.

Ana bölüm

Bilgisayarlı görü ve evrişimli sinir ağlarının gelişimi

CS231n: Convolutional Neural Networks for Visual Recognition
- Evrişimli sinir ağlarını temelden anlatan bir eğitim kaynağıdır.
- Doğrusal sınıflandırıcılardan derin görüntü tanıma modellerine kadar aşamalı biçimde ele alır.
- Bilgisayarlı görü alanında CNN öğrenmek için giriş niteliğinde bir kaynak işlevi görür.
ImageNet Classification with Deep Convolutional Neural Networks
- AlexNet makalesi olarak bilinir ve ImageNet yarışmasını büyük bir performans farkıyla kazandı.
- Büyük ölçekli görüntü sınıflandırmada derin evrişimli sinir ağlarının etkisini kanıtladı.
- Modern derin öğrenme çağını başlatan temsilî makalelerden biri olarak değerlendirilir.
Deep Residual Learning for Image Recognition
- ResNet makalesi olup residual connection kavramını tanıttı.
- Ağın tüm dönüşümü değil, girdiye göre değişim miktarını öğrenmesini sağlayacak şekilde tasarlandı.
- Yüzlerce katmandan oluşan derin sinir ağlarının eğitilmesini mümkün kıldı.
Identity Mappings in Deep Residual Networks
- ResNet’in devamı niteliğindeki bu çalışma, identity shortcut’un neden etkili olduğunu analiz etti.
- pre-activation residual block önererek residual ağ yapısını geliştirdi.
- Derin ağların optimizasyon kararlılığına ve performans artışına katkı sağladı.
Multi-Scale Context Aggregation by Dilated Convolutions
- dilated convolution ile çözünürlük kaybı olmadan receptive field’ı genişletme yöntemini sundu.
- Görüntü bölütleme gibi dense prediction görevlerinde bağlam bilgisinin daha geniş kullanılmasını sağladı.
- İnce mekânsal bilgiyi korurken daha geniş kapsamlı özelliklerin yansıtılmasına katkı verdi.

Sıralı modeller ve uzun vadeli bağımlılık probleminin çözümü

The Unreasonable Effectiveness of Recurrent Neural Networks
- Karakter düzeyinde RNN ile metin üretimini deneyen pratik bir blog yazısıdır.
- RNN’in verideki yapı ve örüntülerin önemli bir bölümünü yakalayabildiğini örneklerle gösterir.
- Sıralı veri modellemenin imkânlarını sezgisel biçimde açıklar.
Understanding LSTM Networks
- LSTM’in kapı yapısını ve bilgi aktarımını görsel olarak açıklayan bir kaynaktır.
- Uzun dizilerde bilginin nasıl korunduğunu anlamaya odaklanır.
- LSTM öğrenmeye yeni başlayanlar için yaygın kullanılan bir giriş kaynağıdır.
Recurrent Neural Network Regularization
- LSTM’de dropout uygulamanın uygun yöntemini sunar.
- dropout’un recurrent connection yerine non-recurrent connection üzerinde uygulanması gerektiğini açıklar.
- Büyük tekrarlayan sinir ağlarında aşırı öğrenmeyi azaltmaya katkı sağladı.
Order Matters: Sequence to Sequence for Sets
- sequence-to-sequence modellerinde girdi ve çıktı sırasının performansa etkisini analiz etti.
- Özünde küme olan verilerin sıralı modellerle işlenirken ortaya çıkan sorunları ele alır.
- Sırasız veri yapılarının nasıl modellenebileceğine dair bir tartışma sunar.

Attention ve transformer’a uzanan yapısal dönüşüm

Neural Machine Translation by Jointly Learning to Align and Translate
- Makine çevirisinde attention mekanizmasını tanıtan temel bir makaledir.
- Modelin tek bir sabit özet vektöre dayanmak yerine ilgili kaynak kelimelere doğrudan başvurmasını sağladı.
- Sonraki doğal dil işleme model mimarilerindeki dönüşüm için önemli bir temel oldu.
Pointer Networks
- Çıktının girdideki belirli konumları işaret etmesi için tasarlanmış bir sequence modeldir.
- Doğru cevabın girdi öğelerinin seçimi ya da sıralanmasıyla ifade edildiği problemlere uygundur.
- Kombinatoryal optimizasyon ve yapısal tahmin problemlerinde kullanılabilecek bir model mimarisi sundu.
Attention Is All You Need
- Transformer mimarisini öneren makaledir.
- recurrence’i kaldırıp sıralı veriyi yalnızca self-attention ile işledi.
- Modern büyük dil modellerinin temel yapısal dayanağı oldu.
The Annotated Transformer
- Transformer makalesini çalıştırılabilir kodla birlikte satır satır açıklayan bir kaynaktır.
- Orijinal makalenin yapısını gerçek uygulama perspektifinden anlamaya yardımcı olur.
- Araştırma makalesi ile pratik uygulama arasındaki boşluğu azaltan bir öğrenme materyali işlevi görür.

Bellek, ilişkisel akıl yürütme ve grafik yapılı öğrenme

Neural Turing Machines
- Sinir ağını okuma-yazma yapılabilen harici bellekle birleştiren bir modeldir.
- Belleği diferansiyellenebilir attention ile kontrol eder.
- Örnek verilerden basit algoritmaları öğrenebilme olasılığını ortaya koydu.
A Simple Neural Network Module for Relational Reasoning
- relation network’ü öneren makaledir.
- Nesne çiftleri arasındaki ilişkileri çıkarabilen bir modülü sinir ağına ekler.
- Görsel akıl yürütme ve ilişki temelli problem çözümü için yararlı bir yapı sundu.
Relational Recurrent Neural Networks
- recurrent network ile self-attention tabanlı belleği birleştirdi.
- Saklanan belleklerin birbirleriyle etkileşime girebileceği şekilde tasarlandı.
- Zaman içinde ilişkisel akıl yürütme gerektiren görevlerde performansı artırmayı hedefler.
Neural Message Passing for Quantum Chemistry
- Grafik sinir ağlarını message passing framework olarak birleştirip açıkladı.
- Moleküler yapı özelliklerinin tahmininde grafik tabanlı öğrenmeyi uyguladı.
- Grafik sinir ağı araştırmalarının yapısal temelini düzenleyen bir makale olarak görülebilir.

Büyük ölçekli model eğitimi ve ölçekleme yasaları

Scaling Laws for Neural Language Models
- Dil modellerinin kaybının model boyutu, veri ve hesaplama miktarına göre belirli bir power law biçiminde azaldığını ölçtü.
- Büyük ölçekli modeller kurmak için ampirik bir temel sundu.
- Sonraki büyük dil modeli geliştirme stratejileri için önemli bir ölçüt haline geldi.
GPipe: Efficient Training of Giant Neural Networks using Pipeline Parallelism
- Dev sinir ağlarını birden fazla cihaza bölerek eğitmeye yarayan pipeline parallelism yöntemini sundu.
- Cihazlar arası işi verimli biçimde dağıtarak büyük ölçekli model eğitimini pratik hale getirdi.
- Model boyutunu büyütmek için gereken eğitim altyapısına dair bir çözüm sağladı.
Deep Speech 2: End-to-End Speech Recognition in English and Mandarin
- İngilizce ve Mandarin konuşma tanımayı end-to-end biçimde ele alan bir sistemdir.
- Konuşma dizilerini öğrenmek için connectionist temporal classification kullandı.
- Farklı dil ortamlarında da ölçeklenebilen konuşma tanıma modellerinin mümkün olduğunu gösterdi.

Bilgi kuramı, sıkıştırma ve karmaşıklık açısından öğrenmeyi anlama

Keeping Neural Networks Simple by Minimizing the Description Length of the Weights
- Sinir ağlarının genellemesini, ağırlıkların açıklama uzunluğuyla ilişkilendirerek yorumlayan erken dönem bir çalışmadır.
- İyi bir modelin, az sayıda bit ile açıklanabilen ağırlıklara sahip olduğu görüşünü sundu.
- Sıkıştırma ile genelleme arasındaki ilişkiyi bilgi kuramı açısından açıklar.
A Tutorial Introduction to the Minimum Description Length Principle
- Minimum açıklama uzunluğu ilkesini tanıtan bir öğretici kaynaktır.
- Öğrenmeyi, veriyi en kısa şekilde açıklayan modeli bulma süreci olarak yorumlar.
- Model seçimi ve sıkıştırma temelli öğrenmeyi anlamak için gerekli temel kavramları sunar.
Kolmogorov Complexity
- Bir dizgiyi üreten en kısa programın uzunluğunu ele alan kuramdır.
- description length ve algorithmic randomness için biçimsel bir temel sağlar.
- Yapay zeka modellerinde sıkıştırma, genelleme ve karmaşıklık tartışmalarıyla bağlantılıdır.
The First Law of Complexodynamics
- Kapalı sistemlerde karmaşıklığın neden artıp sonra azaldığını açıklayan bir yasayı inceleyen yazıdır.
- Karmaşıklığı yalnızca entropiyle özdeşleştirmeyip ayrı bir dinamik özellik olarak ele alır.
- Karmaşık sistemlerin zamana bağlı değişimine dair kavramsal sorular ortaya koyar.
Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton
- Kahve ile kremanın karışma sürecini hücresel otomatlarla modelleyen bir çalışmadır.
- Sistemin dengeye ilerlerken karmaşıklığın önce artıp sonra azaldığı olguyu analiz eder.
- Karmaşıklığın zamansal değişimini nicel olarak ifade etme çabasını gösterir.

Üretici modeller ve evrensel zeka kavramı

Variational Lossy Autoencoder
- Variational autoencoder ile autoregressive decoder’ı birleştiren bir modeldir.
- latent code’un hangi bilgiyi koruması gerektiğini kontrol etmenin yolunu sunar.
- Üretici modellerde temsil öğrenimi ile bilgi koruma arasındaki dengeyi ele alır.
Machine Super Intelligence
- Makine zekâsını evrensel olarak ölçme yöntemini öneren bir doktora tezidir.
- Çok güçlü ajanların özelliklerini ve sonuçlarını kuramsal olarak inceler.
- Yapay genel zekâ ve süperzekâ tartışmalarının biçimsel temellerinden biri olarak görülebilir.

Sonuç

Modern yapay zekanın temel gelişim rotasını sıkıştırılmış biçimde sunan bir referans listesi

Bu liste, modern yapay zekanın gelişimini yönlendiren başlıca kavramları teknolojik akışlara göre düzenliyor.
Erken dönem bilgisayarlı görü modellerinden başlayıp RNN, LSTM, attention, Transformer ve scaling laws’a uzanan yapısal dönüşümü gösteriyor.
Sinir ağı optimizasyonu, büyük ölçekli eğitim, grafik yapılı öğrenme, bilgi kuramı ve karmaşıklık kuramını da geniş biçimde kapsıyor.
Tek bir alana ait makale listesi olmaktan çok, modern yapay zekayı anlamak için çok katmanlı bir öğrenme rotasına yakındır.
Yapay zeka araştırmacıları ve geliştiricileri için, teknolojinin tarihsel bağlamını, temel ilkelerini ve araştırma yönlerini birlikte kavramayı sağlayan bir temel kaynak olarak kullanılabilir.

2 yorum

GN⁺ 2 시간 전

Hacker News görüşleri

Bu yazının bu kadar ilgi göreceğini beklemiyordum; aslında bunu arkadaşlarımın araştırma makalesi okuma işine başlamasına yardımcı olmak için küçük bir proje olarak düşünmüştüm
Arka planın ve animasyonların fazla baskın olduğuna dair çok geri bildirim geldi; kullanılabilirlikten çok havalı görünmeye odaklanmışım gibi görünüyor
Bu yüzden sayfa hareketlerini ve makale arka planlarını ayrı ayrı kapatabilen anahtarlar ekledim
Her makale için daha kişisel yorumlar isteyenler de oldu; popüler makalelerden bazıları için X'te @notmcrowley hesabında zaten bir şeyler yazmıştım
Faydalı olacaksa bunları siteye de ekleyebilirim, ama ML ya da AI alanında resmî eğitim almadım; dolayısıyla bunlar tamamen kişisel yorumlar ve yanlış da olabilir
Daha deneyimli biri katkı sunmak isterse benimle iletişime geçebilir
- Twitter kullanmamış ve ileride de hesap açmayı düşünmeyenler için, bu tür kişisel yorumların siteye eklenmesi iyi olurdu
  Ben de arkadaşların gibi araştırma makalesi okumaya yeni başlıyorum, o yüzden bu derleme şu anda tam bana göre
Birisi X'te “bunlar Ilya'nın 30 makalesi” diye paylaşmış ama kaynak vermemiş, nereden aldığını da söylememiş; ayrıca Ilya ya da Carmack'la bağlantılı biri de değil
Sonra başka biri bunu temel alıp vibe coding ile zar zor kullanılabilir bir site yapmış ve bunun HN ana sayfasına çıkması gerçekten doğru bir durum mu?
- Bilgisayar bilimi birinci sınıf öğrencisi birinin bir konuya ilgisi oluşmuş, bu yüzden küçük bir makale derleme sitesi yapıp başkalarıyla paylaşmak için HN'ye koymuş
  Ve sonra biri gelip pek de hoş olmayan bir yorum yazmış; olan bu
- Meraklılar için hazırlanmış kaynak derlemeleri çoğu zaman sadece yem gibi oluyor
  Yıldızlayıp tavsiye verip sonra da bir daha hiç dönüp bakmadığın türden şeyler :)
- Sitede kaynağa dair bir miktar bilgi var
  “Ilya Sutskever'ın John Carmack'e verdiği söylenen makale listesi” diye yazıyor
  Manning'de ayrıca Ilya's List adlı bir kitap da var
  https://www.manning.com/books/sutskevers-list
- Yine bir karşı çıkan geldi, sanki zaten yeterince yokmuş gibi
Yazıyı hazırlayan benim. Trinity College Dublin'de bilgisayar bilimi birinci sınıf öğrencisiyim; bunu yapma sebebim, araştırma makalesi okumaya başlarken başkalarının da muhtemelen sormuş olduğu soruları sormak için çok fazla Claude kullanımı harcamış olmamdı
Site sadece bir yan proje ve kesinlikle hâlâ geliştirme aşamasında
Soruları yanıtlayabilirim, GitHub üzerinden PR da kabul ederim
- Animasyonları kapatıp makale bağlantılarını basit bir liste olarak gösteren bir seçenek faydalı olurdu
- Sitenin hedefinin ne olduğunu duymak ilginç olurdu
  Sadece listeyi yeniden barındırıp makaleleri yeni bir formata mı taşıyor, merak ediyorum
  En azından her makale için öğrendiklerinle ilgili notlar eklemiş olmanı beklerdim
Tavsiye edilen ya da mantıklı bir okuma sırasına göre düzenlenmiş olması iyi olurdu
Mesela attention mekanizmasını tanıtan makale, “Attention Is All You Need”den önce gelmeli gibi görünüyor
- Katılıyorum. Makaleler mantıklı bir okuma sırası izliyorsa, bunun en üstte açıkça belirtilmesi çok faydalı olurdu
Bu, listeyi ünlü yapan asıl X gönderisi olabilir. 2024'te paylaşılmış ve 876 bin görüntülenmesi var
https://x.com/keshavchan/status/1787861946173186062
Bunun gerçekten Ilya'nın hazırladığı liste olup olmaması çok da tartışmaya değer görünmüyor
Birçok makale eğitim materyali olarak geniş kabul görüyor; örneğin annotated transformer, unreasonable effectiveness of RNNs, understanding LSTM networks
Diğerleri de bu alana ilgi duyan birinin okuyup fayda sağlayabileceği temel makaleler: Krizhevsky et al. (2012) AlexNet'i, Bahdanau et al. (2014) attention'ı, He et al. (2015) ResNet'i, Vaswani et al. (2017) ise Transformer'ı tanıttı
Geri kalan makaleler daha uzmanlık gerektiriyor, ama içlerinde OpenAI'dan Kaplan et al. (2020) muhtemelen en önemlisi
Yeni başlayan biriyseniz ve makale okumaya henüz alışkın değilseniz, Welch Labs Illustrated Guide To AI'yi öneririm
Çok güzel bir kitap ve okurken keyif aldım
Sonrasında bu makaleleri okumak daha derin bir anlayış sağlayabilir
İlk başta bunun “Ilya'nın yazdığı en iyi 30 makale” olduğunu sandım; bu yüzden neden “Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton”ın listede olduğunu kısa süreliğine anlayamadım
“Web sitesi versiyonlarını baştan sona okumadım” ifadesinde, web sitesi versiyonunun gerçekten asıl metni mi yoksa “açıklama”yı mı kastettiği de belirsiz
Her iki durumda da bu bana büyük bir kırmızı bayrak gibi görünüyor
Bu listeyi ilk gördükten sonra, bu makaleleri dinlemek için PdfToMp3'ü yaptım
Şimdi bu proje ListenDock'a dönüştü
İlginç olan şu ki PdfToMp3, NotebookLM'den önce vardı ve zaten bir “genel bakış” özelliği de bulunuyordu; ama o zaman buna öğretmen açıklaması diyordum
“Quantifying the Rise and Fall of Complexity in Closed Systems: The Coffee Automaton” makalesi için “Teacher Explanation” örneği burada
https://listendock.com/e/quantifying_the_rise_and_fall_of_co...
- Buraya her bir şey gönderdiğimde neden eksi oy aldığımı bilmiyorum
  Fazla spam gibi geldiği için mi, AI olduğu için mi, yoksa peşimde gezen bir eksi oy botu mu var diye merak ediyorum
Kolmogorov karmaşıklığı hakkındaki teorik makaleler dikkat çekiyor
Bilmeyenler için, Ilya şunu savunuyor: sinir ağlarının genelleme yapabilmesinin, yani en başta neden çalıştıklarının nedeni, eğitim verisini basitçe açıklayan yolları fiilen bulmaları ve Kolmogorov karmaşıklığı sınırına yakınsamalarıdır [1]
[1] https://www.youtube.com/watch?v=AKMuA_TVz3A
- Bu aslında sadece sinir ağlarına özgü sihirli bir özellik değil; tüm istatistiksel modeller için geçerli bir durum
Listenin sunuluş biçimini beğendim
Bu makaleleri okumadan önce ya da okurken Ilya'nın birkaç konuşmasını ya da podcast'ini izlemek, genel çerçeveyi ve çalışmaların birbirine nasıl bağlandığını anlamaya yardımcı olabilir
https://www.dwarkesh.com/p/ilya-sutskever
https://simons.berkeley.edu/talks/ilya-sutskever-openai-2023...
https://www.dwarkesh.com/p/ilya-sutskever-2

jung5966 2 시간 전

Modern LLM/AI alanına giriş yaparken öğrenilebilecek kaynakların bir listesini sunduğunuz için teşekkürler.

-> CNN, uzamı nasıl okuyacağını; RNN/LSTM, zamanı nasıl hatırlayacağını; attention, gerekli bilgiyi nasıl bulup çıkaracağını; Transformer, bu süreci nasıl paralelleştireceğini; GNN/Relation/Memory ailesi, nesneler arasındaki ilişkileri nasıl hesaplayacağını; scaling/infrastructure makaleleri, bunu büyük ölçekte nasıl eğiteceğini; MDL/Kolmogorov/complexity ailesi ise öğrenmenin neden sıkıştırma ve genelleme meselesi olduğunu nasıl düşüneceğini gösterir.

Yani bu 27 makalelik liste, “akıllı sistemler; iyi bir inductive bias, istikrarlı bilgi akışı, seçici bellek, ilişki hesaplama, büyük ölçekli öğrenme ve sıkıştırılabilir yapının keşfi bir araya geldiğinde güçlenir” bakış açısını farklı açılardan gösteren bir kaynak demetidir.