Bedava öğle yemeği yok teoreminden söz ederken, pratikte pek de engel oluşturmadığı notu da eklenmeli
Verinin gerçek dünyadan geldiği varsayımı bile bu teoremin sorun olmaması için yeterli
Kitap bunu hiç ele almıyor; burada “tüm dağılımlar”ın, yazı tura atışıyla üretilen tüm olası bit dizileri gibi şeylerin süreksiz fonksiyonlardan oluşan yüksek boyutlu bir uzaya genelleştirilmesine daha yakın olduğunu, sürekli fonksiyonların ise bunun yalnızca çok küçük bir altkümesi olduğunu açıklasa iyi olurdu
Sonuçta veri “tüm olasılıkların” düzgün rastgele dağılımından geliyorsa, bir sonraki yazı tura sonucunu öğrenip tahmin edemezsiniz demeye yakın bir anlam taşıyor
Doğru. Bu tür bedava öğle yemeği yok teoremleri ya da aşırı genel varsayımlara dayalı sonuçlar genelde fazla kötümser görünür
Örneğin birçok kişi durma problemi veya Rice teoremi yüzünden statik program analizinin imkânsız olduğunu safça düşünür
Hume’un tümevarım problemine benziyor. Varsayımlar olmadan geçmiş gözlemleri gelecekteki tahminlerle ilişkilendiremezsiniz
Güneşin bin sabah doğmuş olması, yarın da doğma olasılığını otomatik olarak artırmaz ya da azaltmaz; olayların zaman içinde genel olarak benzer şekilde süreceği türünden bir varsayım yapmak gerekir
Böyle bir varsayım veriden çıkarılamaz. Geçmişte benzer şekilde sürmüş olsa bile gelecek hakkında hiçbir şey söylemez
Yine de bilim bu soruna rağmen iyi işliyor; makine öğrenmesi de insanlar algoritma tasarlarken deneyim ve ön bilgiyi kullandığı için iyi çalışmaya devam ediyor
Bu varsayımlara tümevarımsal yanlılık denir ve öğrenmeyi “yakın olan şeyler genelde benzerdir” gibi belirli örüntülere doğru eğilimli hâle getirir
Bu notun nasıl uygulandığını pek anlamadım. Bedava öğle yemeği yok teoremini, bazı problemlerin öğrenilemez olduğu değil, tüm problem sınıflarında iyi çalışan tek bir algoritmanın olmadığı anlamında anlıyorum
İspattaki örnekler yapay olabilir ama pratikte ek varsayımlara göre farklı algoritmalar seçmiyor muyuz?
Öğrenme teorisi, doğa bilimlerini karar vermeye kadar biçimselleştirme girişimidir. Doğa bilimlerinin gizli varsayımı, yeterince ayrıntılı bir algoritmik dünya modeliyle geçmiş gözlemlerden gelecekteki gözlemlerin tahmin edilebileceğidir
Bu, Solomonoff’un tümevarımsal çıkarımı kanıtlarken yaptığı varsayımla aynıdır; bu yüzden Rissanen’in sözde “evrensel” kodlamasından değil, Turing-tam kodlamadan başlamak gerekir
Alt teoriler oluştururken bu başlangıç noktasından uzaklaşmak sorun değildir; ama oradan başlamazsanız, son 50 yıldır “minimum betimleme uzunluğu ilkesi”nin tam olarak ne anlama geldiği etrafındaki kafa karışıklığı gibi çöp sonuçlara varırsınız
Ancak amaç nedensel modeller kurmaksa bu kabul edilemez. Dinamik sistemleri modellemek için Turing-tam koddan uzaklaşamazsınız
Dinamik bir sistemi çok sayıda duruma sahip sonlu durum makinesi olarak görebilirsiniz; fakat en iyi sıkıştırılmış kodu üretmek için, çok büyük ama sonlu sayıda flip-flop ya da NOR, NAND gibi evrensel kapılardan oluşan yönlü döngüsel grafikler üzerinde çalışan Turing-tam semantik gerekir
Çift inişin nedenini artık buldular mı?
Bunun genelleştirilmiş bir sonuç olup olmadığını bilmiyorum ama Anthropic’in Circuits ekibi oldukça ikna edici bir hipotez ortaya attı. İlk iniş evresi modelin veri noktalarını ezberlediği aşama, ikinci iniş evresi ise geometrik olarak özellikleri öğrenmeye doğru kaydığı aşama
Burada özellikler, soyut ve çok yüksek boyutlu bir vektör uzayı olarak düşünülebilir
Bu ekip, tek bir nöronun birden çok kavramı kodladığı süperpozisyon fikrini derinlemesine inceliyor
Gizil özellikleri açıkça temsil edip bunları küçük bir veri boyutu kümesine sıkıştıran oyuncak modeller ve veri kümeleriyle deneyler yaparak süperpozisyonu zorla oluşturuyor ve eğitim verisi büyüklüğüne göre bu süperpozisyonun nasıl göründüğünü gösteriyorlar
Açıkça oyuncak bir model, ama en azından süperpozisyon yaşayan modeller için ikna edici bir fikir https://transformer-circuits.pub/2023/toy-double-descent/ind...
Uzman değilim ama bu makale çift inişi basit bir modelle inceliyor
Yorum şu şekilde: Aşırı parametreli bölgeye genişlediğinizde, küçük normlu ağırlıklara doğru optimizasyon yapabilirsiniz; bu ağırlıklar da daha iyi genelleme yapar
Bunun çift inişi genel olarak açıklayıp açıklamadığı, derin sinir ağları gibi başka modellere de uygulanıp uygulanmadığı ise ayrı bir soru https://arxiv.org/pdf/2303.14151.pdf
Henüz bilmiyoruz. Benim kişisel olarak sevdiğim hipotez, stokastik gradyan inişinin kelimenin tam anlamıyla stokastik olması
Eğitim külliyatının tamamı yerine çok küçük bir altküme üzerinde optimizasyon yaptığı için gradyan tam doğru değil
Aşırı eğitim, yerel optimumları zorlayıp yerel aşırı uyum çukurlarının etrafından dolaşmak yerine gerçek dağılıma doğru yinelemeli olarak ilerlemeyi sağlıyor olabilir
İnternette akademisyenlerin, eğitimcilerin ve mühendislerin yazdığı gerçekten çok sayıda harika matematik PDF’i ücretsiz olarak var. Sorun, içerik tekrarının da inanılmaz fazla olması
Örtüşen kaynak kümelerini, tekrar olmadan tutarlı tek bir PDF hâlinde iyi sentezleyebilecek bir yapay zeka modeli yapılıp yapılamayacağını merak ediyorum
Belki de sadece ilgili üniversite dersinde kullanılan kitabı seçmek yeterlidir
Yapay zeka modeline gerek yok. Murphy’nin Probabilistic Machine Learning’i mükemmel bir başvuru kitabı ve kaynaktır
Küçük bir itiraz ama başlık kafa karıştırıcı. İlk kelimeyi Machine-Learning ya da Statistical-Learning olarak değiştirmek daha doğru olur
Umarım yazar bir gün bunu böyle düzeltir
Okuması epey zor. Örneğin 1. bölümün ilk sayfasında ikinci dereceden formun minimizasyonundan söz edip doğrusal en küçük kareler yöntemi formülüne benzeyen bir şey gösteriyor, ama bunun doğru olup olmadığına dair hiçbir açıklama yok
Biraz daha açıklama olsa yardımcı olurdu
Alıştırmaların çok olması hoşuma gitti
Bu yazı, belirli ölçüde matematik altyapısı olan birinin öğrenme teorisini anlamak için okuyacağı şekilde hazırlanmış gibi
Üstelik ilgili bölümün tekrar olduğu açıkça yazıyor; yani o içeriğin başka bir yerde zaten öğrenilmiş ya da öğrenilecek olduğu varsayılıyor
İlk ilkelerden başlamak, okunmasının kolay olduğu anlamına gelmez
Kardeş yorumda söylendiği gibi, bu materyalin yeni başlayanları hedeflemediği açık
Yine de sezgi doğru. Genel en küçük kareler yönteminin amaç fonksiyonunu yazarsanız bir ikinci dereceden form elde edersiniz
Buradaki “ikinci dereceden” sözcük seçimi tesadüf değil; ikinci dereceden fonksiyonun matrislerle genelleştirilmiş hâli
O bölüm, ikinci dereceden bir fonksiyonu minimize etmenin vektör sürümünü ele alıyor
Gerçekten de ilk ilkelerden başlıyor gibi görünmüyor
En küçük kareler yöntemi ikinci dereceden bir ifadedir
İkinci dereceden demek, kareli terim olduğu anlamına gelir
2014'te çıkmış bir makine öğrenmesi kitabı ha; artık eski usul ve tarihî bir havası var
GPT-5'e “Denemek istediğim bir fikrim var; bu kitabı okuyup, onu daha iyi çalışır hâle getirmeye ilişkin bir şeyler olup olmadığını söyle” diyebileceğim günü iple çekiyorum
LLM'in yeni fikirler ürettiğini hiç duymadım. Bu ancak zaten birinin daha önce denemiş olduğu bir fikir olduğunda mümkün değil mi?
$this için bağlam aktarımının zor kısım olduğunu fark ediyorum
Bir kullanıcı olarak kendi bağlamımı birkaç düşük boyutlu değişkenle açıklamak çok zor; ben de evrendeki durumumu yapay zekaya anlatacak kadar kendimi anlamıyorum
Yapay zekayla paylaştığım söz dağarcığı da yetersiz. İnternet, HTTP denen ortak protokolle uzlaşılmış durumu tutarlı biçimde alıp vermeyi başarmış gibi geliyor
Örneğin Uber içinde telefon numarası, araç, GPS, mevcut saat, ödeme gibi dar bir istek-yanıt dünyasında durum aktarılabiliyor
Ama algoritma öğrenmeye çalışan bir öğrenci olarak yaşım, internet kullanım ortamım, yaşadığım yer, grafik anlatım tercih etmem, kalın kitaplardan gözümün korkmuş olması, CS50 gibi dönüm noktaları, Python yetkinliğim gibi karmaşık bilgileri nasıl aktaracağımı bilmiyorum
Startup fikri için de sadece “çekişi düşük” demek yetmiyor; VC, geliştirici ve satış ağları, başarılı ortaklıkların kanıtı, katılımcı sayısı, gelir gibi durumları aktarmak gerekiyor
Gerçek dünyada da herkesin bağlamı çok farklı olduğundan böyle bir söz dağarcığı ancak küçük ceplerin içinde var oluyor
Bilginin küresel ve ebedî bir değişken gibi var olduğunu varsaymak da sorunlu. Bazı bölgelerde elektriği bile olmayan, temel cep telefonu dahi bulunmayan çok insan var; yapay zekanın önerdiği PDF'in yardımcı olup olmayacağı bile yerel güç yapıları ve yönetişime göre değişiyor
Bunun ileride nasıl evrileceğini bilmiyorum, ama olasılıkları düşünmek bile ilginç. Bilgisayarlar bizimle kolayca konuşabiliyor ve ilk günden zeki bir bebek gibiler; ancak sonunda yeterli, uygun ve ucuz veriyi besleyememek, onlardan daha fazla fayda çıkarmanın gerçek darboğazı olabilir
O kitabı kendin okursan fikrin daha iyi hâle gelir. Bu süreçte yeni şeyler de öğrenebilirsin
1 yorum
Hacker News yorumları
Bedava öğle yemeği yok teoreminden söz ederken, pratikte pek de engel oluşturmadığı notu da eklenmeli
Verinin gerçek dünyadan geldiği varsayımı bile bu teoremin sorun olmaması için yeterli
Kitap bunu hiç ele almıyor; burada “tüm dağılımlar”ın, yazı tura atışıyla üretilen tüm olası bit dizileri gibi şeylerin süreksiz fonksiyonlardan oluşan yüksek boyutlu bir uzaya genelleştirilmesine daha yakın olduğunu, sürekli fonksiyonların ise bunun yalnızca çok küçük bir altkümesi olduğunu açıklasa iyi olurdu
Sonuçta veri “tüm olasılıkların” düzgün rastgele dağılımından geliyorsa, bir sonraki yazı tura sonucunu öğrenip tahmin edemezsiniz demeye yakın bir anlam taşıyor
Örneğin birçok kişi durma problemi veya Rice teoremi yüzünden statik program analizinin imkânsız olduğunu safça düşünür
Güneşin bin sabah doğmuş olması, yarın da doğma olasılığını otomatik olarak artırmaz ya da azaltmaz; olayların zaman içinde genel olarak benzer şekilde süreceği türünden bir varsayım yapmak gerekir
Böyle bir varsayım veriden çıkarılamaz. Geçmişte benzer şekilde sürmüş olsa bile gelecek hakkında hiçbir şey söylemez
Yine de bilim bu soruna rağmen iyi işliyor; makine öğrenmesi de insanlar algoritma tasarlarken deneyim ve ön bilgiyi kullandığı için iyi çalışmaya devam ediyor
Bu varsayımlara tümevarımsal yanlılık denir ve öğrenmeyi “yakın olan şeyler genelde benzerdir” gibi belirli örüntülere doğru eğilimli hâle getirir
İspattaki örnekler yapay olabilir ama pratikte ek varsayımlara göre farklı algoritmalar seçmiyor muyuz?
Öğrenme teorisi, doğa bilimlerini karar vermeye kadar biçimselleştirme girişimidir. Doğa bilimlerinin gizli varsayımı, yeterince ayrıntılı bir algoritmik dünya modeliyle geçmiş gözlemlerden gelecekteki gözlemlerin tahmin edilebileceğidir
Bu, Solomonoff’un tümevarımsal çıkarımı kanıtlarken yaptığı varsayımla aynıdır; bu yüzden Rissanen’in sözde “evrensel” kodlamasından değil, Turing-tam kodlamadan başlamak gerekir
Alt teoriler oluştururken bu başlangıç noktasından uzaklaşmak sorun değildir; ama oradan başlamazsanız, son 50 yıldır “minimum betimleme uzunluğu ilkesi”nin tam olarak ne anlama geldiği etrafındaki kafa karışıklığı gibi çöp sonuçlara varırsınız
Ancak amaç nedensel modeller kurmaksa bu kabul edilemez. Dinamik sistemleri modellemek için Turing-tam koddan uzaklaşamazsınız
Dinamik bir sistemi çok sayıda duruma sahip sonlu durum makinesi olarak görebilirsiniz; fakat en iyi sıkıştırılmış kodu üretmek için, çok büyük ama sonlu sayıda flip-flop ya da NOR, NAND gibi evrensel kapılardan oluşan yönlü döngüsel grafikler üzerinde çalışan Turing-tam semantik gerekir
Çift inişin nedenini artık buldular mı?
Burada özellikler, soyut ve çok yüksek boyutlu bir vektör uzayı olarak düşünülebilir
Bu ekip, tek bir nöronun birden çok kavramı kodladığı süperpozisyon fikrini derinlemesine inceliyor
Gizil özellikleri açıkça temsil edip bunları küçük bir veri boyutu kümesine sıkıştıran oyuncak modeller ve veri kümeleriyle deneyler yaparak süperpozisyonu zorla oluşturuyor ve eğitim verisi büyüklüğüne göre bu süperpozisyonun nasıl göründüğünü gösteriyorlar
Açıkça oyuncak bir model, ama en azından süperpozisyon yaşayan modeller için ikna edici bir fikir
https://transformer-circuits.pub/2023/toy-double-descent/ind...
Daha ayrıntılı bilgi burada: https://calculatedcontent.com/2019/12/03/towards-a-new-theor...
Yorum şu şekilde: Aşırı parametreli bölgeye genişlediğinizde, küçük normlu ağırlıklara doğru optimizasyon yapabilirsiniz; bu ağırlıklar da daha iyi genelleme yapar
Bunun çift inişi genel olarak açıklayıp açıklamadığı, derin sinir ağları gibi başka modellere de uygulanıp uygulanmadığı ise ayrı bir soru
https://arxiv.org/pdf/2303.14151.pdf
Eğitim külliyatının tamamı yerine çok küçük bir altküme üzerinde optimizasyon yaptığı için gradyan tam doğru değil
Aşırı eğitim, yerel optimumları zorlayıp yerel aşırı uyum çukurlarının etrafından dolaşmak yerine gerçek dağılıma doğru yinelemeli olarak ilerlemeyi sağlıyor olabilir
İnternette akademisyenlerin, eğitimcilerin ve mühendislerin yazdığı gerçekten çok sayıda harika matematik PDF’i ücretsiz olarak var. Sorun, içerik tekrarının da inanılmaz fazla olması
Örtüşen kaynak kümelerini, tekrar olmadan tutarlı tek bir PDF hâlinde iyi sentezleyebilecek bir yapay zeka modeli yapılıp yapılamayacağını merak ediyorum
Küçük bir itiraz ama başlık kafa karıştırıcı. İlk kelimeyi Machine-Learning ya da Statistical-Learning olarak değiştirmek daha doğru olur
Umarım yazar bir gün bunu böyle düzeltir
Okuması epey zor. Örneğin 1. bölümün ilk sayfasında ikinci dereceden formun minimizasyonundan söz edip doğrusal en küçük kareler yöntemi formülüne benzeyen bir şey gösteriyor, ama bunun doğru olup olmadığına dair hiçbir açıklama yok
Biraz daha açıklama olsa yardımcı olurdu
Alıştırmaların çok olması hoşuma gitti
Üstelik ilgili bölümün tekrar olduğu açıkça yazıyor; yani o içeriğin başka bir yerde zaten öğrenilmiş ya da öğrenilecek olduğu varsayılıyor
Yine de sezgi doğru. Genel en küçük kareler yönteminin amaç fonksiyonunu yazarsanız bir ikinci dereceden form elde edersiniz
Buradaki “ikinci dereceden” sözcük seçimi tesadüf değil; ikinci dereceden fonksiyonun matrislerle genelleştirilmiş hâli
O bölüm, ikinci dereceden bir fonksiyonu minimize etmenin vektör sürümünü ele alıyor
İkinci dereceden demek, kareli terim olduğu anlamına gelir
İlginç. Bu konu hakkında iyi bir kitap var mı?
İlginç. Daha çok zamanım olduğunda göz atmalıyım
Kabaca bakınca bu kitapla [1] oldukça fazla ortak konuyu ele alıyor gibi görünüyor. İkisinin nasıl farklı olduğunu merak ediyorum
[1]: https://www.cambridge.org/core/books/understanding-machine-l...
GPT-5'e “Denemek istediğim bir fikrim var; bu kitabı okuyup, onu daha iyi çalışır hâle getirmeye ilişkin bir şeyler olup olmadığını söyle” diyebileceğim günü iple çekiyorum
$thisiçin bağlam aktarımının zor kısım olduğunu fark ediyorumBir kullanıcı olarak kendi bağlamımı birkaç düşük boyutlu değişkenle açıklamak çok zor; ben de evrendeki durumumu yapay zekaya anlatacak kadar kendimi anlamıyorum
Yapay zekayla paylaştığım söz dağarcığı da yetersiz. İnternet, HTTP denen ortak protokolle uzlaşılmış durumu tutarlı biçimde alıp vermeyi başarmış gibi geliyor
Örneğin Uber içinde telefon numarası, araç, GPS, mevcut saat, ödeme gibi dar bir istek-yanıt dünyasında durum aktarılabiliyor
Ama algoritma öğrenmeye çalışan bir öğrenci olarak yaşım, internet kullanım ortamım, yaşadığım yer, grafik anlatım tercih etmem, kalın kitaplardan gözümün korkmuş olması, CS50 gibi dönüm noktaları, Python yetkinliğim gibi karmaşık bilgileri nasıl aktaracağımı bilmiyorum
Startup fikri için de sadece “çekişi düşük” demek yetmiyor; VC, geliştirici ve satış ağları, başarılı ortaklıkların kanıtı, katılımcı sayısı, gelir gibi durumları aktarmak gerekiyor
Gerçek dünyada da herkesin bağlamı çok farklı olduğundan böyle bir söz dağarcığı ancak küçük ceplerin içinde var oluyor
Bilginin küresel ve ebedî bir değişken gibi var olduğunu varsaymak da sorunlu. Bazı bölgelerde elektriği bile olmayan, temel cep telefonu dahi bulunmayan çok insan var; yapay zekanın önerdiği PDF'in yardımcı olup olmayacağı bile yerel güç yapıları ve yönetişime göre değişiyor
Bunun ileride nasıl evrileceğini bilmiyorum, ama olasılıkları düşünmek bile ilginç. Bilgisayarlar bizimle kolayca konuşabiliyor ve ilk günden zeki bir bebek gibiler; ancak sonunda yeterli, uygun ve ucuz veriyi besleyememek, onlardan daha fazla fayda çıkarmanın gerçek darboğazı olabilir