Makine öğreniminde Pen and Paper alıştırmaları (2022)

• Pen & Paper, makine öğrenimi teorisi ve kavramlarıyla zaten tanışmış okurların problem çözerek anlayışını derinleştirmesi için hazırlanmış ayrıntılı çözümlü alıştırma soruları derlemesidir
• Ders kitapları ve derslerdeki alıştırmaların çözümleri kısa olduğunda ya da hiç olmadığında, öğrenme fırsatı kolayca hayal kırıklığına dönüşebildiği için, çözüm sürecinin adım adım takip edilebildiği bir ayrıntı düzeyi hedeflenir
• Kodlama ve simülasyon da önemli olsa da, soruların çoğu kalem ve kağıt ile çözülebilecek şekilde tasarlanmış; odak matematiksel düşünmeyi güçlendirmektir
• Sorular ağırlıklı olarak University of Helsinki'nin “Unsupervised Machine Learning” ve University of Edinburgh'un “Probabilistic Modelling and Reasoning” derslerindeki soruların bir araya getirilmesiyle oluşturulmuş olup, kapsam gözetimsiz yöntemler, çıkarım ve öğrenme üzerine yoğunlaşır
• Michael Gutmann, soru derlemesinin zamanla büyümeye devam etmesini umuyor; LaTeX kaynaklarını açıyor, hata bildirimi için GitHub issue kullanımını ve daha büyük katkılar için doğrudan iletişimi yönlendiriyor

---

Alıştırma sorularıyla anlayışı derinleştiren kitap

• “use it or lose it” ifadesinde olduğu gibi, beceriler pratik yapılmadığında körelir; yeni beceriler öğrenirken de tekrarlı uygulama gerekir
• Birçok ders kitabı ve ders alıştırma soruları sunsa da, çözümler çok kısa olduğunda ya da hiç verilmediğinde problem çözme hayal kırıklığı kaynağına dönüşebilir ve kolayca atlanabilir
• Bu kitap, ayrıntılı çözümler içeren bir alıştırma soruları derlemesidir
  • Okurun çözümü adım adım izleyerek kullanılan teknikleri anlayabileceği bir ayrıntı düzeyi hedeflenir
  • Makine öğrenimi ders kitabı ya da derslerin yerini almaz
  • İlgili teori ve kavramlar daha önce görüldükten sonra, problem çözerek anlayışı pekiştirmeye uygun biçimde hazırlanmıştır

Kalem ve kağıt odaklı yapı

• Makine öğreniminde kodlama ve bilgisayar simülasyonu çok önemlidir
• Ancak bu kitaptaki soruların çoğu kalem ve kağıt ile çözülebilir
  • Kalem ve kağıt merkezli yapı hacmi azaltır ve açıklamaları sadeleştirir
  • Matematiksel becerileri güçlendirmeye yardımcı olur
• Bilgisayar uygulamalarıyla birlikte kullanıldığında kavramsal anlayışı daha da derinleştirebilir

Ele alınan konular ve kapsam

• Sorular çoğunlukla iki derste geliştirilen materyallerin birleştirilmesinden oluşur
  • University of Helsinki'nin “Unsupervised Machine Learning” dersi
  • University of Edinburgh'un “Probabilistic Modelling and Reasoning” dersi
• Makine öğreniminin tamamını kapsamaz
• Odak güçlü biçimde gözetimsiz yöntemler, çıkarım ve öğrenme üzerindedir
• Verilen metinde, 1. bölüm Linear Algebra örneği olarak Gram–Schmidt ortogonalleştirmesi problemi yer alır
  • İki vektörden üretilen u1 ve u2'nin birbirine dik olduğu iç çarpım ile doğrulanır
  • a2, a1'in katıysa ortogonalleştirme sürecinde u2 sıfır vektörü olur
  • Doğrusal bağımsız a1 ve a2'nin herhangi bir doğrusal birleşiminin u1 ve u2 cinsinden yeniden yazılabileceği gösterilir

Genişleme ve katkı yolları

• Soru derlemesinin zaman içinde yeni sorular eklenerek büyümesi hedeflenir
• LaTeX kaynak kodu GitHub deposunda açık olarak sunulmuştur
• Hatalar veya yazım yanlışları GitHub issue üzerinden bildirilebilir
• Daha büyük katkılar yapmak isteyenler için doğrudan iletişim kurulması önerilir

[GN⁺]

Hacker News yorumları

• Güzel görünüyor, ama makine öğrenmesi çalışırken en sinir bozucu şeylerden biri, teoriyi ne kadar derine inersen in bunun pratik seçimlerle nasıl bağlandığının pek görünmemesi
  Örneğin tek bir katmandaki nöron sayısı, katman sayısı, aktivasyon fonksiyonu, sinir ağı mı yoksa başka bir yöntem mi kullanılacağı gibi kararları teorinin nasıl yönlendirdiğini bilmek istiyorum

  • Yardımcı olabilir: https://github.com/google-research/tuning_playbook
  • Katman başına nöron sayısı, katman sayısı, aktivasyon fonksiyonu gibi neredeyse her şey için neredeyse tüm makine öğrenmesi makalelerine geniş kapsamlı ablasyon çalışmaları eklenmiş olmasına bakılırsa, bu aslında o kısmı kimsenin kesin olarak bilmediğine daha yakın bir işaret
    Alan biraz rastgele farklı şeyler deneyip işe yarayanı bulma, sonra da birbirinden fikir kopyalayarak bulanık yönergeler oluşturma üzerine kurulu
    Mantıklı ve açıklanabilir bir şey istiyorsan, burası neredeyse olabilecek en kötü alan; yapılan işin çoğu veri kümelerini etiketlemek, hesaplama maliyetini ödemek ve işe yaramasını ummak
  • Çoğu şey ne sadece saf teoriyle ne de sadece saf pratikle öğrenilebilir; günümüz işlerinin neredeyse hepsi için de bu geçerli
    Makine öğrenmesinde her şeyi teoriden türetemezsin. Eğer bu mümkün olsaydı gerçekten büyük büyük dil modellerinin performansına bu kadar şaşırmazdık
    Aynı zamanda ilgili matematik üzerinde akıl yürütemiyorsan, neden işe yaramadığını ya da hangi seçeneklerin olduğunu kavraman da zorlaşır. Mimari, kayıp fonksiyonu, aktivasyon fonksiyonu, optimizasyon tekniği, hiperparametreler, eğitim süresi ve kaynaklar gibi çok sayıda unsur iç içe geçmiş durumda
  • Şu anda makine öğrenmesi pratiği teorinin çok ilerisinde. Teori yetişse bile, sorunun yanıtı büyük olasılıkla veriyi üreten sürecin doğasına bağlı olacak, dolayısıyla sonunda yine ampirik olarak yanıtlanması gerekecek
    Bence teorinin değeri genel bir kavramsal çerçeve sunmasında. Bugün algoritmaların asimptotik teorisinin hangi algoritmayı kullanman gerektiğini kesin olarak söylememesi ama geniş yönü göstermesi gibi
  • Yeni başlayan biri olarak Andrew Ng’nin Coursera derslerinden, özellikle sinir ağları kısmından çıkardığım ana fikir şu oldu: “asgari gerekli miktardan” daha fazla nöron ve katman eklemek genelde sorun değil
    Makul bir düzenlileştirme terimi düşünülürse aşırı uyum riski çok büyük olmuyor ama ne yazık ki bu minimum için bir kural yok, dolayısıyla deneme yanılma gerekiyor. Öte yandan ağı rastgele büyütmek verimsiz oluyor ve sonunda yavaşlatıyor
    Aktivasyon fonksiyonları, çıktı katmanında çoğunlukla çözmeye çalıştığın problem tarafından belirleniyor; iç katmanlarda ise genelde ReLU ile başlanıp probleme uygun sezgisel yöntemlerle yaygın varyantlar deneniyor
    Benzer problemler üzerinde başarılı olmuş başka modelleri başlangıç noktası olarak almak da elbette düşünülmeli

• Gerçekten çok temiz. Tom Yeh’in AI By Hand alıştırmalarını hatırlattı: https://www.byhand.ai/

  • Beklediğim tam da buydu ve çok minnettarım. Asıl yazıdaki makale de iyi ama sanki daha çok zaten içeriği bilenlere hitap ediyor
    Materyalin kendisi, zaten o içeriği bilen biri için harika

• Temiz görünüyor. Yalnız sorun şu ki, problemin hemen ardından çözüm geliyor; bu yüzden kendi başıma düşünmeden önce bir sonraki problemin cevabını okumamak zor

• Gerçekten çok iyi. Makine öğrenmesi alanında çalışıyorum ama matematik temelleri, özellikle de lineer cebir ve matris/tensör işlemleri konusunda hâlâ bir tür sahtekârlık sendromu yaşıyorum
  Derin öğrenmenin temel yetkinliklerine odaklanan daha fazla problem seti kaynağı varsa merak ederim. Her gün az biraz elle yaparak ilerleme yöntemi ve farklı hocaların bakış açısından öğrenme biçimi bana en iyi uyan şey

• Bugün “işe yarar” makine öğrenmesi üreten profesyoneller arasında bu problemlerin bazılarını çözebilecek kaç kişi vardır? Ve çözmeleri gerekir mi?

  • Bence hayır. Mutlaka çözebilmeleri gerekmez, buna ihtiyaç da yok
    Bu tür alıştırmalar, yeni algoritmalar veya düşük seviyeli optimizasyonlar geliştirmek için gereken sezgiye götüren matematiksel olgunluk açısından faydalı
    Mevcut makine öğrenmesi algoritmalarını eğitip dağıtarak kullanmanın tipik durumunda ise gerekli değil
  • İyi haber şu: En yeni teknikleri ölçeklendirmekle ilgilenmiyor ve sadece API çağrıları yapmak istiyorsan, makine öğrenmesini derinlemesine öğrenmene gerek yok
  • Bu, “makine öğrenmesi uygulayıcısı”, “üretmek” ve “makine öğrenmesi”ni nasıl tanımladığına bağlı. Optimizasyon bölümüne bakarsan, bazı insanlar bunu çok iyi anlıyor; olası kayıp fonksiyonlarını, parametre güncelleme biçimlerini ve başarısız olabilecek noktaları kafalarında hızla yineleyebiliyorlar
  • Bazı insanlar öğrenmeyi angarya gibi görür ve işi bitirmek için gereken asgari şeyi öğrenmek ister. Başkaları ise öğrenmeden içgörü ve keyif alır, problem çözmeyi ve kaynak okumayı sever
    Her iki yaklaşım da katkı sağlayabilir ve başarıya götürebilir, ama yöntemleri farklıdır
  • Ben de aynı şeyi merak ediyorum. Yıllardır makine öğrenmesi mühendisi olarak çalışıyorum ve bu alanda birkaç diplomam da var
    Belgeye göz attım, neredeyse her şeyi tanıdım ama bağlam olmadan soru sorulsa birçok konuyu aklıma getirebileceğimi sanmıyorum. Belki bir zamanlar yapabiliyordum
    İnsanların bu tür şeyleri ne kadar hatırladığını merak ediyorum. Matematikte zaten kötü olup da kendini bir şey sanan biri miyim, yoksa düzenli kullanmadığında zamanla unutmak normal mi, bilmiyorum

• Çözümler de dahil olduğu için çok güzel. Başka konularda da böyle kâğıt kalem alıştırmaları olsa ilgimi çeker

  • Hangi başka konuları kastettiğini bilmiyorum ama sadece “1000 exercises in probability” bile seni bir süre meşgul eder. PDF’ini internette bulabilirsin
    Daha matematik odaklı başka bulmaca kitapları olarak “The colossal book of short puzzles and problems” ve “The art and craft of problem solving”e bakabilirsin

• Daha önce tartışılmıştı: Pen and paper exercises in machine learning (2021) - https://news.ycombinator.com/item?id=31913057 - Haziran 2022, 55 yorum

• Matematikçilerin sürekli lineer cebir ve matris teorisini makine öğrenmesine sokuşturmaya çalışması komik. Hiç bilmesen, akademinin büyük dil modellerini icat ettiğini ve danışılması gereken uzmanlar olduğunu sanırsın
  Bana kalırsa akademi ve teorisyenler makine öğrenmesini yavaşlattı; hesaplamalı yöntemlere fazla burun kıvırdıkları için birkaç nesil lisansüstü öğrenciye bu örnekteki gibi sembolik ispatları dayattılar

  • Sadece mevcut teknikleri kullanmakla kalmayıp makine öğrenmesine katkı sağlamak istiyorsan, matematiksel yetkinlik en büyük sınırlayıcı etken
    Lineer cebire hâkim olmadan katkı sağlayan kim var ki?
    Ayrıca bütün alanı neden büyük dil modellerine indirgediğini de anlamıyorum
  • İlginç bir bakış açısı. Sembolik ispatlar yerine hesaplamalı yöntemleri öne çıkaran kaynaklar önerebilir misin?
  • İlginç. Buna bir örnek paylaşabilir misin?

• arXiv araştırma düzeyindeki makaleler için olan yer değil miydi? Böyle bir materyalin oraya konmuş olmasına şaşırdım