2015'te Doğrusal Regresyonun Gerçeği

 (stat.cmu.edu)
1 puan yazan GN⁺ 2024-08-01 | 1 yorum | WhatsApp'ta paylaş
  • 2015 sonbaharında verilen Carnegie Mellon 36-401 Modern Regression ders notlarına dayanan, doğrusal regresyon öğrenen veya öğretenler için öğrenme amaçlı bir metin
  • Doğrusal regresyonu 1960'lar tarzı varsayımlara bağlı bırakmadan, Gaussian noise ve doğru tanımlanmış doğrusal modele dayanan teorilerin ağırlığını azaltıyor
  • Hesaplama açısından daha yoğun olsa bile sağlam yöntemleri öne çıkarıyor; metnin kendisinin de bu yönde yeterince ileri gitmemiş olabileceği belirtiliyor
  • Advanced Data Analysis from an Elementary Point of View kitabının ikinci bölümüyle kısmen örtüşüyor, ancak yeni ve daha temel düzeyde çok sayıda materyal de içeriyor
  • İçindekiler; optimal tahmin, en küçük kareler, maksimum olabilirlik, tanılama, çıkarım, çoklu doğrusal bağlantı, model seçimi, ağırlıklı·genelleştirilmiş en küçük kareler, değişken seçimi, ağaçlar ve bootstrap'a kadar geniş bir yelpazeye uzanıyor

Metnin niteliği ve yaklaşımı

  • Bu metin, 36-401, Modern Regression, in fall 2015 ders notlarının derlenmiş halidir
  • Doğrusal regresyon üzerine zaten çok sayıda kaynak bulunduğunu kabul etmekle birlikte, öğrenenlere veya öğretenlere yardımcı olabileceği düşünülerek yayımlanmıştır
  • İstatistiğin 1960'tan bu yana geliştiği bakış açısından, doğru tanımlanmış doğrusal model ve Gaussian noise'a dayanan teorilere daha az vurgu yapar
  • Hesaplama açısından daha yoğun olsa da sağlam yöntemleri tercih eden bir doğrultuda kurgulanmıştır; yazar, bu yönde yeterince ilerleyememiş olabileceğini de ekler
  • Advanced Data Analysis from an Elementary Point of View ile kısmen örtüşür; özellikle ikinci bölüm olan “The Truth About Linear Regression” ile ilişkilidir
  • Aynı zamanda yeni ve daha temel düzeyde çok sayıda materyal içerir; görüşler, düzeltmeler ve özellikle hata düzeltmeleri memnuniyetle karşılanır

Kapsam ve güncellemeler

  • Mevcut içindekiler, doğrusal regresyonun temel modellemesinden tanılama, çıkarım ve genişletilmiş yöntemlere kadar uzanır

  • Temel modelleme ve basit regresyon

    • Optimal Prediction
    • Introducing Statistical Modeling
    • Simple Linear Regression Models, with Hints at Their Estimation
    • The Method of Least Squares for Simple Linear Regression
    • The Method of Maximum Likelihood for Simple Linear Regression
    • Diagnostics and Modifications for Simple Regression
    • Inference on Parameters
    • Predictive Inference for the Simple Linear Model
    • Interpreting Parameters after Transformation
    • F-Tests, R^2, and Other Distractions
    • Simple Linear Regression in Matrix Format

  • Çoklu regresyon ve genişletilmiş konular

    • Multiple Linear Regression
    • Diagnostics and Inference for Multiple Linear Regression
    • Polynomial and Categorical Regression
    • Multicollinearity
    • Tests and Confidence Sets
    • Interactions
    • Outliers and Influential Points
    • Model Selection
    • Review
    • Weighted and Generalized Least Squares
    • Variable Selection
    • Trees
    • The Bootstrap I
    • The Bootstrap II
    • İleride Data Over Space and Time dersindeki linear spatio-temporal estimation and prediction materyalleri bu metne dahil edilebilir
    • Örnek olarak Wiener filter ve kriging anılır
    • Son metin güncellemesi, R güncellemesinden sonra kodun yeniden çalıştırılması ve yazım hatalarının düzeltilmesidir; tarih 20 Ekim 2025 olarak belirtilir

İlgili okumalar

1 yorum

 
GN⁺ 2024-08-01
Hacker News görüşleri

  • Doğrusal regresyon çoğu zaman hafife alınıyor

    1. Yaygın istatistiksel testlerin hepsi doğrusal modeldir: https://lindeloev.github.io/tests-as-linear/
    2. Doğrusal model, yanıt değerine değil parametrelere göre doğrusal olduğu anlamına gelir. Örneğin y = a*sin(x)+bx^2 de doğrusal bir modeldir
    3. Uygun bir spline tabanı seçilirse, tahmin değişkenleri ile yanıt değeri arasındaki pek çok doğrusal olmayan ilişki de doğrusal modelle modellenebilir
    4. Yine de esneklik yetersizse, Taylor teoremine göre doğrusal ilişkiler çoğu zaman doğrusal olmayan ilişkilerin iyi bir yaklaşımı olur
    • Bu noktalara tamamen katılıyorum; doğrusal modeller çok daha fazla takdir görmeli
      Bir başka önemli nokta da insanların, özellikle de grupların, rasyonel olarak doğrusal karar alma dışında bir şey yapmasının zor olması
      Şirketin yönünü belirleyen toplantılarda ancak “reklam harcamasını artıralım, indirim kuponları gibi diğer edinim maliyetlerini azaltalım” gibi konuşulabilir. “Reklam harcamasındaki artış” ile “diğer maliyetlerdeki azalış” arasındaki dengeyi bulmak basit bir doğrusal modeldir
      Harika bir doğrusal olmayan modeliniz olsa bile asıl mesele “yorumlanabilirlik”ten çok uygulanabilirliktir. Bir toplantıya regresyon analizi sonuçlarıyla gittiğinizde birden fazla stratejiyi hızla modelleyebilir ve yön konusunda makul bir güven sağlayabilirsiniz
      Uygulanabilir içgörüleri üst kademelere aktarmakta zorlanıyordum; regresyon analizini düzgünce anladıktan sonra, oldukça karmaşık iş süreçlerini bile hızlıca açıp anlamanın şaşırtıcı derecede kolaylaştığını gördüm
      1. maddeyle ilgili olarak, akademik araştırmalarda ve sektördeki işlerin çoğunda genelleştirilmiş toplamsal modelleri teknik açıdan oldukça başarılı biçimde kullandım. Yani verilere iyi uyuyordu
        Yine de paydaşların bunu doğru anladığı ya da değerini teslim ettiği nadiren oldu. Bunun çoğunlukla tembellik ve alışkanlıktan kaynaklandığını düşünüyorum
      1. madde için yararlı referanslar varsa merak ederim
        Literatürde sık gördüğüm sorun, yazarların 2. derece terim içeren modellerde, örneğin Y = age + age^2 modelinde, en düşük ve en yüksek yaş gruplarındaki eğimi aşırı yorumlaması. Grafik, güven aralığına değil de yalnızca çizgiye bakıldığında en ileri yaşlarda düşüyormuş gibi görünebilir; ama gerçekte bu, ikinci dereceden modelin asimptotu ifade edememesinden kaynaklanan görünürde negatif bir eğim olabilir. Örnek: https://www.researchgate.net/figure/Scatter-plot-of-the-quad...)
        Kuramsal olarak belirlenmiş seçenekler olmadığında kesirli polinomlar kullandım. Örneğin x^s için s = {−2, −1, −0.5, 0, 0.5, 1, 2, 3} alıp, aşırı uyumu önlerken en iyi uyan polinomu seçme stratejisini benimsedim: https://journal.r-project.org/articles/RN-2005-017/RN-2005-0...
        Kötü bir teknik değil; parçalı polinom regresyonu veya düğüm noktaları gibi başka yöntemleri de denedim, ama örneğin düğümlü iki spline arasındaki grup etkileşiminin nasıl test edileceğinden pek emin olamadım. Toplamsal modeller için de durum aynıydı: https://bookdown.org/ssjackson300/Machine-Learning-Lecture-N...
    • Doğru bakış açısıyla SVM de saf bir doğrusal modeldir; çok indirgemeci bakarsak ReLU sinir ağları da parçalı doğrusal sayılabilir
      Ancak bu tür açıklamalar yardımcı olmaktan çok bazı şeyleri örtebilir. Belirli bir vaka için uygun dönüşümü seçmek çok zor bir problemdir. Neden sin(x) ve x^2 olmalı da tanh(x) ve x^(1/2) olmamalı sorusu ortada kalır
    • Matematik bilgim neredeyse olmadığı için 2. madde şaşırtıcı geldi. Kısa bir arama yapınca doğrusal modelin grafiğe döküldüğünde düz çizgi vermesi gerektiği söyleniyor; oysa verilen örnek denklem düz çizgi değil
      Sanırım temel bir şeyi kaçırıyorum

  • Regresyonda en önemli beceri kesişimi fark etmektir. Kulağa önemsiz geliyor ve aslında da önemsiz, ama terimler arasına etkileşim eklemeye başladığınızda iş değişir. Genç lisansüstü öğrencilerin bunu gerçekten çok sık yanlış yaptığını gördüm.
    Sınav puanı, yaş (7-16), ikili kategorik değişken olan otizm tanısı (0=kontrol grubu, 1=otizm) kullanan basit bir doğrusal modeli düşünürsek: score = age + diagnosis + age:diagnosis, yani score = (X1)age + (X2)diagnosis + (X3)age:diagnosis.
    X2 anlamlıysa saf bir öğrenci “gruplar arasında fark var!” der, ama bunun katılımcı 0 yaşındayken öngörülen grup farkı olduğunu kaçırır. Yaş ortalamaya, medyana ya da daha iyisi ilgilenilen yaşa göre merkezlenmelidir. Etkileşim denkleme girdiğinde tüm “düşük dereceli” parametre tahminleri kesişime göre yorumlanır.
    Yaş etkisinin anlamlı olduğuna bakıp bunun iki grup için de geçerli olduğunu düşünebilirsiniz, ama X1 yalnızca referans grup olan kontrol grubunun öngörülen eğimini söyler. Etkileşim, iki grubun yaş eğimlerinin farklı olup olmadığını test eder. Üstelik etkileşim anlamlı olmasa bile otizm grubundaki yaş etkisi 0'dan anlamlı biçimde farklı olmayabilir. Veri belirsiz bir bölgede kalıyorsa yorum yaparken dikkatli olmak gerekir.
    Bazılarına bariz görünebilir, ama etkileşim terimi varken parametrelerin koşullu uzayını doğru anlamak emek ister. Burada grup kodlama biçimini, örneğin genel ortalamaya göre mi yoksa bir grubu referans alarak mı yapıldığını şimdilik görmezden geldim; ama ders aynı. Kesişimin ne anlama geldiğini ve kimi/neyi işaret ettiğini anlamak gerekir.

    • Etkileşim terimi olan modellerde sezgiyi yakalamak bana hep zor geliyor. Genelde her yanıt sınıfı için modelde hangi terimlerin yer aldığını yazmak yoruma yardımcı oluyor.
      Bu işi kolaylaştıran ExploreModelMatrix de var: https://www.bioconductor.org/packages/release/bioc/html/Expl...
    • Yukarıda tuhaf bir şey söylediysem haber verirseniz iyi olur. Hâlâ öğreniyorum.
      p-değerlerinden nefret eden sıkı bir Bayesçiyseniz bu da sorun değil. Sadece zeki öğrencilerin bile etkileşim terimi olan modelleri doğal biçimde yorumlamakta zorlandığını çok gördüm ve doğru yönü göstermek istedim.
    • “X1 yalnızca referans grup olan kontrol grubunun öngörülen eğimini söyler” demek doğru değil. Yazdığınız denkleme göre X1 tüm grup için olan değerdir. Düzgün bir kukla değişken oluşturmamışsınız.
      X1*age*isControl+X2*isControl+X3*isAutism+X4*isAutism*age+X5*age
      İki grubun yaş etkisini ve iki gruba ortak olan yaş etkisini ayırmak için böyle yapmak gerekir.
    • Bu yorum doğru gibi görünüyor.
      Tanı değişkeni X2nin anlamlı yük değeri, belirli bir yaştaki tanı etkisini söylemez. Ancak 0 yaş için geçerlidir.
      Modeli ilgilenilen yaşı referans alacak şekilde yeniden merkezlemek gerekir.

  • 10 yıl önce CMU'da 36-401 ve 36-402 derslerini aldım; o zaman Shalizi veriyordu ve ikisi de çok iyi istatistik dersleriydi. İyi ya da kötü, base R öğrenmeye zorladı.
    Doğrusal regresyonun büyük zayıflığı, katsayıları geçerli biçimde yorumlamak için gereken akademik varsayımların küçük eğitim veri kümelerinde kolayca yapılabilmesi, ama dağınık gerçek dünya verilerine neredeyse hiç uymamasıydı; bunu zor yoldan öğrendim.

    • Duruma göre değişir. En önemli varsayım gözlemlerin bağımsızlığıdır.
      Bu yoksa karma etkili modellerle korelasyonlu yanıtları hesaba katmak ya da yanıtları ortalama alarak toplulaştırmak gerekir. Ortalama hesaplayınca varyans azalır, ama veri noktası sayısı da azalır; Wald testinin t-istatistiği hesabında bu ikisi birbirini dengeler.
      Artıkların normalliği gibi diğer varsayımlarda ise doğrusal modeller çoğu zaman belli ölçüde ihlale dayanır. Yine de bu tür ihlallerin ne etkisi olduğunu her zaman anlamak iyidir; örneğin simülasyon çalıştırarak ya da sıfır hipotezi verilerinin p-değeri histogramına bakarak kontrol edilebilir.
    • Öte yandan dağınık gerçek dünya verilerinde, p-değeri şöyle mi böyle mi diye takılmak yerine çoğu zaman yeterince iyi bir model yeterli olur.

  • Ridge regresyonun çoklu doğrusal bağlantı bağlamında tanıtılması hoşuma gidiyor.
    Günümüzde neredeyse herkes bunu aşırı uyumu engelleyen bir regularizasyon tekniği olarak öğreniyor gibi, ama temel kullanım alanlarından biri ve muhtemelen kökeni, güçlü korelasyonlu ya da neredeyse doğrusal bağımlı öngörü değişkenleri arasında ağırlıkları dengeli dağıtmaktır. Veri yeterince çok olsa bile bu tür öngörü değişkenleri büyük sorun yaratabilir.

  • Citadel'daki nicel araştırmacılar gibi birinin doğrusal regresyon anlattığını görmek isterdim. Bunu nasıl kullandıklarını, özellikle neye dikkat ettiklerini ve probleme bakış biçimlerini anlamlı biçimde değiştiren teorik sonuçlar olup olmadığını merak ediyorum.

    • Bu konuda biraz deneyimim var. Regularizasyon varyantları şart. Örnek sayısı çok az, örnek başına gürültü çok fazla.
      İlgili bir problem olan kovaryans matrisi tahmininde shrinkage tahmin varyantları popüler. En basiti Ledoit-Wolf'un Linear Shrinkage yöntemidir.
      Sinir ağları dışında, regresyon yapan çoğu kişinin, alana göre uyarlanmış bu tür rötuşlar eklenmiş doğrusal regresyon kullandığını düşünüyorum.
      Özellikle finansta daha karmaşık modellerle insanın kendini kandırması çok kolay.
    • Doğrusal regresyon, hem de tek öngörü değişkenli regresyon, ana araçtır. Sanki çapraz çarpım x'*y tek başına yetmez; iç çarpım x'*xe bölünce tam olur (regresyon), buna bir de başka bir iç çarpım olan y'*yye bir kez daha bölünce kareköküyle birlikte korelasyon katsayısı olur ve biraz fazla kaçmış gibi gelir.
      Ne yazık ki büyük bir sır ya da muazzam bir ifşa yok. Jim Simons'ın Numberphile röportajında söylediği gibi, zayıf sinyalleri yavaş ve sancılı biçimde biriktirmek, sistemin çeşitli kutularını yapmak ve iyileştirmekten ibaret. Bu arada arayüzler genel olarak bilinir.
      Büyük resimde, uyum yöntemi tek başına muazzam kazanç sağlamaz. En azından işi bozmasa yeter.
      Citadel'da çalışmadım ama son 20 yıldır nicel Ar-Ge ve trading yapıyorum.

  • Lisans döneminde birçok derste doğrusal regresyonu tekrar tekrar yeniden öğrenmek zorunda kaldım. Elbette varsayımların sağlandığı kabulüyle, istatistik ve olasılık kuramıyla optimalitesinin kanıtlanabilmesi ilginç.
    Bilgisayar bilimleri doktorasında ise çoğunlukla derin öğrenme modelleri kullanan regresyon problemleri gördüm. Doğrudan uğraşmadım, ama klasik doğrusal modellerdeki titiz kanıt ve teoremleri derin regresyon modellerine taşımanın bir yolu varsa oldukça güzel olurdu.

  • Shalizi’nin “Data Analysis from an Elementary Point of View” kitabı da iyi bir başlangıç kaynağı: https://www.stat.cmu.edu/~cshalizi/ADAfaEPoV/
    Lineer modellere, toplamsal modellere ve simülasyona ağırlık veriyor; doğru yön de bu. Kitabın %90’ı bilgisayar olmadan işe yaramaz, ama modern dünyanın gerçeği bu.

  • Bu yazıda yok gibi görünüyor ama lineer regresyonda da derin öğrenmede sıkça görülen çift iniş olgusu ortaya çıkıyor.
    Bunu görmek için bir tür düzenlileştirme eklemek gerekiyor. Bu tartışmanın eklenmesi iyi olurdu.

    • Belirli bir makaleye mi işaret ettiğini merak ediyorum. İkinci iniş, sinir ağlarında olduğu gibi model aşırı parametreli hâle geldikten sonra mı gerçekleşiyor? Ne tür bir düzenlileştirme olduğunu da merak ediyorum.

  • Bu ay XGBoost ile regresyon öğreten biri olarak okunması çok iyi bir yazı. Birçok akademik metnin aksine çok iyi yazılmış ve erişilebilir.
    Özellikle 6. bölümdeki görsel tanılamayı beğendim. Çok iyi yapılmış.

  • İlginç görünüyor; bu PDF’yi mobil için optimize edilmiş bir biçime dönüştürmenin bir yolunu bilen var mı merak ediyorum.