2015'te Linear Regression'ın Gerçeği

Doğrusal regresyonun gerçeği

• Giriş

  • Bu belge, 2015 sonbaharında 36-401, Modern Regression dersini verirken hazırlanan ders notlarına dayanıyor
  • Doğrusal regresyon öğrenen veya öğreten kişiler için faydalı olabilir
  • Mevcut teoride Gaussian gürültüye ve tam olarak belirtilmiş doğrusal modele dayanan kısımları azaltıp, daha fazla hesaplama gerektiren ancak daha sağlam teknikleri vurgular

• PDF tam metni

  • Veri dosyaları
  • Her bölümün R kodu
  • Güncel taslak

• En iyi tahmin

  • İstatistiksel modellemeye giriş
  • Basit doğrusal regresyon modeli ve tahmine dair ipuçları

• Basit doğrusal regresyon için en küçük kareler yöntemi

  • Basit doğrusal regresyon için maksimum olabilirlik yöntemi
  • Basit regresyon tanılama ve düzeltme
  • Parametreler üzerine çıkarım
  • Basit doğrusal model için öngörüsel çıkarım
  • Dönüşüm sonrası parametre yorumu
  • F-testi, R^2 ve diğer dikkat edilmesi gereken noktalar
  • Matris biçiminde basit doğrusal regresyon

• Çoklu doğrusal regresyon

  • Çoklu doğrusal regresyonda tanılama ve çıkarım
  • Polinom ve kategorik regresyon
  • Çoklu doğrusal bağlantı
  • Testler ve güven aralıkları
  • Etkileşimler
  • Aykırı değerler ve etkili noktalar
  • Model seçimi
  • Gözden geçirme
  • Ağırlıklı ve genelleştirilmiş en küçük kareler yöntemi
  • Değişken seçimi
  • Ağaçlar
  • Bootstrap I
  • Bootstrap II

GN⁺ özeti

• Bu belge, doğrusal regresyona modern bir yaklaşım sunuyor ve mevcut teorik sınırlamaları aşmak için daha sağlam hesaplamalı yöntemleri vurguluyor
• İstatistiksel modelleme ve regresyon analizini temelden ileri konulara kadar kapsamlı biçimde ele alıyor
• Özellikle çoklu doğrusal bağlantı, değişken seçimi ve bootstrap gibi pratikte önemli başlıkları içeriyor
• İstatistik ve veri bilimi okuyan öğrenciler ya da uygulayıcılar için yararlı olabilir
• Benzer işlevlere sahip diğer projeler arasında "Advanced Data Analysis from an Elementary Point of View" bulunuyor

[GN⁺]

Hacker News yorumları

• Çoğu insan lineer regresyonu gerçekten iyi anlamıyor

  • Tüm yaygın istatistiksel testler lineer modeldir
  • Lineer modeller, yanıta göre değil parametrelere göre lineerdir
  • Uygun spline tabanı seçilirse, tahmin değişkenleri ile yanıt arasındaki birçok doğrusal olmayan ilişki lineer modelle modellenebilir
  • Taylor teoremine göre lineer ilişkiler, doğrusal olmayan ilişkilerin iyi bir yaklaşımı olabilir

• 10 yıl önce CMU'da istatistik dersi almıştım ve R öğrenmek güzeldi

  • Lineer regresyonun büyük zayıflığı, küçük eğitim veri setlerinde geçerli olsa da gerçek dünya verilerine uygulanmasının zor olması

• Ridge Regression, çoklu doğrusal bağlantı sorununu çözmede faydalı

  • Bugünlerde aşırı öğrenmeyi önleyen bir düzenlileştirme tekniği olarak öğretiliyor ama başlangıçta yüksek derecede ilişkili tahmin değişkenleri arasındaki ağırlıkları dengeli biçimde ayarlamak için kullanılıyordu

• Citadel'deki kuantitatif araştırmacıların lineer regresyonu nasıl kullandığını öğrenmek istiyorum

  • Hangi teorik sonuçları önemli gördüklerini merak ediyorum

• Lisans eğitimimde lineer regresyonu birkaç kez öğrendim

  • İstatistik ve olasılık teorisi üzerinden optimal olduğu kanıtlanabiliyor

• Doktora sürecinde çoğunlukla derin öğrenme modelleriyle regresyon problemleri ele alınıyor

  • Klasik lineer modellerin katı ispat ve teoremlerini derin öğrenme tabanlı regresyon modellerine uygulamanın bir yolu olsa güzel olurdu

• Shalizi'nin "Data Analysis from an Elementary Point of View" kitabı iyi bir başlangıç kaynağı

  • Lineer ve toplamsal modellere ve simülasyona odaklanıyor
  • Kitabın %90'ı bilgisayar olmadan işe yaramaz ama bu modern çağın gerçeği

• Regresyondaki en önemli teknik, sabit terimi fark etmektir

  • Etkileşim terimleri eklendiğinde sabit terimin ne anlama geldiğini anlamak önemlidir
  • Örneğin, yaş ve otizm tanısı değişkenlerini içeren basit bir lineer modelde sabit terimin neyi ifade ettiğini anlamak gerekir

• XGBoost ile regresyon öğreten biri olarak, bu yazı çok faydalı ve erişilebilir

  • Özellikle 6. bölüm, görsel tanılama açısından çok iyi yazılmış

• Bu yazıda değinilmemiş olsa da, lineer regresyon da derin öğrenmede sık görülen Double Descent olgusunu gösteriyor

  • Bunun için düzenlileştirme eklemek gerekiyor

• Bu PDF'yi mobil uyumlu bir biçime nasıl dönüştüreceğini bilen var mı?