Bayesçi istatistik: üç kültür

Öznel Bayes (Subjective Bayes)

• Geleneksel öznel Bayes ekolü, veri üretim dağılımını (yani parametrelerin bir fonksiyonu olarak likelihood'u) varsayar
• Bu varsayım altında, öncül inançları parametreler üzerindeki prior dağılım olarak kodlar
• Ardından posterior çıkarımı yapar ve geriye dönüp bakmaz
• Günümüzde birilerinin bu felsefeyi katı biçimde izleyip izlemediği ya da kendini öznel Bayes ekolünden sayıp saymadığı belirsizdir

Nesnel Bayes (Objective Bayes)

• "Nesnel Bayes" felsefesi, hipotez testi yapmak isteme (Bayes faktörlerini kullanarak) ile Andrew'un "Bayes cringe" dediği şeye duyulan güçlü rahatsızlığın birleşiminden doğar
• Önde gelen bir destekçisinin makalesinden alıntı yaparsak:

Referans analizi, çıkarımsal ifadelerin yalnızca varsayılan modele ve mevcut verilere dayanması anlamında ve çıkarımda kullanılan prior dağılımın bilgi kuramsal anlamda asgari düzeyde bilgi taşıması anlamında nesnel Bayesçi çıkarım üretir

• Konferanslar düzenlenmesi ve başlığında "Nesnel Bayes" geçen kitaplar yayımlanması gibi işaretlere bakılırsa, hâlâ pek çok kişi bu yaklaşımla nitelenen çalışmalar yapmaktadır
• BUGS örneklerinde yaygın olarak kullanılan gamma(epsilon, epsilon) ve normal(0, 10_000) prior dağılımlarının arka planında bir ölçüde bu yaklaşım vardır

Pragmatik Bayes (Pragmatic Bayes)

• Andrew, "pragmatik Bayes" dediği felsefeyi izliyor
• Gelman, Carlin, Stern, Rubin'in "Bayesian Data Analysis" kitabının ilk baskısında bu açıkça ortaya konmuştur

1. Gözlemlenebilir ve gözlemlenemeyen tüm nicelikler için ortak olasılık dağılımı olan tam bir olasılık modeli kurun. Model, altta yatan bilimsel problem ve veri toplama süreci hakkındaki bilgiyle uyumlu olmalıdır
2. Gözlenen veriye koşullu olarak, ilgi duyulan gözlemlenemeyen niceliklerin koşullu olasılık dağılımı olan uygun posterior dağılımı hesaplayın ve yorumlayın
3. Modelin uyumunu ve ortaya çıkan posterior dağılımın ima ettiklerini değerlendirin: model veriye ne kadar iyi uyuyor, pratik sonuçlar makul mü, sonuçlar 1. adımdaki model varsayımlarına ne kadar duyarlı? Buna göre modeli değiştirip genişletebilir ve üç adımı tekrarlayabilirsiniz

• Andrew'un sonunda "workflow" adını verdiği süreç tam olarak budur

Mühendislikte standart işletim prosedürü

• Bu, mühendislikte "iterative design" denilen standart işletim prosedürüdür
• Neredeyse tüm makine öğrenmesi bu şekilde yapılır
• CS ve ML geçmişinden gelen biri olarak, istatistikçilerin bu şekilde düşünmediğini öğrenince şaşırdım

BDA yazılırken izlenen strateji üzerine not

• Andrew, BDA'nın ilk baskısını yazarken daha en başta felsefeyi atlayıp doğrudan bilimi "yapmaya" yönelik açık bir karar aldığını söylüyor
• O ve Rubin, kendi iterative design süreçlerine bir ad vermemişti
• Başkalarının felsefi inançlarını doğru biçimde tanımlamak zor, tartışma yoluyla bunları değiştirmek ise daha da zordur; bu yüzden bu akıllıca bir tercihti
• Bilimsel yöntemin bir bilim felsefesi feragatine ihtiyacı varsa, muhtemelen o kadar da ikna edici bir bilim değildir

Likelihood vs prior dağılım üzerine not

• Andrew'un, prior dağılım seçiminin likelihood seçiminden daha fazla ya da daha az "öznel" olmadığı görüşüne katılıyorum
• Andrew bunu "likelihood adlı deveyi yutarken prior dağılım adlı sivrisineğe takılmak" yazısında özlü biçimde özetliyor

İnanç vs bilgi üzerine not

• Felsefi açıdan, prior dağılımı ve likelihood'u epistemolojik olarak "inanç" yerine "bilgi" çerçevesinde karakterize etmeyi tercih ediyorum
• Bu, önce Laplace'ın sunduğu ve John Stuart Mill'in daha derinlemesine incelediği çerçevedir; Gelman ve diğerleri de BDA'da bunu izlemiştir

Bu gönderinin etimolojisi üzerine not

• 1959'da C.P. Snow, sanat ile bilim üzerine ünlü "İki Kültür" makalesini yazdı
• 2001'de L. Breiman, üretim sürecini açıkça modellemek ile son derece esnek modeller kullanmak arasındaki ayrım üzerine etkili "Statistical Modeling: The Two Cultures" makalesini yazdı
• Breiman kendi çalışmalarında decision forest yaklaşımını savunuyordu ve son teknoloji sinir ağlarını eğitmek için yeterli verinin olmadığı Kaggle yarışmalarında onun yaklaşımı hâlâ kazanıyor
• Andrew'un "açan çiçek" dediği şeyin bir örneği olarak decision forest ile sinir ağlarını birlikte düşünüp düşünmediğini merak ediyorum

GN+'ın görüşü

• Öznel Bayes ve nesnel Bayes şeklindeki iki geleneksel yaklaşım fazla uç noktalarda kalıyor. Pragmatik Bayes yaklaşımı, gerçekçi ve faydalı bir uzlaşma noktası sunuyor
• Prior dağılım seçiminin likelihood seçimi kadar öznel olduğu görüşüne katılıyorum. Modelin tüm bileşenleri öznellik ve varsayım içerir
• Modeli değerlendirip tahmin performansını kontrol eden ve gerekirse yineleyen "workflow" yaklaşımı, bilimde standart hâline gelmelidir
• Geçmiş verilere dayanan bilgilendirici prior dağılımlar kullanmak nadir değildir ve daha fazla Bayesçi analizde bundan yararlanılmalıdır
• Nihayetinde akıllıca strateji, Bayesçi çıkarımın felsefesinden çok bilimi gerçekten yapmaya odaklanmaktır. Ancak bazen çıkarımın temellerini tartışmak da değerlidir