Tahminlerin hata payına ihtiyacı var

Suç analizi ve suç tahmininde hata payı gerekliliği

• Suç tahminlerine hata payının dahil edilmesi gerektiğini vurgulayan içerik
• Richard Rosenfeld'in yakın zamanda bir kriminoloji yayınına yazdığı metinde ulusal suç oranı tahminlerini tartışması
• FBI'ın suç istatistiklerini 1 yıl gecikmeli yayımlamasına yönelik şikayetler olsa da akademi daha da geç "tahminler" sunuyor

ARIMA modeli kullanılarak yapılan analiz

• Python'da ARIMA modeli kullanılarak makul tahmin hatalarının nasıl göründüğüne dair analiz
• Veri ve kod GitHub'da sunuluyor
• Veri yükleme ve kütüphanelerin içe aktarımına dair kısa bir açıklamayla birlikte veri biçiminin doğru şekilde ayarlanma sürecinin açıklanması

Modeli fit etmeye hazırlık

• Richard'ın makalesine benzer koşullarla ARIMA(1,1,2) modelinin fit edilmesi
• Richard'ın modeline ilişkin açıklama ve karşılaştırma ile model çıktı sonuçlarının sunulması

Tahmin ve hata payı

• statsmodels paketi kullanılarak yeni verilerin eklenmesi ve bir adım ileri tahmin yapılması
• Tahminin standart hatasının zaman içinde arttığını gösteren tahmin sonuçlarının sunulması

Richard'ın tahminleriyle karşılaştırma

• Richard'ın tahminleriyle karşılaştırarak her modelin MAPE (Mean Absolute Percentage Error) değerinin hesaplanması
• Tahmin aralıklarının gösterilmesi ve gözlemlenen değerlerin hâlâ tahmin edilen modelle uyumlu olduğunun vurgulanması

Son nokta

• Richard'ın makro düzeyde suç tahminlerinde sürekli büyük hatalar yapmasının önemli olmadığını savunması
• Ulusal düzeyde suç tahminlerinin politika tepkilerine yardımcı olmadığını ileri sürmesi
• Gerçek suç tahmini uygulamasına örnek olarak, şehir büyümesine bağlı polis personeli artışı ihtiyacının nasıl tahmin edilebileceğinin gösterilmesi

GN⁺ görüşü

Bu yazıdaki en önemli nokta, suç tahminlerinde hata payının önemini ve tahmindeki belirsizliği kabul etme gereğini vurgulaması. Suç tahmini politika kararları için doğrudan faydalı olmayabilir; buna rağmen tahmine dayalı modelleme, kriminoloji teorilerinin geçerliliğini sınamak için önemli bir araç olarak kullanılabilir. Yazı, veri bilimi ile kriminolojinin kesişiminde çalışan kişiler için ilgi çekici içgörüler sunuyor ve tahmin modellerinin sınırlarıyla bunların nasıl aşılabileceğine dair derinlemesine bir tartışma sağlıyor.

[GN⁺]

Hacker News görüşü

• Tahmin ile karar verme arasındaki bağlantı

  • Tahminler genellikle karar vermeye yol açmalıdır.
  • Tahmin karar vermeden ayrıldığında değeri belirsiz hale gelir.
  • Rosenfeld, geçmiş verilere dair istatistiksel sonuçlara daha fazla ağırlık kazandırmak için tahminleri kullanmaya çalışıyor gibi görünüyor, ancak bu şüpheli.

• Hata çubuklarının anlamı

  • Hata çubuklarının anlamı net değildir.
  • Biri güven aralığıdır (model, çıktının bu aralıkta olma olasılığını %95 olarak verir).
  • Diğeri standart sapmadır (kendi tahmini ile sonuç arasındaki karesel farkı tahmin etmek).

• Hata çubuklarının önemi

  • Hata çubukları, yeni bir yaklaşımın faydasını karşılaştırırken daha iyi bir anlayış sağlar.
  • Bazıları bunun meseleyi daha da karmaşıklaştırdığını düşünür.
  • Anlamlı hata çubukları elde etmek bazı durumlarda oldukça zordur.

• İstatistiksel dağılımların incelenmesi

  • Önemli metrikler için histogramlara (istatistiksel dağılımlara) düzenli olarak bakılır.
  • Web servisi çağrı hızı sorununda iki belirgin tepe ortaya çıkmıştır.
  • Çıkış yapmış kullanıcılar ile giriş yapmış kullanıcıları gösteren bu iki tepe sayesinde sorunun nedeni daha derinlemesine anlaşılmıştır.

• Tarih tahminleri için hata çubukları

  • Tarih tahminlerinin, yani son teslim tarihlerinin de hata çubukları olmalıdır.
  • Tarihler birer tahmindir ve belirsizlik tahmini olmadan anlam taşımaz.

• Belirsizlik nicemlemesinin önemi

  • Veri bilimi ve özellikle machine learning alanında belirsizliğin nicemlenmesi çoğu zaman göz ardı edilir.
  • Uygulayıcılar her zaman istatistik altyapısına sahip değildir.

• Tahmin ile ölçümün karşılaştırılması

  • Tahmin, geleceğe yönelik bir ölçüm olarak görülebilir.
  • Belirsizlik bilgisi olmadan yapılan her ölçüm anlamsızdır.

• Hava durumuyla ilgili yanlış anlama

  • İlk başta bu yazının hava durumuyla ilgili olduğu sanılmıştır.

• Şimdinin veya geçmişin tahmini, yani nowcasting

  • Veriyi beklerken şimdiyi veya geçmişi tahmin etme sanatı.
  • Hata payı olmadan bu, hatalı bir bilim/istatistik olur.

• Hata çubukları olmadan da faydalı tahminler

  • Bazen sadece basit bir nokta tahmini bile eyleme yön vermek için yeterlidir.
  • Tahmin dağılımına dair tam bilgi, iyi kararlar alınmasına yardımcı olabilir.

• Gaussian process regression'ın avantajları

  • Gaussian process regression (veya kriging) büyük avantajlara sahiptir.

• Tüm tahmin/öngörü/forecast/interpolasyon/ekstrapolasyonlar için güven/tahmin/tolerans aralıklarına duyulan ihtiyaç

  • Bir ekibin probleme kattığı varsayımları da içeren güven/tahmin/tolerans aralıkları bulunmalıdır.