Açık, titiz ve yeniden üretilebilir araştırma: Uygulayıcılar için el kitabı (2021)
(stanforddatascience.github.io)- Araştırmayı açık, şeffaf ve yeniden üretilebilir olacak şekilde tasarlayıp paylaşmak, sonuçların erişim alanını, doğrulanabilirliğini ve yeniden analiz edilebilirliğini artırır
- Ücretli makaleler, kapalı kaynak kod, erişilemeyen veriler ve kullanımdan kalkmış yazılımlar, diğer araştırmacıların gerçek analiz sürecini kontrol etmesini zorlaştırır
- Zayıf deney tasarımı ve analiz, literatürde hatalı bulguların birikmesine yol açar ve yeni araştırmacıların güvenilir sonuçları ayırt etme maliyetini artırır
- Açıklık ve yeniden üretilebilirlik ek çalışma gerektirir ve ödül yapılarının sınırları vardır; ancak hataların erken bulunmasına ve araştırmanın güvenilirliğinin artmasına yardımcı olur
- El kitabı; araştırma tasarımı, veri analizi ve raporlama, araştırma materyallerinin yayımlanması konularını modüler uygulamalar olarak ayırır ve ihtiyaç duyulan bölümlerden başlanarak uygulanabilecek şekilde düzenlenmiştir
Açıklık ve yeniden üretilebilirlik neden gerekli?
- Araştırma açık, şeffaf ve yeniden üretilebilir bir biçimde yürütülüp paylaşılmazsa, araştırmanın sağlayacağı fayda azalır
- Bir makale yalnızca ücretli erişim sunan yayın kanallarında yayımlanırsa, araştırma sonuçlarını görebilecek kişi sayısı sınırlanır ve çıktının potansiyel erişim alanı da daralır
- Pek çok analiz karmaşıktır; yalnızca ana makale metniyle tüm seçimleri ve prosedürleri açıklamak neredeyse imkânsızdır
- Eşlik eden kod yoksa, başkalarının tam olarak ne yapıldığından emin olması zorlaşır
- Kod açık olsa bile, veriye erişilememesi veya kullanımdan kalkmış yazılımlar nedeniyle geçmiş araştırmaları yeniden üretmek ya da yeniden analiz etmek zor olabilir
- Geçmiş araştırmalar kolayca yeniden analiz edilemezse, topluluğun farklı analiz yollarını keşfetmesi, veri kümelerini birleştirmesi veya deneyleri yeni ortamlara genellemesi zorlaşır
Hatalı araştırma pratiklerinin maliyeti
- Deney tasarımı ve analize yeterince özen gösterilmezse, literatürde daha fazla hatalı bulgunun birikme olasılığı artar
- Güvenilmesi zor sonuçlar çoğaldıkça, yeni araştırmacılar çalışma konusunu anlamak ve gerçek ilerleme sağlamak için daha fazla zaman harcamak zorunda kalır
Araştırmacılar açıklık ve yeniden üretilebilirliğe neden mesafeli?
- Açık, şeffaf ve yeniden üretilebilir araştırma ek çalışma gerektirir; mevcut ödül yapıları da bu çabaları her zaman ödüllendirmez
- Bununla birlikte birçok alanda değişim yaşanıyor ve bazı topluluklar bu çabaları yüksek değerli görüyor
- Hataların maliyeti yüksek olabilir; açıklık, hatalardan kaçınmaya yardımcı olur
- Bazı veriler; kişisel veriler, telif hakkı ve diğer hususlar nedeniyle yasal olarak paylaşılamaz
- Bu tür verileri kullanan araştırmalar, daha açık veriler kullanan araştırmalara kıyasla genellikle dünya için daha az yararlı olabilir
- Yine de yapılan analizleri, veri toplama protokollerini ve ön kayıt gibi yöntemleri şeffaf biçimde paylaşmak araştırmaya duyulan güveni artırabilir
- Veri ve kod yayımlandığında hataların ya da düşük kodlama kalitesinin ortaya çıkmasından endişe edilebilir
- Bu endişe anlaşılabilir, ancak genel olarak yanlış yöne odaklanır
- Hataların erken bulunması daha iyidir ve çoğu insan kod kalitesinden bağımsız olarak paylaşımın kendisini olumlu karşılar
- Kodu en baştan nihai paylaşımı düşünerek paylaşmak, iyileştirmeye de yardımcı olur
- Nereden başlayacağını bilmeyen kişi sayısı da fazladır
- Mevcut açık bilim ve yeniden üretilebilirlik rehberleri çoğu zaman tam kitaplar ya da geniş kaynak derlemeleri biçimindedir; bu da tüm felsefeyi ve kapsamlı araştırma yaklaşımını öğrenme yükü yaratabilir
El kitabının yaklaşımı
- Bu el kitabı, araştırmayı tek seferde tamamen değiştirmek yerine, onu çeşitli yollarla adım adım daha açık, şeffaf ve yeniden üretilebilir hâle getirmenin yollarını ele alır
- Her adım tek başına da belli ölçüde fayda sağlayabilir
- Alanlara özgü nüanslar ve gereksinimler vardır; ancak veri ve istatistiksel analizle uğraşan çoğu alanın birbirinden öğreneceği çok şey bulunur
- Biçim olarak şunları hedefler
- Modüler: Tekil fikirler ayrı ayrı kullanılabilir veya birleştirilebilir
- Pratik: Uygulanabilir ve etkisi yüksek pratiklere odaklanır
- Genel: Veri ve istatistiksel analizle uğraşan her alana uygulanabilir
- Kısa ve öz: Şu anda tam bir dersi takip edecek zamanı olmayan meşgul bilim insanlarını hedefler
Üç ana bölüm
- İlk bölüm, sonuçların ve çıkarımların geçerli ve yararlı olduğunu güvence altına almak ve göstermek için dikkatli araştırma tasarımını ele alır
- Güç analizi kullanarak uygun örneklem büyüklüğünü tahmin etmek gibi deney parametrelerini dikkatle belirler
- Keşifsel araştırma ile doğrulayıcı araştırmayı birbirinden ayırır
- İstatistiksel analizi önceden planlar
- Geçmiş araştırmalarla karşılaştırma yapılabilmesi için ilgili tüm verileri toplar
- Ön kayıt, olası sorunlara hazırlık ve etik sonuçların değerlendirilmesi gibi ek unsurları içerir
- İkinci bölüm, veri analizi ve sonuç raporlamaya ilişkin en iyi uygulamaları ele alır
- Verilerle çalışmadan önce gerekli kararlar ve dikkate alınacak noktalar
- Önceden hazırlanmış istatistiksel analiz planı
- Uygun veri üretimi
- Şeffaf veri hazırlığı
- Bilgi açısından zengin veri görselleştirme
- Uygun istatistiklerden yararlanarak veri özetleme
- Yaygın hatalardan kaçınan veri analizi
- Tıbbi araştırmalar için ek değerlendirmeler
- Şeffaf ve kapsamlı istatistiksel analiz raporlaması
- Kılavuz ilkelerini gösteren yayımlanmış literatür örnekleri
- Üçüncü bölüm, ilgili tüm araştırma materyallerini herkese açmanın yollarını ele alır
- Open Data: Ek araştırmalar ve replikasyon için ham verileri yayımlar
- Open Source Code: Analiz pipeline’ını şeffaf hâle getirir ve başkalarının ödünç alıp kullanmasına veya doğrulamasına imkân tanır
- Reproducible Environments: Yalnızca veri ve kodu değil, analizin kolayca yeniden çalıştırılabileceği ortamı da sağlar
- Open Publication Models: Araştırmayla ilgili akademik çıktıları herkesin görebilmesini sağlar
- Documenting Processes and Decisions: Yalnızca neyin nasıl yapıldığını değil, neden öyle yapıldığını da açık deney notları gibi mekanizmalarla netleştirir
Eklerin kapsamı
- Ekler; sık sorulan sorular, alana özgü değerlendirmeler ve ek kaynak bağlantıları gibi yardımcı kaynakları ele alır
1 yorum
Hacker News yorumları
Kullanılan paket sürümlerini kaydetmek de iyi, ancak daha iyi bir yöntem, kodla birlikte bağımlılık zinciri tamamen sabitlenmiş bir ortam tanımı sunmak; örneğin Guix kanalı veya Nix flake gibi
Docker da sabit sürümleri zorunlu kılabilir, ancak tek bir
apt updateile tamamen bozulabilirNix ve Guix, kodu aynı araçlar ve sürümlerle çalıştıracak bir ortam sağlamakla kalmaz, paylaşılabilir container image’ları oluşturmayı da mümkün kılar
Stanford gibi genelde maliyeti yüksek olan bir üniversitenin öğrenme materyallerini ücretsiz sunması çok iyi
Deneyen var mı? İyi mi?
Ekibimiz şu anda yazılım tarafından veri bilimine geçiyor ve bu materyal o aradaki boşluğu kapatabilecek içerikte görünüyor
Sayfaya https://stanforddatascience.github.io/best-practices/index.h... gömülmüş
Bu el kitabı, en iyi uygulamaları sunarak bilimi daha açık, şeffaf ve yeniden üretilebilir hâle getiren bir rehber olarak özetlenebilir