"Akran değerlendirmesi" yerine "akran replikasyonu" ile değiştirmek (2021)
(blog.everydayscientist.com)- Birçok bilim alanında bağımsız yeniden üretim eksik olmasına rağmen, mevcut akran değerlendirmesi hata olasılığı yüksek ve önemli araştırmaların iletimini geciktiren bir engel haline geliyor
- Önerilen akran replikasyonu modelinde, anonim hakemlerin makaleyi değerlendirmesi yerine başka bir laboratuvar çekirdek sonuçları gerçekten yeniden ürettikten sonra bu durum yayımlama kararına yansıtılıyor
- Replikasyona katılan araştırmacıların adları makalede ayrı bir satırda yer alıyor; böylece atıf ve CV girdisi elde ediyorlar ve yazarlar da hakemlerin ek deney taleplerine yanıt vermek yerine sonuçlarını yeniden üretilebilirlikle savunuyor
- İleri düzey teknikler, uzun süre ve çok kaynak gerektiren deneylerin tümünü replikasyonla doğrulamak zor olduğundan editörlerin, yazarların ve hakemlerin katılık ile uygulanabilirlik arasında yeniden üretilecek hedefleri seçmesi gerekiyor
- Başarısız replikasyonları, tekrar denemeleri ve dergi alışverişini azaltmak için ön kayıt, başarısız vakaların yayımlanması ve reddedilen makalelerin saklanması gibi şeffaflık mekanizmalarına ihtiyaç var
Akran değerlendirmesine alternatif olarak önerilen akran replikasyonu
- Bilimde ideal doğrulama, birkaç uzmanın bir taslağa onay damgası vurması değil, makaledeki bulguların gerçek dünyada yeniden üretildiğinin doğrulanmasıdır
- Yeni bir metodolojinin en iyi testi, makale incelemesi değil, meslektaş bir araştırmacının gerçekten o tekniği kullanmasıdır
- Hâlihazırda yayımlanmış sonuçları bağımsız laboratuvarların yeniden doğrulaması için neredeyse hiç teşvik olmadığından, yayımlanmış makalelerin çoğu daha sonra bağımsız olarak replike edilmez
- Akran replikasyonunda preprint ya da taslak başka laboratuvarlara gönderilir ve bu laboratuvarlar çekirdek bulguları gerçekten yeniden üretir
- Çekirdek bulgu replike edilirse taslak kabul edilir ve yayımlanır
- Yazarlar meslektaşlarından görüş isteyip taslağı düzeltebilir, ancak editör görüş toplama ya da revizyon talebini üstlenmez
Replikasyon sonuçlarını makaleyle birlikte yayımlama biçimi
- Yayımlanan makalede ham verilerle birlikte replikasyon denemelerinin sonuçları da yer alır
- Hangi reaktiflerin ve tekniklerin özgün deneyle aynı olduğu tablo biçiminde gösterilebilir
- Özgün deney ile replikasyon deneyi arasında değişen parametre sayısı arttıkça, benzer sonuçlar elde edildiğinde nihai bulgu daha sağlam bir sonuç haline gelir
- Okuyucu, replikasyon sonuçlarına dayanarak toplam kanıtın makalenin iddiasını destekleyip desteklemediğine kendisi karar verebilir
Katılımcılar için ortaya çıkan teşvikler
- Geleneksel akran değerlendirmesini düzgün yapmak çok zaman ve emek ister, ancak ödülü neredeyse yoktur
- Akran replikasyonunda, replikasyon çalışmasını yapan araştırmacının adı yayımlanan makalede ayrı bir satırda yer alır
- Hakem atıf alabilir
- CV'ye eklenebilecek bir başka makale benzeri ödül elde eder
- Yazarlar, kendi sonuçlarının sıkı doğrulamadan sonra da geçerliliğini koruduğunu gösterebilir
- Geleneksel incelemede yazarın ek deneyler yapması ve hakem eleştirilerine yanıt vermesi gerekirken, akran replikasyonunda hakem makaledeki bulguları deneyle savunma rolünü üstlenir
Uygulanabilirlik ve yan etkiler
- Replikasyonu zor olan çok sayıda araştırma vardır
- İleri düzey bilimsel teknikler gerektiren durumlar
- Uzun zaman gerektiren durumlar
- Fare deneyleri gibi çok kaynak gerektiren durumlar
- Editör, yazar ve hakemlerle birlikte hangi deneylerin yeniden üretileceğine karar vermelidir
- Hedef, katılık ile uygulanabilirlik arasındaki dengedir
- Çok karmaşık bazı deneyler replike edilmeden kalabilir
- Bu durumda okuyucu, makalenin tamamını nasıl değerlendireceğine kendisi karar vermelidir
- Akran replikasyonu, çatışmacı hakemlik sürecini gerçeği bulmaya yönelik meslektaş işbirliğine dönüştürür
- Başka araştırmacıların bakışı ve düşüncesi eklendiğinde yeni kontrol grupları ya da alternatif deneysel yaklaşımlar özgün bulguyu güçlendirebilir
- Deney prosedürlerinin daha fazla paylaşılması, gelecekteki işbirliklerine, yeni yaklaşımlara ve öğrenciler ile doktora sonrası araştırmacıların teknik eğitimine yardımcı olabilir
- Tek tek laboratuvarların içinde sıkışıp kalmış el becerisine dayalı bilgiyi yaymanın bir yolu olabilir
- Başka araştırmacılar deney sonuçlarını gerçekten yeniden üretmeye çalıştığında, manipüle edilmiş veri ya da görüntülerin gerçekmiş gibi geçmesi zorlaşır ve bu da araştırma suistimalini azaltabilir
Beklenen sorunlar ve nasıl başlanabilir
- Akran replikasyonu, gönderimden nihai yayına kadar daha uzun sürebilir
- Geleneksel akran değerlendirmesi de genellikle aylar sürdüğünden, birçok durumda replikasyon deneyleri fiilî olarak ek süre yaratmayabilir
- Yazarlar taslağın tamamlanmasını beklemeden araştırmanın parçalarını gönderirse süre kısalabilir
- ReviewCommons gibi dergiden bağımsız mekanizmalarla kısmi bulguların replikasyonunu hazırlamak ideal olabilir
- Replikasyon başarısız olduğunda bir değerlendirme gerekir
- Başarısız replikasyonun taslak için kritik olup olmadığına karar verilmelidir
- Replikasyon denemesinin yeterince düzgün yürütülüp yürütülmediği de incelenmelidir
- İkinci bir replikasyon denemesi gerekebilir, ancak başarılı olana kadar tekrarlayıp sonra durma yaklaşımına karşı dikkatli olunmalıdır
- Replikasyon planının ön kaydı bunu azaltmaya yardımcı olabilir
- Başarısız replikasyonun ayrıntıları yayımlanan makaleye mutlaka dahil edilmelidir
- Yazarların bir dergide replikasyon başarısızlığı nedeniyle reddedildikten sonra başka bir dergiye yeniden gönderim yapması şeklindeki dergi alışverişi sorunu da sürer
- Reddedilen makaleler, şeffaflık ve hesap verebilirlik için bir şekilde saklanmalıdır
- Replikasyona katılan araştırmacıların emeklerinin karşılığında itibar almasını sağlayacak bir mekanizma da gereklidir
- Rol dağılımı şöyledir
- Editor: Gönderilen taslakları seçer; açıkça kusurlu bilimi, replike edilmeye değmeyen deneyleri, zorunlu kontrolleri eksik çalışmaları ve çok sıkıcı sonuçları reddeder
- Editor: Uygun hakemleri bulur ve yazarlar ile hakemlerle birlikte hangi deneylerin nasıl replike edileceğine karar verir
- Editor: Hakemlerle görüşerek makaledeki bulguların resmî yayıma yetecek kadar yeniden üretilebilir olup olmadığına nihai olarak karar verir
- Authors: Taslağı yazar, bioRxiv gibi yollarla geri bildirim ister ve dergiye göndermeden önce revize eder
- Authors: Deney tasarımı, reaktifler ve gerekirse personel ya da özel ekipmana erişim konusunda hakemleri destekler
- Referees: Taslaktaki çekirdek deney sonuçlarını dürüstçe yeniden üretmeye çalışır, gerekirse ek deneyler ya da kontroller yapar ve sonuçları derler
- Readers: Çekirdek deneylerin başka laboratuvarlarda bağımsız olarak replike edildiği güvenine dayanarak kanıtların iddiayı destekleyip desteklemediğine karar verir ve yeniden üretilebilir bilime atıf yapar
- Başlangıç için eLife gibi dergilerde pilot çalışmalar yapılabilir, ancak geleneksel yayınevlerinin önce harekete geçmesini beklemek gerekmez
- Review Commons gibi kuruluşların bioRxiv üzerinde iyi adayları bulup, yazarlarla birlikte replikasyonu yürütecek hakemleri topladıktan sonra tüm paketi dergilere sunması daha hızlı bir yol olabilir
- Bilim insanları akran replikasyonuyla doğrulanmış makaleleri gerçek yayınlarda görmeye başladığında, yalnızca akran değerlendirmesinden geçmiş makaleleri ciddiye almak zorlaşacak ve daha iyi bilim yeniden üretilmemiş bulgularla rekabet edecektir
1 yorum
Hacker News yorumları
Bu yöntemin gerçekten işe yarayıp yaramayacağından emin değilim; bilim insanı olmayanlar, tüm makaleleri yeniden üretmenin gerektirdiği işi büyük ölçüde hafife alıyor gibi görünüyor
Alana göre değişir ama tek bir makaleyi düzgün biçimde yeniden üretmek aylar sürebilir. Özgün makalenin yaşadığı deneme-yanılmaları tekrarlamak zorunda kalmayabilirsiniz ve örnek alarak hazırlık sürecini kısaltabilirsiniz; ancak ilk denemede olmazsa deneyi debug etmek ve hata yapılıp yapılmadığını kontrol etmek gerektiğinden süre ciddi biçimde uzar
Üstelik bu iş, yeniden üretimi yapan bilim insanına neredeyse hiç fayda sağlamaz; sadece para ve zaman harcatır. Birisi o araştırmanın üzerine inşa edecek kadar ilgileniyorsa zaten yeniden üretmeye çalışacaktır; başarılı olursa, devam makalesi doğrudan bir yeniden üretim makalesi olmasa bile özgün makaleyi dolaylı olarak desteklemiş olur
Ancak devam deneyleri başarısız olduğunda genellikle yayımlanmaması büyük bir sorun. Yine de bunu sadece olumsuz sonuçları yayımlayalım demekle çözmek mümkün değil. Sağlam bir olumsuz sonuç üretmek, deneyi yapıp umut vaat etmiyorsa bırakmaktan çok daha fazla iş gerektirir
Yeniden üretilmiş olsa bile başka koşullar uygun değilse yayımlanmayabilir. Örneğin bir ekibin karmaşık bir mühendislik problemini çözecek yenilikçi bir yeni malzeme ararken, 1980'lerde bir kez sentezlenmiş ve bir daha yeniden üretilmemiş bir madde bulduğunu varsayalım. Bu maddenin istenen özellikleri taşıyabileceğini düşünerek sentezliyorlar; yapı doğru çıkıyor ama beklenen özellikler yok. O zaman bunu makale olarak yazmayıp bir sonraki adaya geçmeleri çok olası. Aynı işi aynı anda birden fazla ekip yapsa bile, arkadan gelenler hiçbir şey öğrenemez
“Değerlendirme sürecinin benzersiz bir özelliği, makalede bildirilen tüm veri ve deneylerin, yayımdan önce yeniden üretilebilirliğin doğrulanması için yayın kurulundaki bir üyenin laboratuvarında başarıyla tekrarlanmasının gerekmesidir”
https://en.wikipedia.org/wiki/Organic_Syntheses
Örneğin makale sayısını x adet azaltıp bunun yerine x yeniden üretim şartı koymak ve kişinin kendi uzmanlık alanında yeniden üretim geçmişi edinmesini sağlamak gibi. Yeniden üretim araştırmaları için fon kalemleri de oluşturulmalı ve bu bağımsız bir sisteme devredilmeli. Rastgele atama gibi mekanizmalar da gerekli. Yeniden üretim, özgün araştırmayla aynı değerde değerlendirilmelidir
R2 düzeyindeki küçük bölümler yeniden üretim merkezlerine dönüşebilir. Biyoloji, kimya ve psikolojinin bazı alanlarında bu, parçacık fiziğine göre daha kolay olabilir. Yeniden üretim maliyetinin görece düşük olduğu alanlardan başlayıp ayrıntılar iyileştirilebilir. Bazı durumlarda yeterince mümkün olabilir; bazı alanlarda ise sonsuza dek zor kalabilir
Robotikte, zaten bilinen üç dört algoritmayı ya da makine öğrenimi modelini alıp hazır donanıma uygulayan çok fazla makale var. Alan eğitimi almış biri sonuçları neredeyse tahmin edebilecek düzeyde. Protez el, orman yangını izleme dronu, müze rehber robotu gibi popüler problem alanlarının her birinde her ay yüzlerce varyasyon çıkıyor; ama bunların sayısı gerçekten işe yarayabilecek miktarın çok üzerinde
Gerçekten önemli bir keşif iddiasında bulunan araştırmalar için ayrı bir süreç gerekebilir. Bunun tam olarak ne olması gerektiğini bilmiyorum; ama dürüst olmak gerekirse belki de makale sayısının kendisinin azalması gerekiyor
Bilimsel yayıncılığın amacı, yeni sonuçları diğer bilim insanlarıyla paylaşarak başkalarının bunların üzerine inşa edebilmesini ya da doğruluğunu sınayabilmesini sağlamaktır.
Burada her zaman bir “emeğin takdir edilmesi” unsuru vardı, ancak bilimin ilerlemesini en üst düzeye çıkarma açısından gerçekten önemli olan şey iletişimtir.
Eskiden yayıncılık daha çok mektup dolaştırmak ya da büyük bir sonuç söz konusuysa kitabı masrafını kendisi karşılayarak yayımlamak gibi gayriresmî bir süreçti. Sonra yayınevleri resmî dergiler çıkardı; bazı dergiler yalnızca itibarıyla makale kabul eder hale geldi ya da doğrulanması zor olacak kadar çok başvuru almaya başladı. Popüler dergiler, kötü yazılmış makaleleri ve bariz spam’i elemek için temel editoryal ölçütler uygulamaya başladı; editörler de her alanın uzmanı olmadığından gönüllülerden yardım istedi. Akran değerlendirmesi budur.
Daha sonra bürokratlar, bilim insanlarının üretkenliğini ölçüp bütçe ve terfileri dağıtmanın bir yolunu istedi ve birkaç saygın dergideki yayın performansını gösterge olarak benimsedi. Bunun sonucunda faydalı bir süreç olan “sonuçları paylaşma”, dışarıdan bakanların gözünde akademik puan alma sürecine dönüştü; sonuçların doğrulanma sürecindeki bir ara aşama olmaktan çok, yayının kendisi nihai hedefmiş gibi görünmeye başladı.
Ayrıca bazı dışarıdakiler bu süreci yanlış anlayıp ara sonuçların hatalı olabilmesine öfkeleniyor. Yayının özünün, doğrulanabilirliği artırmak için sonuçları genişçe paylaşmak olduğunu kabul etmek ya da daha iyi terfi ölçütleri geliştirmek yerine, temel paylaşım sürecini engelleyip verimsizleştirmeye ve yayının erişim alanı ile hızını azaltmaya çalışıyorlar. Bu karmaşa çok daha akıllıca ele alınabilir.
Buna, bilim insanı olmayan kamuoyunun akademiden gelen bilgiyi nasıl aldığı da bir değişken olarak ekleniyor. Eskiden akademi, bilginin kendisini arayan görece kapalı bir topluluktu; bu yüzden bu sorun daha az önemliydi. Yeni olan şey, toplumun devlet yönetimi ve idarenin akademinin sonuçlarına ve görüşlerine büyük ölçüde uyması gerektiği fikrine saplanmış olması.
Bilime dayalı politika hevesi üç katmanlı bir darbe vuruyor. Araştırma sonuçlarının politikayı etkileyebilmesi, bilimin yapılma biçimindeki teşvikleri değiştirebilir. Akademik sonuçların dış etkiye sahip olması, hangi bilimin yapıldığını da değiştirir ve dürüst olmayan aktörleri çekebilir. Etki büyüdükçe, konuyu iyi bilmeyen kamuoyu hâlâ ön nitelikte ya da yeniden üretilmemiş sonuçlara bakıp ham sonuçlara varır. Dar ya da zayıf bir araştırma bile karşı tarafı dövmek için iyi bir sopa gibi görünüyorsa aşırı ilgi görebilir.
İster iyi ister kötü olsun, akademisyenler nihayetinde yayınlarla değerlendiriliyor ve bunu yanlış anlayan pek az kişi olduğunu düşünüyorum. Sorun, bu teşvikin kötü olması. Yeniden üretimi şart koşan yeni bir yayın sınıfı oluşturmak optik/fotonik gibi bazı alanlarda mümkün olabilir, ama deneysel parçacık fiziği gibi alanlarda neredeyse imkânsız olacaktır.
Matematik, teorik fizik, felsefe gibi saf entelektüel alanlarda böyle bir sisteme muhtemelen gerek yok. Bu ikisinin arasında yer alan makine öğrenmesi teoride yeniden üretmesi kolay gibi görünse de, örneğin büyük dil modellerinin temel çizgi eğitimleri çok pahalıya mal olabilir.
Saygın dergilerde yayımlanan makaleleri yerleşik gerçek olarak gören kamuoyu algısı da yardımcı olmuyor.
Günümüzde yayıncılık internet öncesiyle aynı rolü oynamıyor. Araştırma yapmadan ikna edici bir makale yazıp yayımlatmak artık önemsiz bir iş haline geldi: http://theatlantic.com/ideas/archive/…
Akran değerlendirmesi, yeniden üretilebilirliği güvence altına almak için değil, makalenin okunabilirliğini ve anlaşılabilirliğini güvence altına almak için vardır.
Bazı deneylerin yapılması onlarca milyar dolara mal olduğundan, her makaleye “akran yeniden üretimi” uygulamak imkânsızdır.
Bunun yerine, yeniden üretilmiş makalelere ilişkin metadata eklenebilir.
Konferanslar farklı olabilir ama akran değerlendirmesini daha çok metodolojinin, kapsamın, iddiaların, yönelimin, sonuçların ve ilgililiğin geçerli ve güvenilir olup olmadığını kontrol etmek olarak anlıyorum.
Birileri yalnızca bir iki makalede açıklanmış bir şeyi yeniden üretmek için zaman harcıyorsa, bu topluluk için değerli bir iştir ve teşvik edilmelidir. Bunu bir doktora öğrencisinin becerilerini geliştirmesi için fırsat olarak yapması daha da iyi olur. Gösterişli değildir ve tamamen yeni bir iş de değildir, ama faydalı ve önemlidir.
Bu tür çalışmalar normal dergilerde yayımlanmalı. Yalnızca yeniden üretime özel dergiler çıkarsa etki faktörleri berbat olur ve kimse umursamaz.
%100 çözüm değilse uygunsuz sayıp hiçbir şey yapmayan insanlar her zaman var. Akran değerlendirmesinin yetersiz olduğu ortaya çıkmışken bile insanlar ona umutsuzca tutunuyor. Bazı disiplinler her şeyde yeniden üretim istemeli. Psikoloji ya da genel olarak sosyal bilimleri özellikle hedef göstermiyorum, ama bazı alanlardaki yeniden üretim başarısızlık oranı kabul edilmesi zor düzeyde.
Yeniden üretimi kadro ve terfi için geçerli bir yol olarak kabul etmek, doktora programlarının zorunlu unsuru haline getirmek gibi yollarla değer ölçütlerini değiştirmeliyiz.
İki değerlendirmede de “makale çok iyi yazılmış, lisans öğrencilerinin bile okuyabileceği düzeyde” gibi ifadeler vardı. Akran değerlendirmesi sonuçta bekçilik rolünü güvence altına alıyor.
Reddit'te bir süre “Fotoğraf yoksa olmamıştır” sloganı vardı.
En azından bilgisayar bilimi/makine öğrenmesi için kod yoksa olmamıştır gerekiyor. Makaleler muğlak; formüller olsa bile tüm bileşenlerin tanımlanmadığı durumlar olabiliyor.
Bu alanda akran yeniden üretimi, diğer bilim alanlarına örnek olabilecek kolay ve düşük maliyetli bir görev.
Alzheimer alanındaki en yeni çığır açıcı çalışmalar gibi şeylerde yeniden üretim faydalı olur ve zaten ticari ilgi nedeniyle de yeniden üretilir. Ama sıradan niş konularda her araştırmayı yeniden üretmeye ayrılacak para yok. Bilgisayar bilimi/yapay zeka araştırmalarının yeniden üretilmesinin kolay olması, bunun tüm araştırmalara ölçeklenebileceği anlamına gelmez.
Akran değerlendirmesinin var olma nedeni de bu. Makul görünmeyen ya da düşük emekli/düşük ilgili çalışmaları elemek için bir mekanizma; dolandırıcılığı önlemek üzere tasarlanmış değil.
GitHub, GitLab vb. varken bugün bunun standart olması gerekir. Uygulama içeren bir makale kod sağlamıyorsa çoğu zaman saçmalık olma ihtimali yüksektir.
“Akran değerlendirmesi”ni ikiye ayırıp, bir alan belli bir atıf sayısını aşınca makalenin yeniden üretilmesi gerektiği konusunda bir atıf eşiği üzerinde anlaşma fikrini seviyorum. Dergilerde yeniden üretim girişimlerine ayrılmış özel bir bölüm de olmalı.
Bazı alanlarda, uzmanlık bilgisinin yanı sıra iyi deney yapmak için “el” denen bir ustalık gerekir. Örneğin havaya duyarlı bileşiklerle ya da yoğunlaşmış/kristal haldeki maddelerle çalışmak gibi. Tez deneylerimde ekipmanın bir kısmını bizzat elimle yapmıştım.
Bazen özel tesisler de gerekir. Doktora tezi projemde yaklaşık 500 bin dolarlık ekipman kullanıldı ve kullandığım ekipmanların bir kısmı mezun olduğum sıralarda çoktan üretimden kalkmış, bulunamaz hale gelmişti.
Daha gerçekçi çözümün yeniden üretilebilirlik değerlendirmesi ve her makale için metodoloji haritası sunulmasının zorunlu tutulması olduğunu düşünüyorum.
İlki, hakemin makaleye dayanarak sonuçları yeniden üretmeyi hedefleyip sorular sorduğu ve doğrulamalar yaptığı karşılıklı bir süreçtir; ancak fiilen yeniden üretimi zorunlu kılmaz. Yazarın, alandaki herkesin bildiğini varsayıp atladığı ayrıntıları bulmakta genelde işe yarar. Gerçekten de makalede olmayan deney ayrıntılarının peşine düşerek aylarını harcayan biyoloji doktoralı insanlar gördüm.
İkincisi, ilkinin çıktısı olur. Metne uzun bir ek koymak yerine, deneyleri ve metodolojiyi titizlikle ele alan ayrı bir belgenin akran hakemlerle birlikte hazırlanması ve hakemlerin adlarının konularak işin üstünkörü geçilememesi yaklaşımıdır.
Yeniden üretim için önemli bilgilerin eksik olduğu çok fazla makale okudum. Makine öğrenmesi/pekiştirmeli öğrenmede kod varsa, makalede yer almayan sayısız uygulama ayrıntısı buldum. Hatta bu tür ayrıntıların belirli bir algoritmanın başarılı olup olmayacağını belirlediğini gösteren sonuçlar da var [1]. Temel ayrıntıların yalnızca kod yorumlarında yazıldığı durumlar da gördüm.
Daha da korkuncu, bir makalenin yöntemini bir benchmark üzerinde değerlendirdiğini iddia etmesi, ama bakınca o benchmark'ta ilgili görevin hiç bulunmamasıydı. Benchmark'ı fork'layıp kendi görevini oluşturmuş, bunu da açıkça belirtmemişti [2].
Bu tür şeyler, belli bilimsel yönlere duyulan güveni kaybettiriyor. Tüm yapının iskambil kâğıtlarından yapılmış bir ev gibi olduğu sonucuna varıp araştırmayı tamamen bırakan birkaç junior araştırmacı da gördüm.
[1] https://arxiv.org/abs/2005.12729
[2] https://arxiv.org/abs/2202.02465
Bunun çok zahmetli ya da pahalı olduğunu düşünüyorsanız, yayıncıların rekor kârlar elde ettiğini hatırlamak gerekir. Kaynaklar zaten var.
https://youtu.be/ukAkG6c_N4M
Artık bir makaleyi değerlendirirken deneyleri ya da simülasyonları yeniden üretmek için yeterli bilgi olup olmadığına çok daha fazla dikkat ediyorum. Yorumu yanlış olan bir makalenin çıkması sorun değil; çünkü başkaları kendi araştırmalarını yaparken bunu ortaya çıkarabilir. Ama sonuçları yeniden üretilemeyen bir makalenin yayımlanmasına izin verilmemeli.
Deney bölümüne koymak için fazla uzun olan içerik elektronik ek bilgi belgesine gitmeli. Yine de PDF indirilirken ek bilginin makaleye iliştirilmiş olması iyi olur. Ayrı ayrı izini sürmek gerçekten zahmetli. Malzeme karakterizasyonu gibi, çok veri ve ayrıntı içeren ek bilgilerin yaygın olarak sağlandığı alanlar da var.
Büyük veri kümeleri depolara ya da veri kümesi dergilerine gönderilmeli. Böylece yöntemler yine akran değerlendirmesinden geçer, veri kümesine DOI atanır ve yeniden kullanımı kolaylaşır. Doktora sürecinin sonunda öğrencinin makale sayısını ikiye katlamanın da iyi bir yoludur.
Benchmark'ı fork'layıp kendi görevini oluşturmak ve bunu açıkça belirtmemek ise düpedüz kötü niyetlilik.
Yeniden üretmesi zor ya da imkânsız olsa bile gözlemsel bilim hâlâ bilimin bir dalıdır
2005'te yayımlanan, doğal yaşam alanındaki canlı bir dev kalamarın ilk fotoğrafını düşünelim: https://royalsocietypublishing.org/doi/10.1098/rspb.2005.315...
Sonuçları başka biri yeniden üretene kadar bunun yayımlanmaması gerektiğini kim ciddi ciddi düşünür
İlaç klinik deneylerinin sonuçları da yeniden üretilene kadar yayımlanmamalı mı
Yıldızın, Neptün ötesi cisim 486958 Arrokoth'un ve Arjantin'deki belirli bir bölgenin hassas biçimde hizalanması gereken “A stellar occultation by (486958) 2014 MU69: results from the 2017 July 17 portable telescope campaign” nasıl yeniden üretilir: https://ui.adsabs.harvard.edu/abs/2017DPS....4950403Z/abstra...
Pluto yakın geçişinin ya da Mars'ta helikopter uçurma sonuçlarının yeniden üretimi nasıl yapılır
“In The Pipeline”da öğrendiğim “Insights from a laboratory fire” adlı bir makale de var: https://www.nature.com/articles/s41557-023-01254-6
Kimya laboratuvarı yangınlarının nispeten yaygın ama eksik raporlanan olaylar olduğunu ve sonuçlarının ölümcül olabileceğini anlatıyor. Bu durumda akranlarca yeniden üretimin bununla ne ilgisi var
Bu durumlarda yeniden üretim, başka birinin o veri kümesi üzerinde o kodu çalıştırıp aynı sonucu elde edebilmesi anlamına gelir
Laboratuvarlar yazılım ortamlarını iyileştirmek ve yeni araçlar öğrenmek zorunda mı? Eski gizli püf noktalarından vazgeçmek zorunda mı? Mesele tam da bu
Sorun yeni keşiflerin yayımlanması değil, yayımlandıktan sonra bunları doğrulamaya yönelik teşviklerin az olmasıdır
Dev kalamara dair yeni gözlemler artık yeni olmasa bile hâlâ çok değerlidir. Bu nedenle yeni gözlemler teşvik edilmelidir
Pluto yakın geçişi ya da Mars helikopteri de aslında iyi örnekler değil. Yeniden sonda göndermek gerekir ve Mars atmosferindeki hava araçlarına dair örnekler ile veriler gelecekte muhtemelen bolca olacak. Simülasyonlar da çok fazla yapılabilir. Pluto'ya spektrometreler ve çeşitli cihazlar sürekli yöneltilecek
Bu tür durumlarda bile, aynı deney düzeneğinden gelen veriler olsa da farklı ekiplerin bağımsız analizleri sağlamlığı artırabilir. Her şey siyah beyaz değil. Gözlemler bir spektrum üzerindedir; bazıları diğerlerinden çok daha güvenilirdir ve yeniden üretim bunun bir unsurudur
Laboratuvar yangını durumunda, belirli bir laboratuvara özgü koşullardan kaynaklanan olgunun ne olduğunu anlamak için birden fazla vaka gerekir. İstatistiksel ve faktör analizi gibi şeylere ihtiyaç vardır. Burada yeniden üretim, gerçek laboratuvarları bilerek ateşe vermek anlamına gelmez
Bu, otomobil kazası araştırmaları gibidir. İnsanları bilerek öldürmeyiz, ama gerçekten yaşanmış olaylara dayanarak önceki gözlemleri doğrulayan ya da çürüten yeni makalelere sürekli ihtiyaç vardır
Kusursuz bir dünyada veri toplama da yeniden üretilirdi, ama kusursuz bir dünyada yaşamıyoruz
İlaç klinik deneyleri için de aynı şey geçerli. Şirketler ham verilerin ticari sır olduğunu iddia ettiği için klinik deney ham verilerini elde etmek için her zaman mücadele veriliyor. Bu yüzden bağımsız doğrulama çok pahalı; ancak FDA'nın düzenlenmiş sonuçlar ve bazı destekleyici materyaller yerine toplanan verilerin %100'ünün açıklanmasını şart koşması halinde bunun çok daha iyi olacağını düşünüyorum
Örneğin FDA, COVID aşısı klinik deneylerinin ham verilerini açıklamanın onlarca yıl süreceğini söylemişti. Neden öyle olmak zorunda? Üstelik bu, bir dava sonucunda zorunlu kılındıktan sonra olan şeydi
Bilgisayar bilimleri yüksek lisansı sırasında makalelerdeki ayrıntılı uygulamalar üzerinde epey zaman harcadım, ama tekrar tekrar fark ettiğim şey, makalelerin yöntemin eksiklerini ve başarısız olduğu durumların tamamını belirtmediğiydi. Elbette çok iyi istisnalar da var
Yayımla ya da yok ol baskısı yüzünden araştırmalarda dürüstlük çok az. Neyse ki kendi çalışmalarını şeffaf biçimde paylaşan insanlar da var, ancak genel olarak bilim, şeffaflık eksikliği ve yeniden üretim başarısızlıklarıyla dolu bir araştırma denizinde boğuluyor
CI/CD, bir şeyi production ortamına koymak için derleme ve dağıtım yöntemlerini tam olarak kodlaştırmaya zorlar. Docker ve sanal makineler ise kolayca kopyalanıp paylaşılabilen bir “benim makinem” sağlayarak bu sorunun etrafından dolaşmanın yoludur
Programlama dilleri alanında konferanslar, yazarların paketlenmiş artifact’lar sunmasına izin vermeye başladı. Bunlar genellikle kaynak kod, girdi verisi, eğitim verisi vb. oluyor ve çoğu zaman makale değerlendirmesinden sonra ayrıca değerlendiriliyor.
Artifact’lar genellikle lisansüstü öğrencilerden oluşan ayrı bir komite tarafından değerlendiriliyor ve her zamanki gibi tamamen gönüllülük esasına dayanıyor. Açık yönergeler olsa bile aynı kodu farklı bir ortamda çalıştırıp aynı sonuçları elde etmek bile yeterince zor. Bir yazılım tekniğinin “yeniden üretilmesi”, başka bir ekibin sıfırdan yeniden uygulamasını gerektiriyorsa bu uygulanamaz görünüyor.
Fizik, kimya ve biyolojinin en uç deneylerini başka bir laboratuvarın başarıyla yeniden üretebilmesi için yönergeler yazmanın ne kadar zor olacağını hayal bile edemiyorum. Mesele yalnızca özel ekipman değil; son teknoloji araştırma yapan bilimin sınır hattında olan şeylerden söz ediyoruz.
Bu öneri, herhangi bir alandaki akran değerlendirmesi sürecini hiç deneyimlememiş, bilim insanı olmayan biri tarafından yazılmış gibi hissettiriyor. Gerçek dünya böyle işlemiyor.
“Sert” bilimlerde yeniden üretim çoğu zaman o kadar zor değil gibi görünüyor. LK-99 ilginç bir örnek; aceleyle yazılmış, ayrıntıları eksik bir makale olduğu konusunda genel olarak uzlaşılsa da insanlar deneyi başarıyla yeniden üretiyor gibiydi. Son teknoloji bilimdi ama yeniden üretimin kendisi sorun değildi. Bilimin çoğu LHC değil.
Yeniden üretimin asıl sorunu daha “yumuşak” alanlarda görülüyor. Orada mesele yalnızca rastlantısallık ya da deneyin zorluğu değil. İlke olarak bile yeniden üretilemez makaleler, hatta tüm alanlar sıkça görülebiliyor. Araştırmacılar başkalarının kendi çalışmalarını yeniden üretebilmesi gerektiğini düşünmüyor ya da bazen yeniden üretimi engellemeye çalışıyor. En yaygın yöntem, verileri yeniden üretilemez bir şekilde toplamak ve bilerek paylaşmamak; bazen de araştırma tasarımının kendisi sorunlu oluyor.
Bunlara bakınca en doğal çıkarım, iddialarının doğru olmama ihtimalini bildikleri için yeniden üretim girişimlerini istemedikleri.
Dolayısıyla akran değerlendiricilerin ya da dergilerin çok temel bir şeyi, örneğin bu iddianın ilkesel olarak bile yeniden üretilebilir olup olmadığını kontrol etmesi iyi bir başlangıç olur. Yine de iyi yeniden üretilse de sonucu yanlış olan makaleler, metodolojisi mantıksız olan makaleler, yeniden üretilemeyecek kadar bariz olan makaleler kalacaktır; ama kolayca toplanabilecek çok fazla düşük sarkan meyve var.
Akran değerlendirmesi, yanlış soruna doğru çözümdür: https://open.substack.com/pub/experimentalhistory/p/science-...
Yeniden üretim değerli bir hedef, ancak kariyer teşvikleri olmalı. Çoğu programda araştırma yeniden üretimini müfredatın bir parçası haline getirmek gerektiğini düşünüyorum. Bir makalenin yerine, doktora derecesine giden bir aşama olabilir.
Güçlü bağlantı ile zayıf bağlantı ayrımı, bazı kültürlerin uyarıcılara, bazılarının ise gevşeticilere hoş bakmamasına da benziyor.