Yönetim dergisinde yayımlanan kusurlu bir makale 6 binden fazla atıf aldı

 (statmodeling.stat.columbia.edu)
1 puan yazan GN⁺ 2026-01-26 | 1 yorum | WhatsApp'ta paylaş
  • Kurumsal sürdürülebilirlik ile hisse performansı arasındaki ilişkiyi öne süren makale 6 binden fazla atıf aldı, ancak ciddi hatalar ve yanlış beyanlar ortaya çıktı
  • Araştırmayı yeniden üretmeye çalışan Andy King, yazarların, akademinin, derginin ve üniversitelerin hata düzeltme ve doğrulama taleplerini defalarca görmezden geldiğini söyledi
  • Makale; istatistiksel anlamlılığın yanlış belirtilmesi, metodoloji hataları, gerçekçi olmayan örneklem eşleştirmesi gibi çok sayıda sorun içeriyor; bunların bazıları basit yazım hatası olarak değerlendirildi
  • King, sorunu LinkedIn paylaşımı ve çoğaltma araştırmalarına odaklanan dergi (JOMSR) üzerinden gündeme taşıdı, ancak Harvard Business School ve London Business School bunu hafif bir mesele olarak sonuçlandırdı
  • Yazarlar hâlâ makaleyi geri çekmedi; yazı, bilimsel güvenilirliği yöneten sistemin çöküşünü ve reform ihtiyacını vurguluyor

Sorunlu makale ve yeniden üretme girişimi

  • “The Impact of Corporate Sustainability on Organizational Processes and Performance” başlıklı makale 6 binden fazla atıf aldı ve Wall Street yöneticileri ile eski bir ABD başkan yardımcısının dahi atıf yaptığı etkili bir çalışma olarak değerlendirildi
  • Andy King bu makaleyi yeniden üretmeye çalışırken metodoloji tutarsızlıkları, istatistiksel hatalar, eksik testler ve olağandışı örneklem yapısı buldu
    • Yazarlara defalarca e-posta gönderdi, ancak yanıt alamadı
    • Mevcut çalışmaların, yeniden üretme/çoğaltma (Replication) araştırmacılarının taleplerini görmezden gelmesi veya geciktirmesinin yaygın bir pratik olduğunu gösteren Bloomfield et al. (2018) araştırması da bulunuyor

Akademi ve derginin tepkisi

  • King, meslektaş akademisyenlerden yardım istedi, ancak çoğu çatışmadan kaçınma ya da zaman darlığı gerekçesiyle bunu reddetti
    • Bazı akademisyenler, “yayımlanmış makalelerdeki hataları işaret etmenin kariyer açısından daha zararlı olduğunu” söyledi
  • Management Science dergisine eleştirel bir yorum sundu, ancak “üslubun uygun olmadığı” gerekçesiyle reddedildi
    • Yazarlar, temel sonuçlardaki anlamlılık işaretlemesinin yanlış olduğunu kabul etti, ancak bunun bir ‘yazım hatası’ olduğunu savundu
    • King’in ek düzeltme taleplerinin tamamı reddedildi

Kamuya açıklama ve çoğaltma araştırmasının yayımlanması

  • King, hataları LinkedIn’de açıkladıktan sonra dergi gecikmeli olarak bir düzeltme bildirimi (erratum) yayımladı
  • Çoğaltma araştırması Journal of Management Scientific Reports (JOMSR)’ta yayımlandı ve yalnızca çoğaltma çalışmalarına odaklanan dergilerin rolünü öne çıkardı
  • King, özgün makalede raporlanan yöntem ile gerçekte kullanılan yöntemin farklı olduğunu ve gerçek yöntemle sonuçların yeniden üretilemediğini doğruladı

Araştırma etiği soruşturması ve üniversitelerin tepkisi

  • King, Harvard Business School ve London Business School nezdinde araştırma etiği ihlali başvurusu yaptı
    • Yazarlar, “düzenleme sürecindeki bir hatanın yanlış cümlenin kalmasına yol açtığını” savundu; ancak aynı hata tüm taslaklarda tekrarlandı
    • Harvard, soruşturmanın yürütülüp yürütülmediğini gizli tuttu; LBS ise “kasıtlı bir yanlış beyan olmadığı” gerekçesiyle yalnızca eğitsel önlem önerdi
  • King, “veriye erişim meselenin özü değil; yanlış açıklamalar araştırmanın yorumlanabilirliğini çökertir” diyerek eleştirdi

Kurumsal başarısızlık ve reform önerileri

  • Makalede yalnızca sınırlı düzeltmeler yapıldı ve yanlış yöntem açıklaması hâlâ düzeltilmedi
  • King, “güvenilir bir bilim yönetim sistemi işlemiyor” diyerek şunları önerdi
    • Tek bir çalışmaya dayanarak atıf yapmaktan kaçınmak ve çoğaltılıp çoğaltılmadığını kontrol etmek
    • Hata bulunduğunda derhâl düzeltmek
    • Etik dışı davranışlar konusunda meslektaşları uyarmak
    • Çoğaltma araştırmalarını ve JOMSR gibi dergileri desteklemek
    • Kurumların araştırma etiği politikalarını güçlendirmek
  • Ayrıca, akademik yönetişimde şeffaflık, bağımsız denetim ve kademeli yaptırımların kurumsallaştırılmasını ve FurtherReview gibi sonradan doğrulama sistemlerinin devreye alınmasını önerdi

Andrew Gelman’ın yorumu

  • Gelman, yazarların davranışını araştırma suistimali olarak tanımlarken, bireylerden ziyade sistemsel sorunlara odaklandı
  • “Geçmişteki hataları kabul etmeme tutumu”nun bilimi ‘ölü bilim (dead science)’ hâline getirdiğini söyledi
  • Akademik topluluk hata düzeltmeyi ve sorumlu tutumu teşvik etmedikçe aynı sorunların tekrarlanacağı uyarısında bulundu

İlgili okumalar

1 yorum

 
GN⁺ 2026-01-26
Hacker News yorumları

  • 2003'ten beri bakımını yaptığım açık kaynaklı ajan tabanlı modelleme araç setini geliştirdim
    Yakın zamanda başka bir dilde yazılmış yeni bir araç seti üzerine çıkan bir makale, benim yazılımımla karşılaştırma yapıp kendilerinin daha iyi olduğunu iddia etti, ama gerçekte benim aracımı yanlış çalıştırmış ve verileri de çarpıtmıştı
    Düzeltme talep ettim ama dergi itibar kaygısıyla konuyu sessizce kapattı, yazarlar da sadece bahane üretti
    Sorun, bunun akademide fazlasıyla yaygın olması

    • Ben de benzer bir şey yaşadım. Bir rakip, yazılımımı yanlış anlayarak makale yayımladı ve hatalı verilerle sonuca vardı
      O olaydan sonra akademik makalelere olan güvenim ciddi biçimde azaldı
    • Eskiden geliştirdiğim akademik amaçlı bir yazılım vardı ve başka bir araştırma grubunun benim programımı karşılaştırma ölçütü olarak kullandığı makaleyi hakem olarak değerlendirdim
      Onların test metodolojisi temelden hatalıydı ve “gerçek doğru cevap” olmayan bir problemi keyfi bir ölçüte göre eğitip kendi sonuçlarının en iyi olduğunu iddia ediyorlardı
      Ben yayımlanmamasını tavsiye ettim, dergi de kabul etti, ama birkaç ay sonra o makalenin hiç düzeltilmeden başka bir dergide yayımlandığını görünce akademik açıdan umutsuzluğa kapıldım
    • Eğer sen benim tanıdığım Sean Luke isen, Maryland Üniversitesi'ndeki lisans yıllarımda derslerin bilgisayar bilimi düşünme biçimim üzerinde büyük etki bıraktı. Teşekkürler
    • Bir keresinde bir meslektaşım benden bir makalenin kodunu gözden geçirmemi istedi; baktığımda karmaşıklık hesabını yanlış yaptığını ve bu yüzden tamamen yanlış bir sonuca vardığını gördüm
      Sonunda vardığım sonuç, “psikoloji mezunlarına kod yazdırmayalım” oldu. En azından bir bilgisayar bilimi mezununa doğrulatılmalıydı
    • Yüksek lisans dönemimde danışmanımın verileri manipüle ettiğini dergiye bildirdim ama hiçbir yanıt alamadım
      Üniversitenin hukuk ekibi de aynı şekilde davrandı ve o günden sonra akademiye olan güvenim neredeyse tamamen yok oldu. İşte tekrarlanabilirlik krizinin nedeni bu

  • Bugünlerde atıf sayısı eskisi kadar anlamlı değil
    Sorunlu makaleler kopyala-yapıştır biçimde atıf almaya devam ediyor
    Bu yüzden atıf grafiğinin üzerine bir güven ağı bindiren bir servis tasarlamayı düşünüyorum
    Hatalı makaleleri eleştirel süzgeçten geçirmeden atıflayan çalışmalar “muhtemelen kirlenmiş” diye işaretlenecek, böyle makaleleri çok olan yazarlar veya kurumlar da etiketlenecek

    • Ben de GPT-3 ilk çıktığında bu fikri araştırmıştım
      Ama makaleleri gerçekten okumaya başlayınca saçma sapan makalelerin çok fazla olduğunu gördüm
      Kötü makalelerin istisna olduğu varsayımı zaten yanlıştı; sonuçta iş çamur içinde elmas aramaya döndü
      Bu yüzden bir alanın %90'ı sahteyse, o alanı tamamen yok saymak daha iyi sonucuna vardım
    • İlginç bir fikir ama eleştirel atıf ile basit atıfı ayırmak zor değil mi?
      İlgili çalışmaları sadece özetlemek bile bir cezaya dönüşebilir gibi görünüyor
    • Konferanslarda sahte araştırmalarla kariyer yapan insanları görünce uzmanlara olan güvenim azaldı
      Ama bir güven sistemi kursan bile bunun sonunda yine oyunlaştırılacağını düşündüğüm için şüpheliyim
    • Bizim ülkede de citation ring ve yazar sayısını şişirme oldukça yaygın

  • Her alanda berbat makaleler var ama gerçek işletme fakültesi makalelerine bakınca insanın özgüveni geri geliyor
    O alanda düzgün araştırma yapanlar neredeyse Galileo düzeyinde istisna

    • Ben de mühendislik, ekonomi ve işletme çift anadalı yaptım; işletme bana gazete okuma düzeyinde geldi
      İlginçti ama derinlikten yoksundu; adeta tarih belgeseli gibi yüzeyseldi
    • İşletme fakülteleri sonuçta düşük maliyetle kâr elde etme tekniklerini araştıran yerler, yani ortaya çıkan ürün de zaten bu

  • “Tek bir çalışmayı belirleyici kanıt diye atıflamayın” sözüne tamamen katılıyorum
    Mesela meşhur “Harvard Goal Study” gerçekte hiç var olmadı
    Harvard Kütüphanesi SSS sayfasında da böyle bir çalışmanın olmadığı açıkça belirtiliyor

    • “Jick Study” de benzer bir örnek. Wikipedia maddesine bakılabilir
    • Tek bir çalışma göz ardı edilmeli. Etki gerçekse diğer araştırmacılar bunu kısmi yeniden üretimlerle genişleten çalışmalar yapar
      Tersine, sonrasında neredeyse hiç atıf yoksa bu uzak durulması gereken bir işarettir

  • Temel sorun “publish or perish” kültürü
    Profesörlük atamaları ve araştırma fonları atıf sayılarına bağlı olduğu için karşılıklı atıf ve makale enflasyonu sıradan hale geliyor

    • Sorun sadece atıfa göre değerlendirmek
      Veri paylaşımını ve yeniden üretim doğrulamasını da içeren çok aşamalı bir değerlendirme sistemine ihtiyaç var
    • Sonuçta okul yıllarındaki not rekabeti yapısı, yetişkin dünyasında “makale rekabeti” olarak devam ediyor
    • Bu, Goodhart yasasının tipik bir örneği

  • Dünyada berbat bilimsel makalelerden çok var
    Benim sevdiğim bir yazı, John P. A. Ioannidis'in “Why Most Published Research Findings Are False” metni

    • Harika bir makale, ama teknoloji sektöründeki bazı kişiler bunu bahane ederek “benim gerçekliğim gerçeğin ta kendisi” deyip gerçeklikten kaçış için kullanıyor
    • Ioannidis tekrarlanabilirlik krizi araştırmalarıyla çok büyük iş yaptı ama COVID-19 hakkındaki açıklamalarında komplo teorilerine yakın tavrı hayal kırıklığı yarattı

  • Sorunun özü istatistiksel anlamlılık ve akademik dergi yapısı
    “Anlamlı sonuç yok” türü bulgular yayımlanmadığı için doğal olarak yalnızca yanlı sonuçlar ortada kalıyor
    Ön kayıt ve yeniden üretilebilir veri paylaşımı önemli, ama terfi rekabeti ve ticari çıkarlar yüzünden bunlara çoğu zaman uyulmuyor

  • “Sarhoş sürücüler kötü insanlar değildir” iddiasına katılmak zor
    Başkalarının hayatını tehlikeye atan davranışları savunursan “kötü” sözcüğünün anlamı kalmaz
    Araştırmacılar etik dışı davrandığında da buna “eğitimin sonucu” demek sorumluluktan kaçmak gibi geliyor

    • Birine “kötü” demek ikili düşünme biçimi
      Sistem kötü davranışı kolaylaştırıyorsa, sonuçta neden yapısal sorunlardır
      “Eğitilmiş” denince kastedilen “öğretilmiş” değil, çevre tarafından bu hale getirilmiş olması
    • “Kötü davranış” yerine “akılsız davranış” ya da “sorumsuz davranış” demek daha doğru olabilir
      ‘bad’ kelimesinin ahlaki iması zayıf
    • Herkesin bunu yaptığı dönemlerde insanlar kültürel bir yanılgı içinde kendilerinin farklı olduğuna inanıyordu
      Sonuçta bu, Dunning-Kruger etkisi nedeniyle kişinin kendine aşırı güvenmesiydi
      İnsan böyle bir yanılgıya düşebiliyorsa, insanın kendisine topyekûn kötü denemez

  • “Yeniden üretim çalışması yapanlar dikkatli olmalı” sözü, bilimin özüne aykırı
    Yeniden üretilemeyen sonuçlar anlamsızdır ve yeniden üretim çalışmaları tam tersine teşvik edilmelidir

  • Bir dergideki makalenin atıf sayısı sitelere göre farklı görünüyor
    SSRN'de 109, ResearchGate'te 3936, Google Scholar'da ise 6269 görünüyor
    Atıf sayımı ölçütleri birbirinden çok farklı olduğu için bunlara güvenmek zor
    Ayrıca “tüm makaleler için yorumları, düzeltmeleri ve geri çekme taleplerini açıkça yayımlayalım” şeklinde bir öneri de vardı,
    ama bunu yaparsan Einstein'ın makaleleri bile tuhaf yorumlarla dolup taşar gibi geliyor

    • Gerçekten de Google Scholar ölçümüne göre 6269 atıf doğru görünüyor
    • Ama PubPeer gibi anonim yorumlara izin veren platformlara bakınca,
      sanıldığının aksine kötüye kullanım sorunu çok büyük görünmüyor