Dünyanın en eski üniversitelerinden birinin yeni rektörünün atıf karteli örgütlediğine dair bulgular
(english.elpais.com)- Akademik atıfların itibar, terfi, maaş ve büyük projeler üzerinde etkili olduğu bir yapıda, Salamanca Üniversitesi’nin yeni rektörü Juan Manuel Corchado’nun organize karşılıklı atıflarla etkisini artırdığına dair bulgular ortaya çıktı
- İç yazışmalarda, yüksek lisans tezlerine, bitirme projelerine, doktora tezlerine, dergilere ve konferans bildirilerine Corchado’nun makaleleri ile editörlüğünü yaptığı ADCAIJ makalelerinin eklenmesi yönünde talimatlar yer alıyor
- Bazı makalelerde konuyla ilgisiz kaynakçalar bile yer aldı; Corchado veya ADCAIJ atıflarının oranı %97~100’e ulaştı. Elektrik dağıtım şebekesi güvenliğiyle ilgili bir makaleye de mesane kanseri, denizlerde CO₂ ve petrol sızıntısı araştırmaları eklendi
- Springer Nature olayı inceleyeceğini açıkladı; Elsevier ise Corchado ve 3 işbirlikçisinin 2019’da yayımladığı bir çalışmayı yüksek lisans tezinden intihal gerekçesiyle daha önce geri çekmişti
- İspanya Research Ethics Committee soruşturma başlatırken, uzmanlar bu olayı araştırmacı değerlendirme sistemi ile üniversite içi denetim mekanizmalarının zayıflığını gösteren bir örnek olarak görüyor
İç yazışmaların ortaya koyduğu atıf talimatları
- Juan Manuel Corchado, Salamanca Üniversitesi rektörü olarak atanan kişi; geçmişte kendisini İspanya’da 4. sırada, dünyada ise ilk 247 içinde yer alan bir bilgisayar bilimleri araştırmacısı olarak tanıtmıştı
- Bu sıralama yükselişinde, birbirlerinin makalelerine atıf yapan bilim insanlarından oluşan bir atıf kartelinin rol oynadığı belirtiliyor
- İç yazışmalarda, Corchado’nun grubunun her makalede Corchado’nun kendisine veya editörlüğünü yaptığı Advances in Distributed Computing and Artificial Intelligence Journal (ADCAIJ) dergisine atıf yapılmasını istediğine dair talimatlar bulunuyor
- 7 Haziran 2017’de bir asistan, yüksek lisans tezlerine, bitirme projelerine, doktora tezlerine vb. ekli Word belgesindeki 20 Corchado kaynağı ile 10 ADCAIJ makalesinin eklenmesini talimatlandırdı
- Ek dosyada yaklaşık 50 Corchado makalesi yer alıyordu
- Aynı asistan, kaynakçayı “kopyalayıp yapıştırmayı” kolaylaştırmak için eklediğini de belirtti
- 26 Temmuz 2017’de başka bir asistan, sonraki dergi veya konferans makalesinde Corchado makalelerine atıf yapılması talimatını iletti
- Ekli listenin başında Corchado’nun petrol sızıntısı ile ilgili bir makalesi bulunuyordu
Kaynakçalarda tekrarlanan sıra dışı örüntüler
- 9 Ocak 2019’da Roberto Casado Vara, elektrik dağıtım şebekelerinde bilgisayar güvenliği üzerine bir makale yayımladı; kaynakçadaki 31 kaynaktan 29’u, yani %94’ü Corchado makaleleriydi
- Kaynakçada makalenin konusuyla ilgisiz mesane kanseri riski, denizlerde CO₂, petrol sızıntısı ve mikroalg kırmızı gelgit araştırmaları da yer aldı
- Aynı gün Casado Vara’nın yayımladığı 3 makalede, kaynakçaların %97~100’ü Corchado veya ADCAIJ atıflarıyla doldurulmuştu
- Casado Vara, Corchado’nun doktora danışmanı olduğu bir isimdi; doktorasını savunmasından 3 yıl sonra, 2022’de Stanford University’nin atıf alan araştırmacılar listesine girdi
- Scopus analizinde Corchado’nun işbirlikçilerinin 75 yayında Corchado’dan neredeyse 1.700 kez, ADCAIJ’den ise 520 kez söz ettiği görüldü
- Pedro Tomás Nevado-Batalla’nın kamu yönetiminin modernizasyonuna ilişkin çalışması, 42 Corchado makalesine ve 7 ADCAIJ yayınına atıf yaptı
- Söz konusu makaledeki atıfların %92’si Corchado’ya veya onun dergisine yönelikti
- Nevado-Batalla, bu kaynakçaların kendi çalışmasına eklendiğinden haberdar olmadığını ve açıklama isteyeceğini söyledi
Yayıncılar ve araştırma etiği soruşturması
- Springer yayınevinin konferans kayıtları, Corchado’nun toplu öz atıf eklemek için kullandığı bir araç haline geldi
- Springer Nature’ın Research Integrity Director’ı Chris Graf, olayı “çok dikkatli” inceleyeceğini açıkladı
- İnceleme sonrası uygun görülürse editoryal işlem yapılacağını söyledi
- Elsevier, Corchado ve 3 işbirlikçisinin 2019’da yayımladığı çalışmayı daha önce geri çekmişti
- Geri çekme gerekçesi yüksek lisans tezinden intihaldi
- EL PAÍS haberinin ardından İspanya Ministry of Science, Spanish Research Ethics Committee’nin Corchado hakkında soruşturma başlattığını duyurdu
- Corchado, Salamanca Üniversitesi’nin resmi kanallarındaki anonim bir açıklama aracılığıyla “onurunu ve bilimsel dürüstlüğünü” savundu ve yayın etkisinin Scopus ile Web of Science üzerinden değerlendirilmesini önerdi
Çevrimiçi hesaplar ve depo manipülasyonu şüpheleri
- Corchado, kendi yayınlarına binlerce öz atıf eklemenin ve grup üyelerinden kendisine atıf yapmalarını istemenin yanı sıra, var olmayan bilim insanlarına ait sahte çevrimiçi hesaplardan fayda sağlamakla da suçlanıyor
- ResearchGate’te Devika Rout, Marcus Ress gibi var olmayan araştırmacı hesapları Corchado’nun çalışmalarından tekrar tekrar söz etti
- Mart ayından sonra Corchado bu sahte profilleri büyük ölçekte sildi; Salamanca Üniversitesi’nin Gredos deposuna yüklediği açıkça manipüle edilmiş yayınları da kaldırdı
- 13 Mart’taki telefon görüşmesinde Corchado, kendisine atıf yapan “20~30” sahte çevrimiçi hesap olduğunu söyledi
- Bu hesapların, kendisine zarar vermek isteyen hoşnutsuz eski çalışanlar tarafından oluşturulduğunu açıkladı
- Ardından bunların, ResearchGate’in manipüle edilebileceğini göstermek için “genç bir adam” tarafından oluşturulduğunu da söyledi
- ResearchGate sözcüsü, herhangi bir bilgisayar saldırısından haberdar olmadıklarını ve profil silme işlemini yalnızca parolaya sahip olan oluşturan kişinin yapabileceğini belirtti
Uzman tepkileri ve üniversite seçimi
- Salamanca Üniversitesi 1218’de kurulmuş bir kurum; University of Vigo’nun eski rektörü ve atıf karteli uzmanı Domingo Docampo, Corchado’nun böyle bir göreve aday olmaması gerektiğini söyleyerek eleştirdi
- Docampo, gerçek içeriği olmayan yayınların atıf çiftlikleri için araç haline geldiğini ve tepesinde makale imzacıları üzerinde etki sahibi bir kişinin bulunduğu piramit biçimli bir yapı olduğunu değerlendirdi
- University of Santiago de Compostela’dan Alberto Ruano bunu “ders kitabı niteliğinde bir atıf karteli örneği” olarak nitelendirdi
- Corchado’nun temsil ettiği kuruma zarar verdiğini; Salamanca Üniversitesi’nin güvenilirliğini ve İspanya’daki tüm üniversite öğretim üyelerini de etkilediğini düşünüyor
- Ministry ve Conference of Rectors of Spanish Universities’ın benzer vakaları önlemek için önlem alması gerektiğini vurguladı
- Corchado, önceki rektörün ani istifasının ardından tek aday olarak yarıştı ve 7 Mayıs’taki seçimi kazandı
- Oy kullanma hakkı olan 33.000 kişinin %6,5’inin desteğini aldı
- Öğretim üyelerinin yarısı protesto amacıyla boş oy kullandı
- Corchado 2018’de özel kuruluş AIR Institute’u kurdu; bu kurum, Castilla y León bölgesel hükümetinin verdiği milyonlarca euroluk projeleri yönetiyor
Değerlendirme sistemi reformu tartışması
- Bilimsel değerlendirme metodolojisi uzmanı Ismael Ràfols, çok sayıda yayın ve çok sayıda atfı yüksek değerleyen sistemin bu tür yolsuzlukları doğurduğunu düşünüyor
- Ràfols, Avrupa’da reform sürecinin başladığını ancak İspanya’nın hâlâ yapacak çok işi olduğunu söyledi
- İspanya üniversite sisteminin denetim kurumu ANECA, araştırmacıları üretim miktarı odaklı değerlendirmeyecek şekilde dönüşüyor
- ANECA’dan Pilar Paneque, reformun kötü uygulamaları frenleyeceğini ve araştırmacılar, özellikle de genç araştırmacılar üzerindeki baskıyı azaltacağını düşünüyor
- Paneque, bilimsel dürüstlük ve araştırma etiğine yönelik ilerlemenin her kurumun sorumluluğu ve denetimiyle başlaması gerektiğini vurguladı
- Her üniversitenin araştırmacılarının üretimlerini iyi bildiği, bu nedenle olağan dışı davranışları kolayca tespit edebileceği görüşünde
1 yorum
Hacker News yorumları
Bütün bunlar görünüşe göre herkesin gözü önünde yaşanmış; bunu gösterir şekilde, tek aday olan profesör için yapılan oylamada protesto olarak %50 boş oy çıkmıştı. Oradakiler olan biteni biliyordu demek
Bu skandal hakkında “tespit algoritmasını nasıl tasarlarız?” diye sormanın tamamen yanlış yöne bakmak olduğunu düşünüyorum. Bu tür atıf klikleri o kadar bariz ki tespit kısmı neredeyse önemsiz bir mesele; asıl zor ve çözülmemiş sorun araştırma üniversitelerindeki iş kültürü
[0] https://retractionwatch.com/2022/03/25/how-critics-say-a-com... ("Eleştirmenlere göre İspanya’daki bir bilgisayar bilimci Google Scholar metriklerini yapay olarak nasıl şişirdi")
İnsanların algoritmik cevapları sevmesinin, bunların gerçek gücün ikamesi gibi hissettirmesinden kaynaklandığını düşünüyorum. Kötü olanı düzeltme gücünü kendinizde bulmayı hayal edemiyorsanız, en azından belki otomatik olarak düzeltecek bir mantıksal yapı kurgulayabilirsiniz
Birçok teknisyenin algoritmalardan çok siyasi güç elde etmeye odaklanması halinde çok daha büyük etki yaratabileceğini düşünüyorum
Bu vakada da aynı şeyi sürdürürken bir yandan “hepimizin bildiği o kötü şeyi tespit etmede öncülük ediyoruz” diyen bir basın bülteni yayımlamak istemişler gibi görünüyor
Sam Bankman-Fried’in annesinin Stanford etik kurulunda olmasına benziyor, komik
Rafael Luque, açıkça dürüst olmayan davranışları nedeniyle değil, King Abdulaziz University’yi birinci kurumu olarak yazdığı ve bunun kendi üniversitesinin tepkisini çektiği için 13 yıl uzaklaştırma cezası aldı [1]. KAU’nun bu şekilde atıf satın alan bir yer olarak bilindiği söyleniyor [2]
Bir başka örnek de Francisco Herrera Triguero [3]. Yıllardır KAU’yu ikinci kurumu olarak yazıyordu, ama diğer kişinin hikâyesi patladıktan sonra bile hiçbir şey olmadı
Bu yüzden daha fazla algoritma üretmektense bu tür meseleler için daha fazla kamusal denetim gerekebilir
[1] (İspanyolca): https://elpais.com/ciencia/2023-03-31/suspendido-de-empleo-y...
[2] https://liorpachter.wordpress.com/2014/10/31/to-some-a-citat...
[3] (İspanyolca): https://www.elsaltodiario.com/universidad/papers-y-mas-paper...
İnandırıcı görünen kaynakçaları birçok kişi ve makaleye dağıtan zeki, gizli bir kartel olsaydı yine anlardım; ama sadece bu kişinin berbat makalelerine atıf yapın denmiş gibi
Atıf sayısı ve h-index metriklerinin de kesinlikle iyileştirilmesi gerekiyor. Klik tespitiyle bu tür atıfları düşük ağırlıklandırmak basit bir iş olmalı
Açık bir şüphe yoksa kimse tüm atıfları ve makaleleri sistematik olarak kontrol etmez. Araştırmacı, lisansüstü öğrenci ve profesör başına böyle bir şeyi tek tek yapmak için makale sayısı çok fazla
Üniversitelerin bunu yapacak kaynağı yok. Bu, bu işe özel birkaç kişiyi tam zamanlı çalıştırmak gerektiği anlamına gelir; buna rağmen biraz daha sofistike vakaları yakalayamazsınız. Örneğin laboratuvardaki öğrencilerin yayımladığı her makalede profesörün zorunlu atıf olarak yer alması gibi
Bir profesörün yılda 20-30 dergi makalesi yayımlamasını nasıl mümkün gördüklerini merak ediyorum. Bu düzey çok yaygın, hatta düşük bir sayı; oysa tek bir makaleyi yazıp hakem sürecinden geçirmek bile en iyi ihtimalle aylar, büyük dergilerde en kötü ihtimalle 2 yıl sürebilir
Asıl işi lisansüstü öğrenciler ve yardımcı doçentler yapar; profesörün adı ya saygı göstergesi olarak yazar listesine girer ya da en kötü durumda böyle yapılması emredildiği için girer. Bu son derece yaygın bir uygulama
Bu şekilde lisansüstü öğrencileri, kendi yapmadığı işleri kendi başarısı gibi göstermeye zorlayıp fiilen sahte bir akademik kariyer inşa eden birini bizzat gördüm. Neredeyse başarılı olacaktı; ancak Avrupa’daki seçkin bir üniversitenin kadro değerlendirme komitesindeki profesörlerden biri daha önce onunla çalışmıştı ve kâğıt üzerinde parlak görünen araştırma geçmişini nasıl elde ettiğini bildiği için veto etti
Ayrıca etki faktörü gibi metriklerin çoğu sadece sayıdan ibaret. Neyle hesaplandığını göremezsiniz. Araştırma her zaman bireylerin titizliği ve dürüstlüğü üzerine kurulu oldu; bunu kötüye kullanan çürük elmalar da her zaman var
Motivasyonlar ve ortadaki şeyler, yani kariyer, iş, araştırma fonu vb. o kadar çarpıtılmış ki birçok kişinin bu tür usulsüzlüklere itildiğini hissediyorum
Atıflar araştırma fonu çeker; araştırma fonu da kurumlar açısından caziptir
Yayıncıların bunu düzeltmek için bir nedeni yok; araştırma usulsüzlüğünden epey büyük çıkar sağlıyorlar
Bu tür şeyler de çok yaygın. Macchiarini’nin sahte makalesinin geri çekilmesi çok uzun sürdü; Alzheimer plaklarıyla ilgili bazı temel makalelerde de aynı şey oldu
Aynı konuyu çalışan ve birbirine atıf yapan bir arkadaş grubu ile çete benzeri bir yapıyı nasıl ayırt edebilirsiniz?
Corchado meselesi yalnızca uç bir “siyah-beyaz” vaka; genel sorun çok daha nüanslı
Örneğin küçük bir topluluk içindeki örtük atıf karteli ile fikir önderleri grubu arasında net bir çizgi yok. Küçük bir toplulukta lider olunca daha geniş görünürlük kazanmak, fon almak ve perde arkası karar süreçlerini etkilemek de çok daha kolaylaşıyor
Bir bakıma Corchado nispeten zararsız, çünkü herkes onun bir soytarı olduğunu biliyor. Avrupa yapay zeka topluluğunda söyleyecek pek sözü yok. Asıl sorun, herkesi etkileyip kirleten gri alanlar ve oralarda palazlanan insanlar
Bu kişi gerçekten yozlaşmış. Makale, University’nin onu neden işe aldığını ve hâlâ neden kovmadığını ele almamış; bunu çok merak ediyorum
İnsanların titizliği ve tasarlanmış sistemleri korumakta başarısız olduğunu sık sık kabul ederim
Genelde birçok avukatın ve siyasetçinin yozlaşmış olduğunu kabul eder, insanları o yöne iten çeşitli teşvikler olduğunu da söyleriz. Ama aynı şey bilimde, akademide, tıpta, dinde, sporda, mühendislikte olunca şaşırıyor ya da skandal gibi görüyoruz
Hepimiz sadece insanız. Bu vakada bu kişi, statüsünü yükseltecek metrik optimizasyonu yapmış. Yanlış mı? Evet. Bir şeylerin emanet edileceği biri mi? Hayır. Benzersiz bir vaka mı? Hayır
Bu kişi hakkında daha fazla bağlantı içeren kısa bir yazı var: https://forbetterscience.com/2024/05/03/schneider-shorts-3-0...
Atıf fabrikaları ve makale fabrikaları oldukça yaygın ve hayli kârlı olabilir. Elsevier, Springer gibi yerlerin bunu engelleyerek kazanacağı pek bir şey yok
Sanırım pek çok akademisyenin ince ve örtük biçimde yaptığı şeyi yazıya dökecek kadar sıra dışı derecede aptalmış
İnsanlar arkadaşlarını ya da kendi alanlarından kişileri atıflıyor; örtük karşılıklı ödüllendirme de işliyor. Atıf yapılan çalışma mevcut makaleyle neredeyse ilgisiz olsa bile bunu yapıyorlar
Atıf pratiğinin kendisi de çok tuhaf. Makale yazarken atıf yapacak çalışma arayan araştırmacıları birçok kez gördüm. Google’da üst sıralarda çıkan sonuç atıf alıyor; o makaleyi daha önce okumamış bile oluyorlar. Sadece “makine öğrenmesi tıpta uygulandı” gibi oldukça genel bir iddiaya iliştirilecek bir atıf arıyorlar
Böyle atıfların kötü bir pratik olduğundan da emin değilim. Cümlenin dayanak atfı olması gerekiyor sonuçta. Ama bunun sonucu olarak bir makalenin atıf almış olması; örneğin ML ve Cancer aramasında Google’da üst sırada çıkan makalenin atıflanmış olması, o makalenin gerçekten anlamlı, güvenilir ya da önemli bir bilimsel katkı olduğu anlamına gelmez hale geliyor
Bu tür siyasi atıf kasıtlı dolandırıcılık olmadan da gerçekleşiyor
Lisansüstü dönemde, makalenizin kabul edilmesini istiyorsanız program komitesi üyelerinin ve etkili hakemlerin makalelerine atıf yapmanız gerektiği herkesin bildiği bir şeydi. Onların çalışmalarının benim işimle pek ilgili olduğunu düşünmesem de böyleydi
Açık bir klik yapısının insanlara bunu yaptırması kadar uç değil, ama çarpıklığın bir kısmı benzer. Yüksek statülü kişiler yaygın biçimde atıf aldıkları için yüksek statüdedir; yüksek statülü kişiler oldukları için de onlara yeniden atıf yapmak gerekir
Geçmişte yaşadığınız aptalca şeyleri neden özellikle normalleştirmeye çalıştığınızı bilmiyorum
Yüksek akademiden ya da lisansüstü eğitim süreçlerinden geçmemiş birçok kişide, yükseköğretim çalışanlarını toplum için harika işler yapan kusursuz, büyük şahsiyetler olarak görme bakışı vardı sanırım
Yaşlandıkça, bu insanlarla temas etme fırsatım arttıkça ve böyle makaleler okudukça, artık onların önemli bir kısmının canavar olduğu ve yeryüzündeki en çılgın biçimde narsist ve istismarcı insanlar arasında yer aldığı görüşü oluştu bende
Feodal mülkler işletiyorlar; para, şöhret ve altlarındaki insanlar üzerinde güç sahibiler. Üstelik zeki insanlar oldukları için işlerini yaparken çevrelerindekilere çok daha büyük zarar verme kapasitesine de sahipler
“Sıkıcı” ve “çekici olmayan” birçok alan da var; oralarda iş ve topluluk oldukça rahat ve usulüne uygun ilerliyor
Buna karşılık çok popüler ve rekabetçi alanlar belirli türden insanları kendine çekiyor
Ayrıca toksik ya da sert bilim insanları da istenen sonuçları ürettikleri sürece çoğu zaman özgürce hüküm sürebiliyor
Tam bir perspektif değil ama çeşitli üniversitelerden insanlardan hikâyeler duydum. Bir üniversiteden gelen biri, son dönem öğretim üyesi alımlarından etkilenmemişti ama oradaki belirli, bütüncül anlamda çok iyi bir profesör için “onun yerine kurşun yerim” demişti
Çoğu akademisyen, insanların normal dağılımına daha yakın gibi görünüyor. Ortalama insandan daha fazla eğitim almışlar ve bazı açılardan daha zeki olabilirler; ama insanüstü zekâya sahip değiller ve diğer insanlardan daha aziz olmaya daha yakın görünmüyorlar
Pek çok profesörden ciddi bir koşturma da beklendiği için, bir zamanlar hayal ettiğim gibi hayırsever ve bilge üniversite toplumunun kıdemli büyüğü rolünü üstlenecek zamanları, enerjileri ve güçleri azalıyor
Bazı yerlerde ve bazı kişilerde daha mutsuz dinamikler de işliyor. Bazı üniversitelerin bazı yönleri, hayal edilebilecek en içten toksik şirketler gibi davranıyor; hatta daha kötü bile olabilir. Çünkü kurumlar ya da kişiler daha az hesap verme eğiliminde
Elbette bariz istisnalar vardır, ama kişisel olarak akademi ve üniversitelerin, insan doğasının ortaya çıkarabileceği en kötü, en hain ve en sinsi şeylerin biriktiği bir lağım çukuru olduğu sonucuna vardım. Meritokrasiden çok uzak; böyle ortamlarda tortu yukarı “çıkar”.
Bunun, burada yakın zamanda tartışılan üniversite diplomasının değer kaybettiği algısıyla nasıl bağlantılı olduğunu gerçekten merak ediyorum.
Bu insanlar sadece bunu yazıya dökecek kadar aptalmış; pek çok yerde karşılıklı atıf alışverişi yapılıyor ya da hiçbir katkı sunmadığı hâlde birileri makaleye yazar olarak ekleniyor.
Bu tür şeyler için hapis cezası gibi yaptırımlar gelmeye başlamadıkça değişmesi zor görünüyor.