- 2024 Kasım'ında arXiv'de “Artificial Intelligence, Scientific Discovery, and Product Innovation” makalesinin preprint olarak yayımlanmasının ardından, söz konusu çalışmanın doğruluğu ve dürüstlüğü konusunda sorunlar gündeme geldi
- MIT, gizli bir iç soruşturma yürüttü ve makalenin güvenilir olmadığı sonucuna vararak resmî olarak arXiv ve The Quarterly Journal of Economics'e geri çekme talebi gönderdi
- MIT Disiplin Komitesi (Committee on Discipline) imzalı açık mektuba göre, makaledeki verilerin kaynağı, güvenilirliği ve doğruluğu konusunda hiçbir güvenleri yok; araştırma sonuçlarının kendisinden de emin değiller
- arXiv politikası gereği makalenin geri çekilmesini yalnızca yazarlar talep edebilir; ancak yazar talepte bulunmadığı için MIT bunun yerine resmî başvuru yaptı ve makalenin en kısa sürede geri çekilerek bunun açıkça işaretlenmesini istedi
Makalenin etkisi ve MIT'nin yanıtı
- Preprint makale, hakem değerlendirmesinden (peer review) geçmemiş bir araştırmadır
- Söz konusu makale, yapay zeka ve bilim alanındaki akademik tartışmalarda kayda değer bir etki yaratıyor
- MIT, makaledeki hatalı içeriğin tartışmalar üzerindeki olumsuz etkilerini azaltmak için resmî geri çekme sürecini yürütüyor
- Yazar artık MIT bünyesinde değil
Araştırma dürüstlüğünün önemi
- Araştırma dürüstlüğü, MIT'nin temel değerlerinden biridir ve kurumun ana misyonunun bir parçasıdır
- MIT, araştırma usulsüzlüğü meselelerine hızlı yanıt verebilmek için gizli süreçler ve ilgili politikalar oluşturup uyguluyor
- İlgili politika ve prosedürler MIT'nin resmî web sitesinde görülebilir
Öğretim üyelerinin resmî açıklaması
- Profesör Daron Acemoglu ve Profesör David Autor, söz konusu makalede dipnotta anıldı ve şu resmî açıklamayı yaptı
- Bu makale, ekonomi bölümünde eski bir ikinci sınıf doktora öğrencisinin çalışmasıdır; henüz hakemli bir dergide yayımlanmamış olsa da yapay zeka ve bilimle ilgili literatürde şimdiden aktif biçimde tartışılmaktadır
- Zamanla araştırmanın geçerliliğine dair soru işaretleri ortaya çıktı ve durum ilgili birimlere bildirildi
- 2024 Şubat'ında MIT, iç politikaları doğrultusunda gizli bir soruşturma başlattı
- Bilgi paylaşımı kısıtları nedeniyle sonuçları açıklamaları zor olsa da, verilerin ve araştırmanın kaynağına, güvenilirliğine ve dürüstlüğüne hiçbir şekilde güvenmediklerini bir kez daha vurguladılar
- Bu açıklamayı kamuya yapmalarının nedeni, makale yayımlanmamış olmasına rağmen yapay zekanın bilim üzerindeki etkisini tartışırken etkili olmaya devam etmesidir
- MIT, doğru bir araştırma kaydının korunmasını önemli görüyor ve akademide ya da kamusal tartışmalarda bu makalenin sonuçlarına dayanarak değerlendirme yapılmasının uygun olmadığını açıkça belirtiyor
Sonuç ve tavsiyeler
- MIT, akademi dünyasına ve kamuoyuna, söz konusu makaleyi akademik bir referans olarak kullanmamalarını tavsiye ediyor
- Araştırmalarda doğruluk ve güvenilirliğin sağlanmasını en öncelikli konu olarak görüyor
1 yorum
Hacker News yorumu
arXiv’de bir makalenin geri çekilmesini yalnızca yazarın talep edebildiğini anladığını, MIT’nin yazardan geri çekmesini istediğini ama bunun henüz gerçekleşmediğini anlatan bir açıklama yapıldığını söylüyor. MIT’nin mahremiyeti makul ölçüde korurken olayın gidişatını da bir ölçüde görünür kılan bu bilgi verme biçimini fena bulmadığını düşünüyor. Ayrıca yazarın makaleyi bırakıp MIT’den gönüllü olarak ayrılmış gibi bir anlatı kurarak bunun yeni fırsatlara yol açmasını umduğunu ve MIT’nin bu konuda resmi bir açıklama yapacağını muhtemelen beklemediğini tahmin ediyor
MIT’nin tüm suçu öğrenciye yıkıp kendi kusurunu gizlediğini savunuyor. Yazarın ünlü ve varlıklı MIT profesörlerinden tavsiye aldığına, ikinci sınıf bir doktora öğrencisinin sanayi içinde bağlantıları olmadan böyle büyük bir sahte araştırmayı tek başına yürütmesinin zor olduğuna inanıyor. Makalenin özetindeki “AI yeni malzemeleri %44 daha fazla keşfetti, patent başvurularını %39 artırdı, aşağı akış inovasyonunu %17 yükseltti” istatistiklerinin, sanayi Ar-Ge’sinin gerçekleri düşünüldüğünde sayılara bakınca bile şüpheli göründüğünü söylüyor. Bu ölçekte rakamlarda, temel sezgiye sahip birinin bile bunun sahte olduğunu anlayabileceği görüşünde
Yazarın izlerini gizlemek için sahte bir web sitesi kurduğunu ve Corning adlı şirkette çalışmış gibi görünmek üzere bir alan adı bile kaydettiğini de doğruladığını belirtiyor. Bu yüzden Corning’in WIPO üzerinden alan adının zorunlu devrini sağladığı olayı da ekliyor
Yazarın Zoom üzerinden kendi makalesiyle ilgili bir seminer verdiği video da paylaşılıyor. Geriye dönüp bakınca, yalan söylerken bakışlarını ekrana ya da kameraya sabitlememe alışkanlığının dikkat çektiğini ve böyle doğaçlama yalanların artık gündelik bir alışkanlığa dönüşmüş olabileceği endişesini dile getiriyor
Makaledeki grafik verilerinin fazla temiz göründüğünü, bu yüzden ilk izlenim olarak gerçek veriden çok manipülasyon hissi verdiğini paylaşıyor. Özellikle Mayıs 2022’de, ChatGPT dünyaya çıkmadan yalnızca 6 ay önce, ikinci sınıf bir doktora öğrencisinin büyük bir şirketin malzeme deney laboratuvarında bin kişilik bir deneyi yürütmeye nasıl ikna ettiğini açıklayamadığını söylüyor. Model açıklamasının da GAN+diffusion gibi ifadelerle geçiştirildiğini, somutluktan uzak olduğunu ve büyük şirketlerdeki gerçek iş deneyimine göre böyle büyük ölçekli bir uygulamanın kısa sürede hayata geçirilmesinin asla mümkün olmadığını net biçimde ifade ediyor
Makalenin deney tasarımının pratikte imkânsız olması bakımından Michael LaCour’un makale sahtekârlığına benzediğini söylüyor. O olayda da anket paneli yanıtları ve tekrar yanıt oranları sağduyunun dışındaydı; hatta deneyi gerçekten yapabilecek kapasitede şirketler bile böyle bir prosedürü uygulayamayacaklarını söylemişti
İlgili makalenin yazarının MIT IRB’den insan deneyleri onayı aldığını ve numarasını bile verdiğini, ancak o tarihte henüz doktora programına bile başlamamış olduğunu işaret ediyor
Soru-cevap bölümünde yazarın GAN değil GNN (graf sinir ağı) kullandığını savunduğunu, ancak sunumu izleyen kitlenin de makalenin geçerliliğini derinlemesine sorgulayan bir havada olmadığını paylaşıyor
Makalenin kopyalanmasının zor, alanın ise çok geniş olduğu durumlarda bunun gerçekte ne zaman doğrulanabileceğini sorguluyor ve bu alanda ne kadar çok sahte makale olabileceğini daha fazla düşünmek gerektiğini söylüyor. Kendi deneyimine göre ML alanında sayı uyduran insanlar epey vardı
Bilim insanlarının aylık iş zamanı dağılımı verilerini otomatik metin analiziyle yıl boyunca neredeyse sabit biçimde elde ettikleri iddiasının en baştan mantıksız olduğunu düşünüyor. Böyle bir veri setinin kalitesinin hayal edilenden bile iyi olması gerekirdi, ama gerçekte bu mümkün değil
MIT’nin tanınmış ekonomistlerinin makalenin güvenilirliğine şüpheyle yaklaşan tarafta yer aldığını ve gerçek bir büyük malzeme şirketindeki inovasyon vakasını doğrulamaya çalışırken anlaşmazlıkları çözemeyip MIT’den soruşturma yürütmesini istediklerini söylüyor. Bunun yalnızca öğrenciyi okuldan atmakla çözülecek bir mesele olmadığını, makaleyi aktif biçimde öne çıkaran profesörler araştırmaya gerçekten dahil olmuşlarsa bin kişilik o gizemli laboratuvarın var olup olmadığını, gerçek AI araçlarının kullanılıp kullanılmadığını en azından temel düzeyde doğrulamaları gerektiğini savunuyor
Teşekkür listesinde adı geçen 21 kişiden hiçbirinin veri kaynağını sorgulamamış olmasını eleştiriyor. Bunlardan biri araştırma hakkında popüler bir Twitter zinciri bile yazmış; olay yeni bildirilince de yalnızca “makaledeki veriler güvenilir görünmüyor” diye kısa bir yanıt vermiş
Akademide her yerde, itibarı büyük ama makaleleri doğru düzgün okumayan profesörler olduğunu ve kendisinin de bunu bizzat yaşadığını anlatıyor. İsim veremeyeceğini ama zorlu koşullara rağmen iyi bir ortak danışmanının bulunmasının teselli olduğunu söylüyor
Alıntıladığı kaynağın ne olduğu sorulunca Washington Post ve WSJ haberi olduğunu belirtiyor
Bu makalenin şimdiden yaklaşık 50 kez alıntılanmış olmasına dikkat çekiyor. Geçmişte geleneksel dergilerde en azından makalenin sorunlarına ilişkin bir not bırakılabildiğini, ancak arXiv’de makalenin izini sürünce herhangi bir tartışma ya da ihtilafı görmenin mümkün olmadığını, bunun da preprint sunucularının zayıf yönünü gösterdiğini söylüyor
50 alıntının çoğunun arXiv gibi preprint’lerde ya da ResearchGate benzeri yerlerde olduğunu açıklıyor. Esasen hakemli dergilerde kaç kez alıntılandığının daha gerçekçi bir ölçüt olduğunu belirtiyor. arXiv’in incelemesiz PDF bloglarından çok da farklı olmadığını, yalnızca biraz davet sistemi bulunduğunu ve savunmasının zayıf olduğunu düşündüğünü paylaşıyor. Anlatırken geçmişte gördüğü tuhaf bir kriptografi makalesi örneğini de veriyor
Bu zayıflığın inceleme eksikliğinden kaynaklandığını, arXiv’de bir tür idari denetim olsa da bunun gerçek anlamda güvenilirlik sağlamadığını söylüyor. Bir makaleye güvenmenin ya yazara güvenmek ya da bizzat incelemek anlamına geldiğini, geri çekilme durumunda nedenin ayrıca görünür kalmadığını ve herkesin bunu kendisinin takip etmek zorunda olduğunu belirtiyor. Örnek olarak gördüğü bir geri çekilmiş makale mesajını alıntılıyor
Bu makalenin birkaç ay önce de HN’de tartışıldığını paylaşıyor
O zamandan beri bunun şüpheli olduğunu fark eden insanlar bulunduğunu, ek bağlantıyla birlikte vurguluyor
Tartışma gönderisinin başlığını ve bağlantısını da ekleyerek bilgi paylaşıyor
Makalenin tamamen silinmesi yerine, araştırma preprint’ine sorunları ve sahtekârlık olasılığını belirten bir not eklenmesinin daha iyi olacağı görüşünde. Zaten alıntılanmış bir çalışma olduğu için ileride gerçek etkisini incelemek gerekebilir; makale tamamen kaybolursa geride yalnızca bir boşluk kalacağından endişe ediyor
Makale geri çekildiğinde önceki sürümlerin kaldığını ve MIT’nin geri çekme talebinde bulunduğu bilgisinin de yer aldığını belirtiyor. Basın haberlerinin başlıklarının biraz yanıltıcı olabileceğini söylüyor
Suç niteliğindeki bir makalenin alıntılanmaya devam etmemesi için, ona atıf yapan makalelerin de uyarı işareti gibi yöntemlerle işaretlenmesi gerektiğini; sahtekârlığın etkisinin sonuna kadar sürmemesi için önlem alınması gerektiğini düşünüyor
arXiv’de “burada bir zamanlar bir makale vardı ama geri çekildi” diyen bir sayfa olsa iyi olacağını da ekliyor
MIT’nin yalnızca doktora öğrencisinin hatasından söz edip VC fonları, arka kapı ilişkileri ya da örgütlü yolsuzluk ihtimalini tümden reddeden tavrını sorguluyor. Bu makalenin bir gün ortaya çıkacağının bilindiği hâlde AI piyasasının değerini ve beklentisini şişirip büyük kazanç sağladıktan sonra tartışma büyüyünce küçük bir bedel ödeyip özür dileyen bir yapı varsa, sonuçta yine büyük kâr elde etmiş olacağı bakışını dile getiriyor. İlaç şirketlerinin de zaman zaman böyle davrandığı piyasa gerçekliğine işaret ediyor. Güvenilir görünen kurum ya da yayınlarda bile yanlış veya biraz çarpıtılmış makaleler çok olduğu için yalnızca haber alıntılarına bakmanın mantıksal geçerlilik sağlamadığını vurguluyor
MIT’nin resmi açıklamasının ayrıntı bakımından zayıf olduğunu, WSJ haberinde biraz daha fazla bilgi olsa da hâlâ somut detayların eksik kaldığını belirtiyor. Makaleyi agresif şekilde tanıtan ekonomistlerin, dışarıdan bir bilgisayar bilimcinin itirazları sonrası MIT içinde soruşturma başlatılmasına yol açtığını yeniden aktarıyor
“İkinci sınıf doktora öğrencisiydi” ifadesinin bile onun okuldan atıldığını ima ettiğini düşünüyor