- Uluslararası Makine Öğrenimi Konferansı ICLR 2026'nın makale inceleme raporlarının yaklaşık %21'i tamamen yapay zeka tarafından yazılmış olarak tespit edildi
- Pangram Labs'in AI tespit aracı, 75.800 inceleme raporunu analiz ederek yarısından fazlasında AI kullanım izleri buldu
- Bazı araştırmacılar aşırı uzun veya hatalı geribildirimler alarak AI tarafından oluşturulmuş olabileceğini gündeme getirdi
- Konferans, AI kullanımının inceleme politikalarını ihlal edip etmediğini otomatik araçlarla kontrol edeceğini duyurdu ve güveni yeniden tesis sürecine girdi
- Bu olay, akademik değerlendirme sürecinde şeffaflık ve güvenilirliğin hızlıca sağlanması gerektiğine işaret ediyor
ICLR 2026 makale incelemelerinde ortaya çıkan AI kullanım durumu
- Uluslararası Makine Öğrenimi Konferansı ICLR 2026'da yapılan inceleme raporlarının yaklaşık %21'i tamamen AI tarafından yazılmış olarak analiz edildi; yarısından fazlasında ise AI etkisi bulundu
- Analiz, Pangram Labs tarafından gerçekleştirildi ve toplam 19.490 makale ile 75.800 inceleme raporu üzerinden yapıldı
- Pangram, AI tarafından üretilmiş metinleri tespit eden bir araç kullanarak bulguları yayımladı
- Konferans, AI kullanımının inceleme kurallarını ihlal edip etmediğini otomatik araçlarla inceleme planını açıkladı
- ICLR 2026’nın program sorumlusu bunu AI ile oluşturulmuş inceleme sorunlarının geniş çapta ilk kez bu kadar görünür olduğu bir vaka olarak nitelendirdi
Araştırmacıların endişeleri ve inceleme süreci
- Birçok araştırmacı, AI tarafından yazılmış olabileceği şüphesi bulunan değerlendirme notlarını sosyal medyada paylaştı
- Bazı notlarda "uydurulmuş atıf" (hallucinated citations) veya muğlak ve uzun uzadıya geribildirim yer alıyordu
- Carnegie Mellon Üniversitesi'nden Graham Neubig, olağandışı görülen incelemeler için AI üretimi doğrulaması talep etti
- X'te (eski adıyla Twitter) bir ödül ilanı paylaştı; Pangram Labs'in Max Spero ise buna yanıt verip kapsamlı bir inceleme yaptı
- Pangram, 12 saat içinde tüm gönderilerin metinlerini analiz edecek bir kod yazdıklarını belirtti
Pangram Labs sonuçları
- Pangram'ın aracı, LLM (büyük dil modelleri) tarafından üretilen veya düzenlenen metni tahmin etmek üzerine çalışıyor
- Sonuçlarda 15.899 inceleme raporunun tamamen AI tarafından oluşturulmuş, ayrıca 199 makalenin (%1) tamamen AI ile yazılmış** olduğu** belirlendi
- %61 makale insan tarafından yazılmış, %9 ise yarısından fazlası AI tarafından oluşturulmuş metin içeriyor
- Pangram, kendi modelini ICLR 2026'da preprint olarak sundu; o makale için yapılan bazı incelemeler de AI tarafından yazılmış olarak işaretlendi
Araştırmacıların tepkisi
- Kopenhag Üniversitesi'nden Desmond Elliott, kendi bir makalesine verilen bir değerlendirmede çalışmanın ana fikrinin yanlış anlaşıldığını ve yanlış rakamların kullanıldığını belirtti
- Doktora öğrencisi, ilgili incelemenin LLM tarafından yazılmış olabileceğini öne sürdü
- Pangram analizine göre bu inceleme gerçekten de tamamen AI tarafından üretilmiş çıktı
- Bu inceleme çalışmaya en düşük puanı vererek metnin kabul edilme eşiğinin kenarına düşmesine neden oldu
Konferansın tepkisi ve sonraki adımlar
- Konferans, AI kullanımını tespit edecek otomatik araçları devreye sokacağını duyurarak değerlendirme güvenilirliğini yeniden tesis etmeyi hedefliyor
- Program sorumlusu, bu süreçte güvenin tanımının yeniden yapılması gerektiğini ifade etti
- Bu olay, AI'nın akademik değerlendirme sürecine derinlemesine nüfuz ettiğine işaret eden bir örnek olarak, araştırma değerlendirmelerinde şeffaflığın güvenceye alınmasını merkezî bir konu haline getirdi
Henüz yorum yok.