AI araçları araştırma makalelerindeki hataları tespit ediyor

• Son dönemde AI araçları, araştırma makalelerindeki hesaplama, metodoloji ve kaynakça hatalarını tespit ediyor
• Geçen yıl, siyah plastik pişirme gereçlerinin kansere yol açan kimyasallar içerdiğini öne süren bir araştırma sonucu haber olmuştu
  • Ancak çalışmadaki matematiksel hata nedeniyle, gerçek kimyasal yoğunluğunun güvenli sınırın 10 kat altında olduğu ortaya çıktı
  • yapay zeka (AI) modeli bu hatayı birkaç saniye içinde bulabildi

AI tabanlı araştırma makalesi hata tespit projeleri

Black Spatula Project

• Açık kaynaklı AI aracıyla yaklaşık 500 makale analiz edilerek hatalar tespit edildi
• Proje, Kolombiya'dan bağımsız AI araştırmacısı Joaquin Gulloso tarafından koordine ediliyor; 8 geliştirici ve yüzlerce danışman yer alıyor
• Hata listesi kamuya açık değil; hata bulunduğunda araştırmacılarla doğrudan iletişime geçilerek düzeltme yapılması teşvik ediliyor

YesNoError

• Black Spatula Project'ten ilham alınarak başlatılan bir proje
• Kurucu ve AI girişimcisi Matt Schlicht tarafından yürütülüyor
• Özel bir kripto para ile finanse edilerek işletiliyor
• Şu ana kadar yaklaşık 37.000 makale iki ay içinde analiz edildi
• Hata tespit edilen makaleler web sitesinde işaretleniyor, ancak çoğu henüz uzman doğrulamasından geçmiş değil
• Uzun vadede, ResearchHub ile iş birliği yaparak hataları doğrulama planı var (kripto para ile doktora araştırmacılarına ödül veriyor)

Araştırmacılar ve dergiler için AI araçlarının kullanımı teşvik ediliyor

• Araştırmacıların makale göndermeden önce, dergilerin de makaleyi yayımlamadan önce AI araçlarını kullanarak hataları önceden tespit etmesi teşvik ediliyor
• Hataların ve araştırma suistimalinin önlenmesiyle bilimsel güvenilirliğin güçlenmesi bekleniyor

Akademinin tepkisi ve endişeler

• Araştırma bütünlüğü uzmanları projelere temkinli ama olumlu yaklaşıyor
• Tilburg Üniversitesi'nden araştırmacı Michèle Nuijten şu endişeyi dile getirdi:
  • AI araçlarının doğruluğu net biçimde doğrulanmazsa, hatalı uyarılar itibar zedelenmesine yol açabilir
• Linnaeus Üniversitesi'nden adli metabilim uzmanı James Heathers ise şu sözlerle destek verdi:
  • "Berbat bir makaleyi geri çekmek, onu yazmaktan çok daha kolaydır"
  • AI, makaleleri elemek ve ek incelemeyi teşvik etmek için faydalı olabilir

AI araçları nasıl çalışıyor

• Makalelerdeki hataları tespit etmek için büyük dil modelleri (LLM) kullanılıyor
  • Makaleden tablo, görsel ve benzeri bilgiler çıkarıldıktan sonra karmaşık komutlar (prompt) oluşturuluyor
  • AI modeli, farklı hata türlerini aramak ve sonuçları çapraz doğrulamak için makaleyi birden çok kez analiz ediyor
  • Makale analiz maliyeti: makale uzunluğu ve prompt karmaşıklığına bağlı olarak 15 sentten birkaç dolara kadar çıkabiliyor

Yanlış pozitif sorunu

• Black Spatula Project → yaklaşık %10 yanlış pozitif oluşuyor
  • Tüm hatalar uzman doğrulaması gerektiriyor → uzman eksikliği en büyük darboğaz
• YesNoError → 10.000 makalede bulunan 100 matematik hatasının doğrulanması sonucunda %90'dan fazlasının gerçekten hata olduğu görüldü
  • YesNoError, yanlış pozitif oranını azaltmak için çalışıyor ve akademiden gelen geri bildirimleri sürekli dikkate alıyor

Yanlış pozitif sorununa yönelik eleştiriler

• Linnaeus Üniversitesi'nden araştırmacı Nick Brown:
  • YesNoError'ın analiz ettiği 40 makalenin 14'ünde yanlış pozitif tespit etti → çoğu yazım/ifade sorunuydu
  • Önemsiz hatalar nedeniyle akademi üzerinde gereksiz yük oluşabilir
  • "Teknoloji büyük ölçüde iyileşmediği sürece, ortada açık bir fayda olmadan çok fazla iş çıkacaktır"

AI araçlarının gelecekteki zorlukları ve beklentiler

• YesNoError, hangi makalelerin inceleneceğine kripto para sahiplerinin öncelik vermesini sağlayacak bir yöntem getirmeyi planlıyor
  • Siyasi açıdan hassas konulardaki makalelerin (ör. iklim bilimi) hedef alınma ihtimali var
• Brown: "AI araçları gerçekten etkili olduğunu gösterirse, belirli araştırma alanlarında büyük değişim yaşanabilir"

[dbs0829]

Düşük kaliteli makaleler elenecektir ama öte yandan iyi makalelerin de eşiği yükselirken görece daha az yaratıcı hâle gelebileceği konusunda endişeliyim. Mantıksal boşluklar olsa bile, bazen bunların doğurduğu yeni fikirler de olduğu için, kişisel olarak bunu pek de memnuniyetle karşılamıyorum.

[mcdasa]

Yapay zeka da yanılabilir; yapay zekanın işaret ettiği noktaların yanlış olmadığını nasıl doğrulayacağımızı merak ediyorum.

[ndrgrd]

LLM yaygınlaştıkça, bilgi dengesizliğinden kaynaklanan talebin büyük kısmını oluşturduğu alanlarda gerçekten muazzam değişimler yaşanıyor.

[bus710]

İnsanlığın çeşitli kutsal metinlerini de analiz ettirsek nasıl olur diye düşünüyorum, haha

[GN⁺]

Hacker News yorumu

• Yapay zeka, yayımlanmış makalelerde bariz hataları tespit edebiliyorsa, inceleme sürecinin bir parçası olarak kullanılabilir. Yazarlar bunu gönderimden önce kendi çalışmalarına uygulayabilirse, makalelerin kalitesini büyük ölçüde artırabilir

  • Kritik nokta, uzmanların yani yazarların ve hakemlerin bu sürece dahil olmasıdır. Yanlış pozitifleri kolayca görmezden gelebilirler, ancak istatistiksel hatalar veya kendi uzmanlık alanları dışındaki kısımlarda uyarı alabilirler

• Şu anda YesNoError web sitesinde çok sayıda yanlış pozitif bulunuyor. Linnaeus University araştırmacısı Nick Brown, sorunlu 40 makaleden 14'ünün yanlış pozitif olduğunu belirtiyor

  • Sorunların çoğu yazım kaynaklı görünüyor ve birçok tespitin hatalı olduğu söyleniyor
  • Bu teknolojinin ciddi biçimde iyileşmemesi halinde, bariz bir fayda olmadan çok fazla iş üreteceği konusunda uyarıyor

• Şu anda işleri yönlendiren AI olduğu için, insanlar bunun sahtekarlığı veya hatalı mantığı denetlediğini düşünebilir. Gerçekte denetlenen şey öz-tutarlılık ve eğitim verileriyle tutarlılık

  • Yazım hataları, yanıltıcı ifadeler, olgular ve diyagramlar arasında çapraz doğrulama için iyi olabilir; ancak uydurulmuş veriler ya da kulağa makul gelen ama yanlış sonuçlar konusunda büyük katkı sağlamayacaktır

• Yapay zeka kullanarak geri çekilmiş makalelerin etkisini haritalama fikri öneriliyor. Artık desteklenmeyen sonuçlar geri çekilmiş makalelerde tespit edilip, bunların sonraki makalelerde nerede göründüğü kontrol edilebilir

• Kolektif hafızamız çok mu kısa? Yapay zekanın ürettiği bug raporlarının yol açtığı sorunları unuttuk mu?

• Black Spatula projesinde büyük hataların tespit edildiği iki örnek veriliyor

  • Karmaşık çok ajanlı pipeline'lara gerek yoktu; bu tür hatalar tek bir prompt ile tespit edilebildi

• Fikir iyi ve bunu kendi şirket raporlarına uygulayıp, bariz hataları patrona göndermeden önce tespit etmek isteniyor

  • Ancak iki yaklaşım öne çıkarılıyor. Biri, önce yayımlamadan yazarlarla özel olarak iletişime geçen küçük ölçekli yaklaşım. Diğeri ise önce yayımlayan, insan incelemesi içermeyen ve kendi kripto parasına sahip olan yaklaşım

• YesNoError, hangi makalelerin önce inceleneceğine kripto para sahiplerinin karar vermesini planlıyor

• Bu fikir çok kötü bir düşünce. İlk bölümü atlayıp "yanlış pozitifler" bölümünü okumak gerekiyor

• Bunun değerine dair ciddi şüpheler var. AI "incelemeleri" yüzünden temelsiz iddialara yanıt vermek için harcanan zaman zaten oldu. Bu tür iddialar daha önce de vardı belki, ancak metin üreticileri doğru terminolojiyle halüsinasyon kurup sıradan insanları ve amatörleri ikna etmeyi bildiği için uğraşması daha da can sıkıcı hale geliyor