Üretken yapay zeka ve Vikipedi düzenleme: 2025’te öğrendiklerimiz

• Wiki Education, 2025 boyunca üretken yapay zekanın (ChatGPT vb.) Vikipedi düzenleme üzerindeki etkisini sistematik biçimde inceledi
• AI tespit aracı Pangram kullanılarak 2022’den sonra yazılmış 3.078 madde analiz edildi; bunlardan 178’inin AI tarafından yazılmış olabileceğinden şüphelenildi ve bunların üçte ikisinden fazlasının doğrulamayı geçemediği ortaya çıktı
• Bunun üzerine program katılımcılarına verilen eğitim güçlendirildi ve AI kullanım yönergeleri ile gerçek zamanlı tespit sistemi devreye alınarak AI tarafından üretilen metinlerin doğrudan kopyala-yapıştır edilmesi engellendi
• AI, madde taslağı yazmak için uygun değil; ancak kaynak araştırma, referans bulma ve içerik boşluklarını belirleme gibi araştırma aşamalarında yararlı biçimde kullanılabiliyor
• Wiki Education, AI tespitinin otomasyonu ve editör eğitiminiň genişletilmesinin Vikipedi’nin güvenilirliğini korumanın anahtarı olduğunu vurguluyor

---

Üretken yapay zeka ile Vikipedi arasındaki ilişki

• Wiki Education, İngilizce Vikipedi’deki yeni aktif editörlerin yaklaşık %19’unu destekliyor ve üretken yapay zekanın etkileri ile risklerini analiz ediyor
  • ChatGPT, Gemini, Claude gibi sohbet botları gündelik hale geldikçe bunların Vikipedi düzenlemede kullanılmasına yönelik girişimler de arttı
  • Kuruluş, katılımcıların AI kullanım davranışlarını değerlendirdi ve sonuçları paylaştı
• Sonuç olarak şu ilkeyi ortaya koydu: AI çıktıları olduğu gibi kopyalanıp Vikipedi’ye yapıştırılmamalı

AI tespiti ve doğrulama sonuçları

• 2022’de ChatGPT’nin çıkışından sonra yazılan maddeler arasında 178’i Pangram tarafından AI üretimi olarak tespit edildi
  • 2022 öncesinde AI kullanımına dair iz bulunmazken, sonrasında bu kullanım kademeli olarak arttı
• Yalnızca %7’si sahte kaynak kullanıyordu; geri kalanı gerçek kaynaklara atıf yapıyordu ancak üçte ikisinden fazlası doğrulamayı geçemedi
  • Atıf verilen kaynaklarda ilgili bilgi yer almadığı için doğruluk teyit edilemedi
• Wiki Education, doğrulamayı geçemeyen maddeleri temizlemek için kayda değer insan gücü harcadı
  • Bazı maddeler stub olarak işaretlendi, bazıları için silme önerisi (PROD) yapıldı, bazıları ise kurtarılamaz kabul edildi

Program iyileştirmeleri ve AI tespit sistemi

• Pangram’ın desteğiyle katılımcı düzenlemelerini gerçek zamanlı analiz eden bir yapı kuruldu
  • Kurumun kendi Dashboard platformu üzerinden düzenleme takibi ve otomatik uyarı işlevleri yürütülüyor
• Yeni eğitim modülü “Using generative AI tools with Wikipedia” kullanıma alındı
  • AI’nin kullanılabileceği ve yasak olduğu alanlar net biçimde ayrıldı
  • “AI metnini kopyala-yapıştır yapmayın” mesajı temel vurgu olarak öne çıkarıldı
• 2025’in ikinci yarısında verilen 1.406 AI düzenleme uyarısının yalnızca %22’si gerçek madde alanında ortaya çıktı
  • Büyük kısmı alıştırma amaçlı sandbox aşamasında tespit edildi
• Pangram, biçimlendirme ve listeler gibi cümle dışı metinlerde bazı yanlış pozitifler (false positive) gösterse de, ana metin cümlelerinin analizinde yüksek doğruluğunu korudu

AI kullanım davranışı ve eğitimin etkisi

• 2025 güz döneminde 6.357 kişinin yalnızca %5’inde gerçek maddelerde AI tespiti yapıldı; bunların çoğu elle ya da otomatik olarak geri alındı
  • Katılımcılar, eğitmenler ve wiki uzmanları iş birliği yaparak AI üretimi metinleri kaldırdı
• Eğitmenler, öğrenci çalışmalarını ‘doğrulanabilirlik (verifiability)’ ekseninde değerlendirdi
  • AI’nin ürettiği cümlelerin olgusal olarak doğrulanamadığı ve bu yüzden Vikipedi için uygun olmadığı görüldü
• Pangram tabanlı erken müdahale sayesinde beklenen %25’lik AI kullanım oranı %5’e düşürüldü

AI’nin olumlu kullanım potansiyeli

• AI, madde boşluklarını belirleme, kaynak arama ve materyale erişim yolları önerme gibi araştırma aşamalarında faydalı
  • 7 derste bildirilen 102 kullanım vakasının %87’sinde yararlı bulunduğu belirtildi
  • En çok kullanılan araç ChatGPT, ardından Grammarly oldu
• Öğrenciler AI’yi cümle düzeltme, kategori önerme ve taslak değerlendirme için kullandı
  • Ancak AI ile ana metin yazılan bir örnek olmadı
• Bunun yalnızca AI sonuçları eleştirel biçimde incelendiğinde faydalı olduğu, insan yargısının vazgeçilmez olduğu vurgulandı

Wiki Education’ın sonucu ve gelecek planları

• Mevcut düzeydeki üretken AI, doğrulanamayan metinler ürettiği için Vikipedi ana metni yazımı için uygun değil
  • AI’nin ürettiği cümleleri doğrulamak, doğrudan yazmaktan daha fazla zaman alıyor
• Buna karşın kaynak araştırma ve fikir geliştirme gibi alanlarda yardımcı araç olarak kullanılabilir
• Pangram tespit sisteminin 2026’da da sürdürülmesi ve geliştirilmesi planlanıyor
• Katılımcıların AI okuryazarlığının yetersiz olduğu görüldü ve ek olarak büyük dil modeli (LLM) eğitim modülleri sunulacak
• Princeton Üniversitesi gibi kurumlarla iş birliği içinde AI kullanımı öncesi ve sonrası öğrenci düzenlemelerindeki değişim üzerine araştırmalar sürüyor
  • Pangram’ın 2015–2022 arasındaki düzenlemeleri %100 insan yazımı olarak doğru biçimde tanıdığı da doğrulandı

Vikipedi geneli için çıkarımlar

• Dünya genelindeki yetişkinlerin %10’u ChatGPT kullanıyor ve bunların önemli bir kısmı bunu metin yazımı için kullanıyor
  • Yeni editörlerin, AI tarafından üretilen içeriği doğrulamadan ekleme riski bulunuyor
• Pangram gibi otomatik tespit araçları, Vikipedi kalitesini korumak için kritik önem taşıyor
  • Şu anda yalnızca manuel afişleme mümkün; otomatikleştirilmiş tespit sistemlerine ihtiyaç var
• Yeni editörlere yönelik AI kullanım uyarıları ve kaynak odaklı düzenleme eğitiminin güçlendirilmesi öneriliyor
  • Wikimedia Foundation’ın düzenleme destek yazılımlarında da insan merkezli özetleme yaklaşımına öncelik verilmeli
• Vikipedi’nin teknolojik değişime uyum sağlayıp güvenilirliğini koruyabilmesi için, AI çağına uygun politika ve araçların geliştirilmesi önemli

[GN⁺]

Hacker News yorumları

• Vikipedi'de uzun zamandır kaynak doğrulama başarısızlığı sorunu yaygındı
  Son dönemde bunun sıklığının arttığına dair kanıt bulmak zor
  Çoğu yazar, bildiği şeyi yazıp sonra en azından kulağa makul gelen alıntıları ekliyor gibi görünüyor
  Sayfanın uzmanlık düzeyine ya da konunun ne kadar niş olduğuna göre güvenilirlik değişiyor gibi geliyor

  • Yakın tarihli bir Changelog podcast bölümü sırasında bunun canlı bir örneği yaşandı
    Sunucular kendilerinin yanlış biçimde “GitHub çıkışlı” olarak işaretlendiğini fark etti ve konuk kayıt sırasında Vikipedi alıntısını düzeltti
  • Benim yaşadığım sorun iki taneydi. Biri sahte alıntılar, diğeri ise alıntı gerçek olsa da kaynağın güvenilir olmayan biri olmasıydı
    Bu sorunlara işaret edince bazı editörler “Vikipedi güvenilirdir” diye ısrar ediyor
    Bu algı değişmedikçe iyileşme zor görünüyor
  • LLM'ler insanlara kıyasla çok daha yüksek sıklıkta dayanaksız sonuçlar ekleyebilir
  • Aslında bu tür alıntı doğrulaması, AI tarafından otomatik tespit edilip insanların incelemesi için işaretlenmesinde kullanılabilir gibi görünüyor
  • Birçok belgede ya neredeyse hiç alıntı yok ya da yanlış alıntılar yüzünden sonuçlar çarpıtılıyor
    Örneğin su moleküllerinin davranışının yanlış yorumlandığı örnekte olduğu gibi

• Makale üç kez “üretken AI çıktısını kopyala-yapıştır yapmayın” diye vurguluyor
  Ben de benzer bir deneyim yaşadım. Başta şaşırtıcı derecede ikna edici geliyor ama kısa süre sonra yanılsama ve gürültü çok fazla olduğunu fark ediyorsunuz
  Yine de fikir üretimi ya da beyin fırtınası için epey kullanışlı

• Başlığı seçme nedenim makalenin ana fikrini vurgulamaktı
  “İşaretlenen belgelerin üçte ikisinden fazlası doğrulamadan geçemedi” cümlesi özellikle akılda kaldı

  • Siyasetle ilgili belgelerde bu tür sorunlar uzun zamandır yaygındı
    Alıntıları bizzat doğruladığınızda saçma sapan kaynaklar çok çıkıyor
    AI sorunu kötüleştirebilir ama insanların kötü niyetli düzenlemeleri de sürüyor
  • İlk gönderilen başlık “İşaretlenen belgelerin çoğu doğrulamadan geçemedi” idi
    Bence o ifade özü iyi yakalıyordu
  • İnsanlar da dayanağı olmayan şeyler yazar ama LLM'ler hız ve ölçek açısından çok daha ileride
    AI öncesinde alıntı hata oranının ne kadar olduğuna dair karşılaştırmalı veri merak ediyorum

• Bu makale Vikipedi'nin tamamını değil, yalnızca Wiki Edu programı üzerinden yapılan düzenlemeleri ele alıyor
  Yani ders ödevi olarak üniversite öğrencilerinin yazdığı belgelere dair bir konu

  • Öğrencilere zorla Vikipedi düzenlemesi yaptırırsanız, isteksizce yazılmış düşük kaliteli çıktılar ortaya çıkması kaçınılmazdır
    Sonuçta sorun Vikipedi'den çok üniversitelerdeki AI kullanım alışkanlıklarıyla ilgili
  • Bu, öğrencilerin makale yazarken yalnızca makul görünen alıntıları bulup ekleme alışkanlığına da benziyor
    Hatta doktora öğrencilerinin bile böyle yazdığını görmek üzücü
  • Wiki Edu düzenlemeleri arasında yaratıcı yazarlık ödevi gibi görünenler de vardı
    Kaynakları okuyunca çoğunda anlamın garip biçimde yanlış anlaşıldığı veya yanlış özetlendiği görülüyordu
    LLM'ler bu tür öğrencilerin “not için yazı yazma” tarzına tam uygun araçlar

• Vikipedi sorununun ötesinde, dünya çapında milyonlarca insanın LLM ile metin üretmesi ve bunun bir kısmının gerçekmiş gibi tüketilmesi daha büyük bir sorun
  LLM'lerin gerçeğe karşı bir yükümlülüğü yok, yalnızca dilbilgisel tutarlılığa sadıklar

  • Aslında LLM'ler dilbilgisel tutarlılıktan da çok, yaygın kabul gören üsluba uyma eğiliminde
    Bazen tesadüfen doğru çıkıyor ama her zaman istikrarsız

• Yalnızca bazı belgelerin incelenmiş olması, bot yazımı oranının gerçekte olduğundan daha düşük tespit edilmiş olabileceği anlamına da gelebilir
  Yani yalnızca doğrulamadan kalan belgeler tespit edilmiş olabilir

  • Pangram adlı sınıflandırma modeli, insanlar tarafından yazılan metinlerle çeşitli LLM'lerin yazdığı metinleri karşılaştırarak eğitilmiş bir metin sınıflandırma sinir ağı
    Ayrıntılar makale PDF'inde görülebilir

• LLM sağlayıcıları açısından bu, ortak kaynağın kirletilmesi gibi trajik bir durum
  Vikipedi eğitim verisinin büyük bir bölümünü oluştururken neden kendi kendilerini kirlettikleri sorgulanabilir
  Vikipedi'de AI kullanımını yasaklayan bir politika olursa ilginç olur

  • Sorunun öznesi AI sağlayıcıları değil, kullanıcılar
    Aynı şey GitHub'da da yaşanıyor
  • Ama bu tür alıntı hataları LLM'lerden önce de vardı
    Sadece Vikipedi'de değil, başka yerlerde de iddia ile uyuşmayan kaynak alıntıları yaygın
  • Sonuçta bu sorunlara yol açanlar bireysel kullanıcılar

• Gerçekten faydalı olacak şey, düzenleme yönergelerini sorabileceğiniz bir sohbet botu olurdu
  Şu anda deneyimli editörler bile tartışma sayfalarında kuralları keyfî biçimde yorumluyor
  “Önce geri al, nedenini sonra ekle” kültürü yeni başlayanlar için büyük bir engel
  Böyle durumlarda bir bot anında itiraz edebilir gibi görünüyor

• Bir diğer sorun da Grokipedia gibi AI tabanlı vikiler
  Görünüşte Vikipedi'den daha şık ve mobil dostu ama kasıtlı olarak çarpıtılmış bilgiler içeriyor
  Bazı büyük şirketlerin ya da siyasi güçlerin demokratik bilgi kaynaklarını zayıflatma amacı taşıyor olması mümkün
  Vikipedi'nin bu tür saldırıların hedefi olmamasına dikkat edilmeli

• AI spam'inin kaliteyi düşürdüğü doğru ama mesele özünde Vikipedi'nin kalite kontrol sorunu
  İnceleme süreci yavaş ve yeni bilginin doğru olduğuna dair bir güvence de yok
  AI spam'i ortadan kalksa bile kalite kontrol iyileşmezse bunun pek anlamı olmaz
  Vikipedi, ortalama okur düzeyine göre açık anlatımı hedefleyen bir kalite kontrol sistemini yeniden kurmalı