Ars Technica, yapay zekanın ürettiği sahte alıntı tartışmasının ardından muhabiri işten çıkardı

• Yapay zeka araçlarıyla üretilen sahte alıntılar içeren bir haber tartışmasının ardından muhabir Benj Edwards işten çıkarıldı
• Sorunlu haber, yapay zekanın insan mühendis Scott Shambaugh hakkında eleştirel bir yazı yayımladığı olayı ele alıyordu; daha sonra haberde sahte alıntılar bulunduğu ortaya çıkınca geri çekildi
• Edwards, Claude Code tabanlı bir yapay zeka aracı kullanırken bir hata oluştuğunu, sorunu anlamak için ChatGPT kullanmaya çalışırken yanlış alıntıları habere dahil ettiğini açıkladı
• Ars Technica olayı “ciddi bir standart ihlali” olarak tanımladı, iç incelemeyi tamamladı ve ileride yapay zeka kullanım yönergelerini yayımlayacağını duyurdu
• Bu olay, medyada yapay zeka kullanımı ile etik standartların çatıştığı mevcut dönemde, yapay zeka uzmanlarının bile insani hatalara ve teknik sınırlara açık olabileceğini gösteriyor

---

Ars Technica muhabirinin işten çıkarılması olayına genel bakış

• Ars Technica, yapay zekanın ürettiği sahte alıntıları içeren bir haber tartışmasının ardından muhabir Benj Edwards ile yollarını ayırdı
  • Söz konusu yayın Condé Nast'a ait
• Sorunlu haber, 13 Şubat'ta yayımlanan yapay zeka bağlantılı bir olay haberiydi; konu, bir yapay zeka ajanının insan mühendis Scott Shambaugh'ı eleştiren bir yazı yayımlamasıydı
• Shambaugh, haberde kendisinin hiç söylemediği alıntıların yer aldığını belirtince, genel yayın yönetmeni Ken Fisher bir özür metni yayımlayıp haberi geri çekti

Genel yayın yönetmeninin özrü ve iç önlemler

• Fisher, özür metninde söz konusu haberde “yapay zeka aracının ürettiği sahte alıntılar” bulunduğunu kabul etti ve bunu “ciddi bir standart ihlali” olarak niteledi
• Bunun “izole bir vaka” gibi göründüğünü de ekledi; ardından Ars Technica iç incelemeyi tamamladığını duyurdu
• Kreatif direktör Aurich Lawson, okur yorum dizisini kapatırken “uygun iç önlemlerin tamamlandığını” söyledi
  • Ayrıca gelecekte yapay zekanın nasıl kullanıldığı ve nasıl kullanılmadığına dair okur rehberi yayımlamayı planladıklarını da belirtti

Benj Edwards'ın açıklaması

• Edwards, Bluesky paylaşımında “yapay zeka aracı kullanırken yanlışlıkla sahte alıntıları habere dahil ettiğini” söyleyerek tüm sorumluluğu üstlendi
  • O sırada hastalık izninde olduğunu ve alıntıları düzenlemek için Claude Code tabanlı deneysel bir yapay zeka aracı kullandığını, bu sırada hata oluştuğunu anlattı
  • Daha sonra sorunun nedenini anlamak için ChatGPT kullanırken, gerçek ifadeler yerine parafraz edilmiş cümleleri habere dahil ettiğini söyledi
• “Haberi insan yazdı, yapay zekanın yazdığı bir haber yok” vurgusunu yaptı ve ortak yazar Kyle Orland'ın hatayla ilgisi olmadığını özellikle belirtti

Okur tepkileri ve sonraki değişiklikler

• Ars Technica okurları, haberin yorum dizisinde yoğun hayal kırıklığı ve öfke dile getirdi
• 28 Şubat itibarıyla Edwards'ın Ars Technica profilindeki ifadeler geçmiş zamana çevrildi; bununla artık kurumda muhabir olarak çalışmadığı doğrulandı
• Futurism, Ars Technica, Condé Nast ve Edwards'a istihdam durumunu sordu; yayın ve sahibi yanıt vermezken Edwards “yorum yapamayacağını” söyledi

Medyada yapay zeka kullanımı tartışması ve bağlamı

• Bu olay, CNET, Sports Illustrated gibi yayınlarda yaşanan yapay zeka tartışmalarının ardından gelen bir başka örnek olarak anılıyor
• Haberde, medya kuruluşlarının bugün yapay zeka kullanımını teşvik ederken net etik standartlardan yoksun olduğuna dikkat çekiliyor
• Yapay zekanın benimsenmesini çevreleyen ortamda telif hakkı anlaşmazlıkları, yapay zeka üretimi içeriklerin yayılması ve Google'ın AI Overviews özelliği nedeniyle trafikte yaşanan düşüş gibi etkenler iç içe geçiyor
• Bu bağlamda Ars Technica olayı, yapay zeka teknolojisi ile insan hatasının kesişim noktasını ortaya koyan bir örnek
• Edwards, “Yapay zeka halüsinasyonuna yakalanan yapay zeka muhabiri olmanın ironisini hissediyorum” diyerek “doğruluğa önem verdiğini ama bunun acı verici bir başarısızlık olduğunu” söyledi

[GN⁺]

Hacker News görüşleri

• Gazeteciler ve blog yazarları sık sık başkalarının hatalarını ve özür metinlerini analiz ederek samimiyetlerini tartışır

  • Bu olayda Ars Technica'dan Aurich Lawson, LLM'in uydurduğu sahte alıntılar içeren makaleyi kaldırdı ve muğlak bir özürsüz-özür yayımladı
  • Sonunda muhabir işten çıkarıldı, ancak Ars bunun hakkında bir haber bile yapmadı
  • Dürüstlüğün zayıflık gibi görüldüğü bir dönemde, Ars'ın şeffaflık ve hesap verebilirlik konusunda örnek olmasını umuyordum; bu yüzden hayal kırıklığı yarattı
  • Ars'ın hatayı kabul edip muhabiri işten çıkarması sorumluluk aldığı anlamına gelir
    • Muhabirin kendisi de Bluesky'da ayrıntılı bir açıklama yaptı
    • Şikayet sadece bu açıklamanın yeterince tatmin edici olmaması
  • Muhabir yapay zeka alanını ele alıyorsa, LLM'in ürettiği alıntıları mutlaka doğrulamalıydı
    • Editörler de bunu kontrol etmediyse, bu Ars'ın editoryal standartlarını gösterir
    • Benzer şekilde ortadan kaybolan başka yazılar olup olmadığına bakmak gerekir
  • Bir medya kuruluşunun birini işten çıkardığını kamuya açıklamasının ne kadar yaygın olduğu sorgulanıyor
    • Ars o dönemde alıntıların kaynağı sorununu birkaç gün içinde haberleştirmişti
  • Ars'ın editörleri uzun zamandır düşük standartlara sahipti
    • Başlıkların yarısı yanıltıcı ve tıklama peşinde koşan clickbait
    • Güvenilmez manşet çok fazla
  • Aurich Lawson'ın makaleyi sildiğini söylemek biraz "haberciyi suçlama" gibi bir ifade
    • O sadece topluluğun görünen yüzü ve muhtemelen böyle bir yetkisi yoktu

• Benji muhabirle yaşanmış kişisel bir deneyim paylaşılıyor

  • İlk başta iyi bir röportaj yapılmıştı, ancak proje ilgi görünce tekrar iletişime geçildiğinde yayın dışı yönergeler gerekçe gösterilerek reddedildi
  • Muhabirle ilişkinin şeffaf olmadığı ve medyanın opaklığı hissedildi
  • Muhabirlerle iletişim kurarken mutlaka yazılı kayıt bırakmak iyi olur
  • Almanya'da gazetecileri kişisel projeleri tanıtmak için kullanmaya çalışmak çok olumsuz karşılanır
    • Bu açıdan Benji'nin tepkisi aslında normal ve etik bir karar gibi görünüyor
  • Gazeteci olarak, başka mecralarda zaten işlenmiş konularla ilgili önerileri çoğu zaman reddediyorum
    • Bunun nedeni özel haber istememiz; PR pitchlerin neredeyse tamamı reddediliyor
  • Bazen gazeteciler sadece çok meşgul oldukları ya da reddetmeyi ifade etmekte zorlandıkları için yanıt vermez
  • Gazeteciler aynı konuyu iki kez ele almaktan hoşlanmaz
  • Ars, dış kaynaklı haberleri özetleyip yeniden yazar ya da yalnızca özel haberleri kendisi araştırma eğilimindedir

• Kurumumuz, yapay zekanın ürettiği hukuki alıntıları doğrulamak için otomatik bir engelleyici kullanıyor

  • Alıntı resmi veritabanıyla eşleşmiyorsa halüsinasyon (hallucination) olarak işaretleniyor ve bir insan tarafından yeniden doğrulanıyor
  • Yapay zeka sadece taslak yardımcısı; nihai karar insan doğrulamasından geçmek zorunda
  • Anders Hejlsberg'in yaklaşımında olduğu gibi, yapay zekaya işi yaptırmak yerine araç yaptırmak daha güvenli
    • Böylece doğrulama kapsamı küçülüyor ve yalnızca aracın doğruluğunu kontrol etmek yetiyor

• Muhabirin kişisel olarak işten çıkarılmasından daha büyük sorun, editoryal yapının çökmesi

  • Son 10 yılda medya kuruluşları doğrulama personelini azalttı ve bunun sonucunda fact-checking sistemi ortadan kalktı
  • Buna bir de yapay zeka araçları eklenince, doğrulama olmadan sadece üretim miktarı artırılarak sistemik bir başarısızlık ortaya çıktı
  • Bu, endüstriyel kazalardaki "İsviçre peyniri modeli"ne benzeyen yapısal bir sorun
  • Bundan sonra medya kuruluşlarının yapay zeka kullanımını şeffaf biçimde açıklaması gerektiği yönünde tartışma lazım

• Ars Technica'ya saygı duyuyor ve destekliyorum, ancak bu olay editörlerin sorumluluğu

  • Marka altında yayımlanan bir yazıysa mutlaka bir doğrulama süreci işlemiş olmalıydı
  • Yine de Ars'ta çok iyi gazeteciler var; tek bir hatayla bütünü değerlendirmek doğru değil
  • Eric Berger, Musk'a karşı taraflı; Dan Goodin ise teknolojiyi anlamakta yetersiz
    • Buna karşılık Ashley Belanger, birinci elden haberciliği ve derinlikli yazımıyla en güvenilir isim
    • Beth Mole de uzmanlığıyla mizah duygusunu birleştiriyor
  • Eski Maggie Koerth ve Jon Stokes özleniyor
  • Büyük medyanın iç doğrulama süreçlerine fazla güvenmemek gerekir

• Önceki tartışmanın bağlamı özetlenerek ilgili yapay zeka haber tartışmasının zaman çizelgesi paylaşılıyor

• Büyük medya kuruluşları zaten LLM kullanımını zorunlu tutuyor

  • Yapay zeka çıktısının belli olmadan nasıl düzenleneceği ve alıntı doğrulama prosedürleri gibi konularda iç yönergeler bulunuyor
  • Performans baskısı nedeniyle yapay zeka kullanmayan muhabirler işten bile çıkarılabiliyor
  • Bu sadece Ars'a özgü bir sorun değil; tıklama odaklı yapının ürettiği genel bir olgu
  • Buna karşı, elde somut kanıt olup olmadığı soran itirazlar da vardı
    • Somut kanıt olmadan bunun bir "open secret" olduğunu iddia etmek, yönetim sorumluluğundan kaçmak gibi görünebilir
  • Gerçekte böyle yönergeler olup olmadığı ve yapay zeka çıktısını gizleme yöntemleri hakkında daha fazla şey duymak isteyenler de oldu

• Haber başlığında muhabirin işten çıkarıldığından söz edilse de, gerçekte doğrulanmış olgu az

  • Muhabirin tanıtım metninde "is" ifadesinin "was" olarak değişmesi ve ilgili kişilerin bunu yalanlamamış olması dayanak olarak gösteriliyor
  • Benj'in Bluesky paylaşımına bakınca bunun gönüllü bir ayrılık gibi görünmediği söyleniyor

• Ars'a yönelik eleştiriler sert olsa da, muhabir zaten bedelini ödedi

  • Ars'ın bundan sonra daha dikkatli olacağına inanılıyor

• Google AI Overview'in doğruluk artışı şaşırtıcı düzeyde

  • Artık bazen bağlantıları kontrol etmeyenler bile var
  • Ancak bu, arama sonuçlarını özetlemekten ibaret ve kaynak sitelerin içeriğini aşındıran bir yapı
  • Gerçekte ise sık sık yanlış bilgi de verebiliyor
  • Bağlantı içeriğiyle özetin uyuşmadığı durumlar çok oluyor
  • Bazı kullanıcılar, yapay zekanın var olmayan araştırma projeleri uydurduğunu söylüyor
  • Bağlantıları sık sık kontrol etmek ve yapay zekanın güvenilirlik sınırlarını bilmek gerekiyor