EY Canada bir siber güvenlik raporu yayımladı ve alıntıların çoğu halüsinasyon çıktı

 (gptzero.me)
1 puan yazan GN⁺ 2026-06-01 | 1 yorum | WhatsApp'ta paylaş
  • Ernst & Young Canada'nın 44 sayfalık sadakat dolandırıcılığı raporunun, sahte alıntılar, yanlış kaynak atıfları, uydurma istatistikler ve yapay zeka tarafından yazılmış metinler içeren bir belge olduğu ortaya çıktı
  • Kaynak tablosundaki URL'lerin çoğu bozuk ya da sahteydi, başlıkların yarısından fazlası gerçek kaynaklarla uyuşmuyordu ve AI Scan metnin %72'sini yapay zeka olarak işaretledi
  • BleepingComputer, Wired, Gartner, McKinsey, Forbes, Cisco Talos ve TechCrunch kaynaklarının büyük kısmının 404 hatası, etiket sayfası ya da var olmayan belge olduğu doğrulandı
  • 200 milyar dolar rakamı hem toplam sadakat puanı pazarı hem de kullanılmamış puanların değeri gibi birbiriyle bağdaşması zor anlamlarda kullanıldı ve buna dayanak gösterilen 2 alıntının da uydurma olduğu ortaya çıktı
  • Kusurlu rapor Canberra Times'a ve 60'tan fazla gazeteye yayıldı; Claude, ChatGPT ve Perplexity de ilgili halüsinasyon bilgisini gösterdi

Ernst & Young raporundaki sorunlar

  • Ernst & Young Canada, 2025'in sonlarında sadakat sistemlerindeki siber tehditler ve dolandırıcılığı ele alan 44 sayfalık Points of Attack: Uncovering Cyber Threats and Fraud in Loyalty Systems raporunu yayımladı
  • Raporda 2 partnere ve 1 kıdemli yöneticiye kredi verilmiş olsa da, içinde sahte alıntılar, yanlış kaynak atıfları, uydurma istatistikler ve yapay zeka tarafından yazılmış metinler bulundu
  • EY Canada, Kanada hükümetine her yıl milyonlarca dolar değerinde hizmet sunan Ernst & Young'ın Kanada organizasyonu
  • GPTZero'nun Hallucination Check aracı, son aylarda büyük danışmanlık şirketlerinin herkese açık raporlarını bulup tarayan otomatik bir iş akışında kullanıldı ve büyük kurumsal raporlarda bile vibe citing eğiliminin yayıldığını düşündürüyor

Alıntı yöntemi ve doğrulama sonuçları

  • EY Canada raporu, dipnotlar ya da klasik akademik atıflar yerine, kaynakları metin içinde doğrudan anıyor veya 41-43. sayfalardaki resources table içinde topluyor
  • Bu tablo; kaynak başlığı, açıklama, URL ve bazı yayıncılarla tarihleri sunuyor, ancak URL'lerin çoğu bozuk ya da sahteydi ve başlıkların yarısından fazlası gerçek kaynaklarla eşleşmiyordu
  • GPTZero, yanlış pozitiflerin itibar maliyetini dikkate alarak halüsinasyon alıntıları belirli ölçütlerle tanımlıyor ve Hallucination Check sonuçlarını elle doğruluyor
  • Rapor metni, GPTZero AI Scan içinde %72 oranında yapay zeka olarak işaretlendi ve sahte istatistikler, yanlış kaynak atıfları ve iç çelişkiler gibi LLM hataları tekrar tekrar görüldü

Temsili sahte veya hatalı kaynaklar

  • BleepingComputer havayolu sadakat ihlali haberi

    • Airline Loyalty Breach: BleepingComputer, milyonlarca havayolu sadakat hesabının credential stuffing saldırılarıyla ihlal edildiğini anlatan bir haber olarak sunuldu
    • https://bleepingcomputer.com/news/security/… 404 hatası döndürüyor ve bu yoldaki haberin ya silinmiş olduğu ya da en başta hiç var olmadığı anlaşılıyor

  • Wired ses deepfake'i ve API güvenliği haberi

  • Gartner ve McKinsey raporları

    • Gartner Market Trends – Loyalty Fraud, dijital sadakat programları ve mobil cüzdanlardaki dolandırıcılığın evrimine ilişkin stratejik rehber olarak sunuldu
    • https://www.gartner.com/en/documents/4000201 yalnızca Gartner ana sitesine yönlendiriyor ve bu başlıkta bir Gartner belgesi bulunmuyor
    • McKinsey & Company – Loyalty Economics Report (2022), dünya genelinde kullanılmayan ödül puanlarının 200 milyar dolar değerinde olduğunu tahmin eden bir rapor olarak sunuldu, ancak böyle bir rapor yok

  • Forbes sadakat ekonomisi haberi

    • Forbes – The $200 Billion Loyalty Economy, sadakat programlarını önemli bir dijital varlık olarak tanımlayan dayanak olarak sunuldu
    • URL bozuk ve Blake Morgan Forbes'ta yazmış olsa da, bu başlıkla eşleşen bir yazı yok
    • Bununla birlikte, 2020 tarihli bir Forbes yazısında “$200 billion loyalty economy” ifadesi kullanılıyor

  • Cisco Talos ve TechCrunch

200 milyar dolar istatistiğindeki iç çelişki

  • Özetteki iddia

    • Executive Summary, küresel sadakat puanı pazarının 200 milyar dolar büyüklüğünde olduğunu ve bunun %30 ila %50'sinin kullanılmadığını öne sürüyor
    • Bu iddia sahte bir Forbes alıntısıyla destekleniyor

  • 10. sayfada değişen anlam

      1. sayfada aynı 200 milyar dolarlık rakam, küresel puanların toplam değeri olmaktan çıkıp kullanılmamış sadakat puanlarının tahmini değerine dönüşüyor
    • Puanların en fazla %50'sinin kullanılmadığı zaten iddia edildiği için, bu iki iddianın aynı anda doğru olabilmesi adına küresel sadakat puanı pazarının en az 400 milyar dolar olması gerekir

  • McKinsey alıntısının kaynak izi

      1. sayfadaki uydurma McKinsey & Company raporu, kullanılmamış puanların küresel değerinin 200 milyar dolar olduğu yönündeki ikinci iddiayı desteklemek için kullanılıyor
    • Aynı rakam birbiriyle bağdaşması zor iki ayrı anlamda kullanıldı ve bunu destekleyen iki alıntının da uydurma olduğu doğrulandı
    • Bu McKinsey alıntısının izi, EY raporundan 6 ay önce yayımlanan Financial IT'nin fintech blog yazısına kadar sürülebiliyor
    • Söz konusu yazı, her yıl “more than $200 billion in points sit idle” olduğunu iddia ediyor ve kaynak bölümünde var olmayan McKinsey & Company: Loyalty Economics Report (2022) alıntısını veriyor
    • Bu uydurma alıntı, EY raporunun kaynak tablosuna aynen giriyor ve düşük kaliteli bir blogdaki sahte kaynak, Big Four yayını üzerinden aklanmış oluyor

Kaynakları birbirine karışmış %72 ve %89 istatistikleri

  • Sadakat programlarında %72 dolandırıcılık istatistiği

      1. sayfada müşteri sadakat programlarının %72'sinin hırsızlık veya dolandırıcılık bildirdiği öne sürülüyor
    • Bu rakam, Kanadalı ödeme işleme şirketi Paystone'un 2019 tarihli yazısına atfediliyor
      1. sayfada ise aynı istatistik, dijital dolandırıcılık önleme şirketi Forter'ın NRF 2020 summary içeriğine atfediliyor
    • Ne Paystone ne de Forter, raporun kaynak tablosunda yer alıyor; asıl kaynağın Ipsos'un 2017 anketi olduğu anlaşılıyor

  • Sadakat dolandırıcılığı saldırılarında %89 artış istatistiği

      1. sayfada sadakat programlarına yönelik dolandırıcılık saldırılarının 2019'dan beri %89 arttığı iddia ediliyor
      1. sayfada ise bu %89'luk artış, 2018'den 2019'a tek yıllık değişimle sınırlandırılıyor ve Forter'ın Fraud Attack Index raporuna atfediliyor
    • Bu kaynak gerçekten mevcut ve ikinci versiyondaki iddiayı kısmen doğruluyor, ancak EY raporunda kullanılan pek çok kaynak gibi bu da eski bir veri
    • Birbiriyle çelişen kaynaklar, düşük kaliteli kaynaklar, eski istatistikler ve hatalı yeniden anlatımlar, AI slop işareti olarak sunuluyor

Kamusal etkiler ve veri kirlenmesi riski

  • Points of Attack Kanada'da büyük yankı uyandırmış görünmüyor, ancak yakın tarihli bir Canberra Times haberinde alıntılandı ve bu haber Avustralya genelinde 60'tan fazla gazeteye dağıtıldı
  • Rapor, kamuya açık alanda olmayan müşteri brifingleri, iç sunumlar ve özel medya aracılığıyla da dolaşıma girmiş olabilir
  • Çevrimiçi rapor yayımlamak, internet bilgi havuzuna bir tür veri enjeksiyonu yapmak gibi ve tanınmış bir danışmanlık şirketi yüksek trafikli bir sitede yanlış bilgi ya da halüsinasyon alıntıları yayımlarsa, sonraki araştırmacıları yanıltabilir
  • Yapay zeka “deep research” araçları, kaynak seçerken insanlardan farklı sinyallere dayandığı için bu tür veri kirlenmesine daha açık olabilir
  • Claude, ChatGPT ve Perplexity, EY'nin kusurlu raporundan gelen halüsinasyon bilgisini gösterdi

Hallucination Check'in amacı

  • GPTZero, vibe citing'in araştırmacılar, akademi, danışmanlar ve web aramasına dayanan kişiler için güncel bir risk haline geldiğini düşünüyor
  • Hallucination Check, tüm alıntıları tek tek elle doğrulamadan halüsinasyon alıntılarını ve yanlış bilgiyi tespit etmeye yönelik bir araç olarak sunuluyor
  • Araç ayrıca IJCAI, ICLR ve ICSE gibi akademik konferanslara gönderilen çalışmaların incelenmesinde de kullanılıyor
  • Sonuç, Ernst & Young gibi itibarlı kaynaklardan gelen alıntıların bile artık sırf güvene dayanarak kabul edilmesinin zorlaştığı yönünde
  • GPTZero'nun Hallucination Check bağlantısı veriliyor

İlgili okumalar

1 yorum

 
GN⁺ 2026-06-01
Hacker News yorumları

  • Birçok meslekte görülen sorun şu: AI çıktıları, bilgili kişilerin — deneyimli analistler, kıdemli mühendisler, uzman avukatlar, asistan doktorlar gibi — düzgün incelemesinden geçmiyor
    En iyi ihtimalle üstünkörü bakılıyor; en kötü ihtimalde ise yayımlanmadan, dağıtıma çıkmadan, prodüksiyona alınmadan, müşteriye gönderilmeden ya da mahkemeye sunulmadan önce hiç bakılmıyor
    Çoğu durumda gerekli inceleme yetkinliği kurumun içinde var, ama o kişiler zaten günlük işleriyle aşırı yük altında
    Birkaç ay önce Amazon'un üretken yapay zeka çıktılarının kıdemli mühendislerce incelendiğine dair bir yazı(https://news.ycombinator.com/item?id=47323017) görünce sadece gülebildim. Zaten meşgul olan insanlarken, Amazon'un proje ve temel altyapı geliştirme genelinde insan darboğazlarının artmasına izin vereceğini sanmıyorum

    • Sorunun bir kısmı, bitmiş belgeyi ancak tamamen piştikten sonra inceleyin diye önünüze koymaları
      Kurum genelinde temel mühendislik ilkeleri gerektiğini savunuyorum
      Bir mühendise neyin başarılmak istendiğine dair özgün bir şartname olmadan 1000 satır kodu incele denmez. En azından bağlam gerekir; ideal olarak inceleyen kişi iş ilk gündeme geldiğinde de orada olmalı ki genel bağlamı bilsin
      Ama bu belgeler hep ya her şey ya hiçbir şey şeklinde geliyor. 39. metrik en ince ayrıntısına kadar tanımlanmışken bunu geri mi çevireceksiniz, yoksa artık iş işten geçti deyip kabullenecek misiniz
      Tek sayfalık bir belge, Amazon tarzında belki 6 sayfalık bir belge bile olsa, sadece “önerim şu” demesi bile fikrin iskelet aşamasında genel şekline itiraz etmeye ve onu rafine etmeye yeter. Değerli raporun tamamlanmış olmasına dair duygusal yatırım oluşmadan önce olmalı
      Bu, geleneksel olarak ürün tarafının SCRUM ortamında şartnameyi gözden geçirmesine ve mühendislerin de gerçekten kod incelemesi yapmasına benziyor. Tabii SCRUM öldü ama o başka konu
    • Avukat olarak bakınca, AI çıktısını incelemek çoğu zaman en baştan kendim yapmaktan daha uzun sürüyor gibi geliyor. Mevcut şablonları kullanmakla kıyaslanınca zaten hiç değil
      AI kullanınca her şeyi okumak, neden yanlış olduğunu açıklamak ve sonunda çoğunu baştan yazmak zorunda kalıyorsunuz
      Faturalanabilir saatler çok artıyor ama bu, AI'nin konuyu anlamayan biri için hızlı ve erişilebilir olma avantajının nasıl ortadan kaybolduğunu gösteren bir belirti gibi
    • “Bilgili insanlar AI çıktısını incelemiyor” denirken, kovulan ve moralleri zaten bozulmuş olan o insanlardan mı söz ediyoruz diye düşünüyorum
      “Büyük adamlar ve kadınlar”ın vibe coding sevmesinin nedenlerinden biri, artık eskiden “bağlam uzmanına devretmeleri” gereken o sancılı süreci yaşamadan işi kendileri yapabildiklerini düşünmeleri
      Artık LLM'nin “yerleşik bağlam uzmanı” olduğunu düşünüyorlar; bu yüzden çıktıyı ayrıca gözden geçirmeye gerek duymuyorlar
    • Sorun şu ki, bazen çıktıyı doğrulamak en baştan üretmekten daha uzun sürüyor
      Böyle olunca AI, birçok kullanım alanında yatırım getirisinin ciddi biçimde negatif olduğu bir sisteme dönüşüyor
    • Özellikle eğitim ve insan bilgisinin yönetimi ile ilgileniyorum. BT eğitim hızının neredeyse sıfıra indiğini gördüm
      Hata yaptığınızda sonucunun akşam haberlerine çıkabileceği profesyonel eğitimleri düşünün
      Sayı matrislerinden çıkan dizeleri sorgulamayı bırakarak kabul etmek ve herkesin sadece kendi sorumluluğundan kaçmaya çalışması fikri bile ürkütücü
      Bu, Güney Asya havayollarının pilotlara manuel inişi yasaklayıp beceri erozyonunu artırması ve sonunda iyi bilinen felaketlere yol açması gibi
      Yüksek ücretli danışmanlar bile bağlantıları doğrulamıyorsa, durum daha da vahim

  • Bunun sadece düz metin olarak görülebilen bir kaynağı var mı? CSS stilleri yüzünden başım ağrıdı ve okuma modu ya çalışmıyor ya da engellenmiş gibi

    • Kaydırma gerçekten işkence ve okuma moduna geçince de bozuldu
    • Firefox'ta sayfadaki yalnızca metni çekip sadeleştirilmiş biçimde gösteren kullanışlı bir Reader view var. Mac'te Opt + CMD + R ile açabilirsiniz
      Yalnız bu özellik de kullanılan kaynakların bir kısmını içeren görselleri kaldırma sorunu yaşıyor
    • iOS'taki Lockdown Mode'da da durum aynı

  • Asıl komedi, böyle çöplerin üst yönetimden aşağı inmesini izlemek. Beceriksiz prompt'lar, halüsinasyon ürünü saçmalıklar, sıfır uygulanabilir bilgi ve gerçekten bilen hiçbir analiz olmadan sadece palavra
    “Jira'dan çekilmiş destek talepleri analizine bakın. Bu ilk üç sorunu mutlaka çözmeliyiz!!!” gibi geliyor ama aslında bunların hepsi herkesin yıllardır bildiği şeyler ve yönetim sadece kimseye düzeltme yetkisi vermemiş
    Bunu ikiden fazla gördüğüme göre buna bir ad lazım. Garbagemaxxing mi demeliyiz

    • “İlk üç sorunu çözmeliyiz” denilen şeyler aslında herkesin uzun zamandır bildiği ve yönetimin çözme yetkisi vermediği sorunlarsa, yine de net etki pozitif sayılmaz mı diye düşünüyorum

  • Gezinmesi gerçekten korkunç bir sayfa

    • Mobilde kaydırmayı ele geçiriyor; kelimenin tam anlamıyla daha aşağı inemiyorsunuz. Okuma modu da ancak ilk paragraf kadarını gösteriyor
      Sonra masaüstünde tekrar bakmam gerekecek. İçerik ilginç görünüyor ama pratikte okunması imkansız. Ernst and Young'ı tanıtan bölümü geçemiyorum
    • Sanki benim scroll'um halüsinasyon görüyor
    • Bu bambaşka bir kullanıcı düşmanlığı seviyesi. Daha önce böyle bir şey görmedim
    • iPhone otomatik olarak okuma modunu açtı, ne dendiğini görmek için kapatınca hak verdiğimi fark ettim
    • Kelimenin tam anlamıyla duraklamalı doğrusal olmayan geri bildirim, korkunç
      Bazı insanların web sitesi yapmaması lazım

  • Biri web sayfasında scroll'un nasıl çalışması gerektiği konusunda da mı halüsinasyon gördü?

  • Garip olan, bu raporun 12-18 ay önce çıksa devasa bir skandal olacağı ve kalıcı marka hasarı yaratacağı halde, artık kimsenin bunu hatırlamayacak ya da fark etmeyecek gibi görünmesi

  • Önce web sitesini düzeltmeleri lazım. Berbat JavaScript animasyonları çöpe gitmeli. Bunlar 2014'te D3JS ve jQuery ile zaten çözülmüş şeylerdi

  • Bunun nasıl olduğunu gerçekten anlamıyorum. Örneğin Qwen Chat ya da Perplexity, üretilen her cümlenin sonuna atıf koyuyor
    Böylece her atfın üzerine fareyle geldiğinizde hangi web sitesinden alındığını görebiliyorsunuz
    Yoksa web araması olmadan ChatGPT'ye prompt verip kopyala-yapıştır mı yaptılar?

  • EY geçen bir yıl boyunca sessiz sedasız insanları işten çıkarıyordu
    Daha az insanla daha çok iş yapmaya çalışınca bunun kalite düşüşüne yol açması şaşırtıcı değil

    • İlginç olan şu ki, hiçbir şey yapmayan bir hizmete bile epey talep olabiliyor
      Şirket işlerinin çoğu sadece kutucuk işaretleme
      Patron “X hakkında bir rapor getir. Ben de bunu kendi patronuma vereceğim, o da okumayacak” diyor
      Sonra yapı şu oluyor: “E&Y, bize bir rapor hazırlayın. Alın size 200 bin dolar.”

  • Web sayfasının kendisi de büyük ihtimalle vibe coding ile yapılmıştır ve yazan kişi bunu umursamamıştır