ESPN’in yapay zeka özetinin Alex Morgan’ın son profesyonel maçında ondan bahsetmemesi

• ESPN’in yapay zeka tarafından oluşturulan maç özeti, bunun Alex Morgan’ın emeklilik maçı olduğu temel bağlamı atladı; bu da otomatik özetlerin maç sonucunu doğru verse bile okur için önemli hikâyeyi kaçırabileceğini gösteriyor
• San Diego Wave, North Carolina Courage’a 4-1 yenildi; Morgan 15 dakika oynadı, bir penaltı kullandıktan sonra taraftarlara teşekkür edip veda etti
• ESPN Generative AI Services’ın özeti, Doğu Saatiyle 20:52’de web sitesi ve uygulamada yayımlandı; 215 kelime boyunca golleri ve maçın akışını ele aldı ancak Morgan’dan bir kez bile bahsetmedi
• ESPN, her yapay zeka özetinin insan editör incelemesinden geçtiğini söylemişti; ancak bu eksikliğin inceleme sürecinde mi gözden kaçtığı yoksa bilinçli olarak mı dışarıda bırakıldığı belirsiz
• Morgan’ın son maçını ele alan ayrı bir haber olsa da, yeterince haberleştirilmeyen sporların taraftarlarına sunulan yapay zeka özetlerinin güven kazanması için bağlamı seçebilme becerisine de sahip olması gerekiyor

---

Yapay zeka özetinin kaçırdığı maçın kilit sahnesi

• Amerikan futbolunun simge oyuncularından Alex Morgan, pazar günü San Diego Wave formasıyla son profesyonel maçına çıktı ve takımı North Carolina Courage’a 4-1 yenildi
• Maç sırasında Morgan orta sahada kramponlarını çıkardı ve Snapdragon Stadium’daki taraftarlara gözyaşları içinde el salladı
  • Taraftarlar Morgan’ın adını haykırdı, oyuncular etrafını sarıp onu alkışladı
  • Morgan maçta 15 dakika oynadı ve bir penaltı kullandı
  • Maçtan sonra taraftarlara destekleri için teşekkür etti ve veda etti
• Bu maç birden fazla ağ ve streaming hizmetinde eş zamanlı yayımlandı

ESPN Generative AI Services özetindeki eksik

• ESPN Generative AI Services, o haftadan itibaren NWSL ve Premier Lacrosse League maç özetleri sunmaya başladı
• Söz konusu özet, ESPN web sitesi ve uygulamasında Doğu Saatiyle 20:52’de yayımlandı
• Özet maç sonucunu, gol atanları ve maçın akışını standart biçimde toparladı, ancak 215 kelimenin tamamında Morgan’dan söz etmedi
  • İki World Cup şampiyonluğu ve Olympic altın madalyası bulunan Morgan’ın son profesyonel maçı olduğu gerçeği de eksikti
  • Özette “[San Diego’dan Kennedy] Wesley’nin hem savunmada hem hücumda katkı veren standout player olduğu” cümlesi yer aldı

İnsan editör incelemesinin bıraktığı sorular

• ESPN, hizmeti duyururken yapay zeka tarafından oluşturulan her özetin kalite ve doğruluk açısından insan editör tarafından kontrol edildiğini açıklamıştı
• Morgan’ın neden dışarıda kaldığı net değil
  • İnsan editörün Morgan’ın eksikliğini fark etmemiş olması mümkün
  • Morgan’la ilgili bağlamın bahsetmeye değer olmadığına karar verilmiş olma ihtimali de var
• Özette yer alan olguların kendisi doğru olsa da, Morgan’ı ve o gecenin önemini atlaması, maçın bütün bağlamını aktaramayan bir örnek haline geliyor

Ayrı haber ve geç gelen düzeltme

• ESPN, Jeff Kassouf’un yazdığı Morgan odaklı ayrı bir haber yayımladı
• Bu haber Morgan’ın duygusal son gecesini ele aldı, ancak yapay zeka tarafından oluşturulan özetin yan menüsünde yer aldığı için kolayca gözden kaçabilirdi
• ESPN, 9 Eylül Pazartesi günü Doğu Saatiyle 08:59’da maç özetini düzelterek Alex Morgan’dan bahseden bir ifade ekledi

Az haberleştirilen sporlarda yapay zeka özetlerinin sınırı

• ESPN, yapay zeka tarafından oluşturulan özetlerin az hizmet verilen sporlar kapsamını güçlendirmek ve daha önce sunulmayan içerikleri taraftarlara sağlamak amacıyla hazırlandığını açıkladı
• Önemli bağlamı kaçıran maç özeti, yalnızca olguları sıralamanın yeterli olmadığını ortaya koyuyor
• İnsan yazarlar yalnızca maç sonucunu değil, oyuncular, lig ve taraftarlar için önemli anları da birlikte görebilir; ancak bu yapay zeka özeti bu rolü yerine getiremedi

[GN⁺]

Hacker News görüşleri

• Bunu AI tarafından üretilen içerik eleştirisi için örnek göstermek oldukça komik. Web tabanlı spor içerik şirketleri, LLM’ler popüler olmadan çok önce de en az 10 yıldır otomatik olarak haber içeriği üretiyordu.
  Bunun nedeni çoğunlukla arama sıralamalarıydı; çünkü ne kadar çok alakalı gibi görünen içerik varsa arama motoru optimizasyonu açısından o kadar avantajlı oluyordu.
  Bunun gibi şeyler AI öncesinde de muhtemelen defalarca yaşandı; sadece fark edilmedi ya da pek ilgi çekmedi. Bu olay daha çok ESPN’in sahadaki bağlamı kaçırmasına ve bir metin yazarının ilgili haberi doğrudan güncellemesini sağlayamamasına benziyor. ESPN eskiden beri kalite yerine miktarı tercih eden bir yer olarak biliniyordu.
  Kaynak: Bu tür içerikler üreten bir şirkette teknik tarafta geliştirici olarak çalıştım.

  • Yine de bu durumda AI işi daha iyi hale getirmedi.
    Bu kadar genel, spor jargonuyla karıştırılmış içeriğin para kazandırıyor olması başlı başına oldukça iç karartıcı.
  • Yani AI, önceki yöntemler kadar kötü ama daha fazla veri ve daha yüksek enerji tüketimi mi gerektiriyor?
  • “Metin yazarlarından birinin bu özel haberi elle güncellemesini sağlamak” kısmına bakılırsa, geçmişte de böyle bir sistem hiçbir zaman gerçekten kurulmamış ve bu haberin sonucuna bakınca şimdi de açıkça kurulmuş değil.
    Birçok spor haberinin fiilen boşluk doldurma olduğu belli oluyor. Bu yüzden AP haberi hemen yayınlanıyor, asıl muhabir de o gece ya da ertesi sabah ayrı bir haber çıkarıyor.
  • ESPN’in düşüşü LLM’lerden çok daha önce başlamıştı; AI kullanımı daha görünür hale geldikçe sadece bu aşağı yönlü sarmal hızlandı.
  • Son 5 yıldır nasıl bir web gördüğünü bilmiyorum. Sorun sadece spor “içeriği” değil; her tür içerik düşük kaliteli arama motoru optimizasyonu sayfaları tarafından boğulmuş durumda.
    Otomatik üretilmiş olsun ya da olmasın, sonuç aynı derecede faydasız; LLM’ler sadece bunu daha ucuza üretiyor.

• Bu maç ESPN tarafından hem ESPN2 hem de ESPN+ üzerinden yayınlandı. O halde maç öncesinde, sırasında ve sonrasında bağlam ekleyip önemli anları açıklayan iki uzman yorumcuya para ödüyor olmaları büyük olasılık.
  Neden bu içerik, yazı botuna verilecek bir altyazı dökümü olarak sunulmuyor? Yorum zaten gerçek zamanlı altyazıya dönüştürülüyorsa, bu gerçekten kolay bir iyileştirme gibi görünüyor.

  • Bunu merak edip kendim denedim. Maçı whisper-small.en ile yazıya döktükten sonra ChatGPT’den nötr bir istemle özet istedim.
    “Aşağıda bir futbol maçının dökümü yer alıyor. Lütfen deneyimli, profesyonel bir spor muhabiri üslubuyla bu maç hakkında 200 kelimelik bir haber yaz.”
    Özet şu cümleyle başladı: “Profesyonel kariyerinin son maçında Alex Morgan duygu ve direnç dolu bir performans sergiledi, ancak San Diego Wave, North Carolina Courage’a 3-1 yenildi. San Diego’daki Snapdragon Stadium’da oynanan bu maç sadece bir karşılaşma değil, futbolun simge isimlerinden birine adanmış bir saygı duruşuydu.”
    Skor yanlıştı. Geri kalanı burada: https://chatgpt.com/share/de8c60d1-69ab-4291-99dc-d4d95af3d3...
  • Sporda çok fazla yapılandırılmış veri var ve özellikle ESPN gibi bir marka için bunu doğru anlatma standardı da yüksek.
    Saatler süren bir dökümü LLM’e verirseniz, yorumcuların gol ihtimalleri ya da sonunda hiç gerçekleşmeyen olaylar için heyecanla konuşmuş olmaları nedeniyle halüsinasyon riski büyür.
    Buna karşılık “gol listesini, dakikaları, gol atan oyuncuyu, asisti cümlelere dönüştür” gibi basit işler LLM olmadan da deterministik algoritmalarla yapılabilir ve bu olayda da öyle olmuş olabilir. Orijinal metindeki bazı dilbilgisi sorunları, daha çok LLM öncesi tarzda yer değiştirme kurallarının yanlış birleşmiş olması gibi duruyor.
    Uzun dökümleri özetleyen bir LLM’in ilk çıktısını tekrar tekrar doğrulayan ve bunu zaten bilinen yapılandırılmış verilerle karşılaştırıp doğruluğu kontrol eden bir sistem kurulabilir. Daha zengin içerik ve kabul edilebilir hata oranı da elde edilebilir; hatta dünyanın en iyi makine öğrenimi mühendisleri bunu bir hackathon’da prototip haline getirebilir.
    Ama ölçeği büyük, riskten kaçınan bir organizasyon için bu hiç de kolay değildir. Çünkü “şu an elimizde olan kusurlu ama en azından olgusal olarak yanlış değil” mantığını yenmek zordur.
  • Kendini “medya/gazetecilik” şirketi olarak gören birkaç yere danışmanlık verdim ve beni hep şaşırtan şey, teknik ekibin içerik ekibinden ayrılmış olması ve ilgili medya erişim izinlerinin çoğu zaman çok düşük düzeyde kalmasıydı.
    Bu, bir teknoloji şirketinde beklenen “her şeye erişilebilir” yaklaşımından ya da genel sağduyudan oldukça farklı.
    ESPN’in nasıl çalıştığını hiç bilmiyorum; sadece başka yerlerde gördüklerime dayanarak çıkarım yapıyorum.
  • Ben de aynı şeyi düşündüm. Hâlâ erken aşamada gibi görünüyor.

• Eğer “bu Alex Morgan’ın son maçı” bilgisi girdide ya da prompt’un herhangi bir yerinde yoksa, yapay zeka özeti bunu maç haberine nasıl ekleyebilirdi ki?
  Gol atanlar ve gol dakikalarını içeren bir tabloyu herhangi bir ergen stajyere verseniz o da benzer bir haber yazardı. Ama bu, medya kuruluşları ve spor sitelerinin her şeyde üretken yapay zeka kullanabileceği anlamına gelmiyor; insanların ESPN’e neden kızdığını da anlıyorum

  • O bilgi yoksa bunu uyduramaz ve sorun da bu. Üretken yapay zekanın en büyük satış vaatlerinden biri yazım sürecinden insanı çıkarmak; ama birinin gerçekten maçı izleyip ne olduğunu prompt’ta anlatması gerekiyorsa, bu teknolojinin anlamı ne bilmiyorum.
    Üretken yapay zeka uygulaması işte böyle görünüyor. Düşük kaliteli girdi kullanarak habere benzeyen bir şey üretmek. OpenAI’ın getirdiği parlak gelecek bu işte
  • Eleştirinin özü “yapay zeka ne kadar aptal” olduğu değil, ESPN’in iddia ettiği gibi insan incelemesinden geçse bile yapay zeka içeriğinin nasıl yetersiz kaldığını gösteren bir örnek olması
  • Bu, yapay zekanın özsel bir sınırından çok, onu daha iyi kullanma meselesine benziyor.
    Maç olaylarını LLM’e verip özet istemek yerine, maçta yer alan oyuncular, teknik direktörler vb. hakkında son 10 haberin özeti, belki tarihteki önemli 10 haberin özeti gibi şeyleri de prompt’a ekleyerek iyileştirmek için açık bir yol var.
    Sonra maçı özetlemesini isteyip diğer bilgileri haber kalitesini artırmak için referans olarak kullanmasını söyleyebilirsiniz. Bu tam da LLM’lerin iyi yapabildiği bir şey gibi görünmüyor mu
  • Bu haberi okuyacak olanlar Alex Morgan’ın son maçı olduğunu zaten biliyordu. Spor medyasında geniş etkiye sahip ESPN bunu yakalayıp habere yansıtamıyorsa, yayıncının neden herhangi bir Y Combinator girişimi yerine ESPN özet hizmetini kullanması gerektiğini bilmiyorum
  • Bu tür bilgileri prompt’a dahil etmek için bir tür retrieval-augmented generation sistemi kurmak gerekir. Yarı otomatik yapılabilir ama bunun için sisteme daha fazla emek harcamak gerekir

• ESPN, “Yapay zeka tarafından oluşturulan her özet, kalite ve doğruluğu sağlamak için insan editörler tarafından incelenir” diye vurguladı ama buna inanmak zor.
  Yapay zekaya haber yazdırmanın temel amacı maaş ödenen insan sayısını azaltmak olduğundan, eğitimli uzmanların her haberi dikkatle incelemesine para ödemek muhtemelen seçenekler arasında değildir.
  İncelemenin titizliğini düşürmek, editörlerin uzmanlığını azaltmak ya da her habere insan koymamak gibi tavizler verilebilir ama uzman editörlerin işlerini düzgün yapması için para ödemeyeceklerdir. Bundan eminim

  • Bence bu mantık pek tutarlı değil. Üretilmiş haberler kullanırsanız çok para tasarruf edebilirsiniz ama içerik doğru değilse müşteriniz olan reklamveren güvenini kaybedersiniz.
    Yerine geçen her 10 muhabire karşılık 1 editör bulundurmak bile hâlâ büyük bir maliyet tasarrufu sağlar.
    Belki birkaç nesil sonra editörler de yer değiştirir ama henüz o noktada olduğumuzu sanmıyorum

• ESPN habercilikten insanı çıkardı, yapay zeka da haberin içinden insanı çıkardı.
  ESPN, hizmet duyurusunda “Yapay zeka tarafından oluşturulan her özet, kalite ve doğruluğu sağlamak için insan editörler tarafından incelenir” diye özellikle belirtmişti. İnsan editörün Morgan’ın yokluğunu fark etmediği mi, yoksa bunu anmaya değmez bulduğu mu belirsiz.
  Son 100 yıldır stajyeri suçlamak mükemmel bir günah keçisi oldu

  • Benim yorumum da buna yakın. Fiilen “Hindistan’daki bir ergen günde yapay zekanın ürettiği 1.000 haberi hızlıca gözden geçiriyor, sadece hakaret ya da dava konusu olabilecek şeyleri arıyor, hepsi bu” gibi geliyor

• WTT(World Table Tennis) maçlarının yapay zeka maç özetlerinden gerçekten nefret ediyorum.
  Yapay zeka özetleri rallinin ortasında kesiliyor, tüm puanları hatta bazen tüm setleri atlıyor. Puanlar arasında yaşanan önemli olayları yansıtamıyor; puandan sonraki heyecanlı anlatımı, kutlamaları ve maç sonu tokalaşmasını bile kesip atıyor

  • Yapay zekanın ürettiği her şeyden nefret ediyorum. Metinde de uncanny valley gibi bir şey mi var

• Bu tür yapay zeka özetleri nasıl üretiliyor? Tüm maç videosu dosyası verilip özet mi çıkartılıyor, yoksa insanın hazırladığı zaman damgalı skor kaydı verilip yapay zeka bunun üstüne cümleler ekleyerek haber mi oluşturuyor, merak ediyorum

  • Eskiden, yapay zekadan önce bunu yaptığımızda tüm maç bilgisi API’de olurdu ve biz de onu şablona doldururduk.
    Şimdi muhtemelen ham API çağrıları verilip “bu veriyi kullanarak bir maç özeti haberi yaz” gibi bir prompt kullanıldığında sonuç alınıyordur. Tabii prompt’un bundan daha özenli olduğunu varsayıyorum. Gerçi ESPN olduğu için olmayabilir de.
    Ama retiring_players diye bir şeyin API yanıtında yer aldığını hiç hatırlamıyorum.
    Ek olarak, oyun bazında özetler gerçekten aşırı derecede iyi belgelenmiştir. Şaşırtıcı derecede iyi. Gridiron Football ya da Basketball gibi popüler sporlarda saniye bazında oyuncu konumları bile bulunabiliyor. Bu veri SportsRadar gibi akışlardan geliyor.
    Muhtemelen prompt’a bu kadar ayrıntılı veri koymuyorlardır ama kimin kaç tane üçlük attığı ve nereden attığı gibi oldukça iyi özet bilgileri var
  • Ben bu prototipi yapıyor olsaydım, girdi olarak önce yarı yapılandırılmış metin olan oyun bazında kayıtları kullanarak başlardım.
    Buna kadroları, sakatlıkları ve takvim bilgilerini ekleyip oldukça temel bir prompt kullansanız bile sonuçlar büyük ihtimalle ciddi biçimde iyileşir.
    Bu tür veriler bugün çoğu canlı maç için çeşitli web servisleri üzerinden mevcut. ESPN’in içinde de bunları çekebilecek yeterli kaynak vardır
  • Canlı spor verisini API olarak veren ya da maç sonrası özet sunan birkaç şirket var; büyük ihtimalle onları kullanıyorlardır
  • Box score ve oyun bazında olayları kullanıyorlar
  • “Üretken yapay zeka” hakkındaki beklentiyle gerçeklik arasındaki fark artık görmezden gelinemeyecek kadar büyük.
    Milyarlarca dolarlık bir sistem “insan hatası” yüzünden bozuluyorsa, yetenekleri ciddi biçimde abartılıyor olabilir. Dikkatle hazırlanmış sorgular yani “prompt engineering”, %100 hatasız veri, devasa elektrik tüketimi ve üstüne insanların çıktıyı yeniden gözden geçirmesi gerekiyorsa, o zaman ne kazandık bilmiyorum.
    Artık bu yapay zeka evresinin bir balon olduğunu kabul etmenin zamanı gelmedi mi

• Bu web siteleri takip araçları ve reklamlarla dolu; genel olarak da sadece pek anlam taşımayan aşırı düşük emekli haberleri gereksiz yere uzatıp duruyorlar