AGI değerlendirme süreci ve kazananların seçiminde ortaya çıkan tutarsızlıklar

 (kaggle.com)
1 puan yazan GN⁺ 4 시간 전 | 1 yorum | WhatsApp'ta paylaş
  • Kaggle ve Google DeepMind’ın AGI benchmark hackathon sonuçlarını açıklamasının ardından katılımcılar, 1. olan MEDLEY-BENCH’in puan hesaplama ve yeniden üretilebilirlik sorunlarını gerekçe göstererek jüri sürecinin açıklanmasını ve yeniden değerlendirme yapılmasını talep etti
  • MEDLEY-BENCH, model boyutu büyüdükçe yalnızca “değerlendirme”nin iyileştiği, “kontrol”ün ise yerinde saydığı sonucuna vardı; eleştirmenler ise iki göstergenin benzer biçimde yükseldiğini ve temel ölçümlerin de ρ=0.79~0.94 gibi yüksek korelasyon gösterdiğini savundu
  • Kod incelemesinde, gerekçe veya ablasyon çalışması bulunmayan 33 manuel ağırlık, doğrulanmamış 30 LLM jüri kriteri, düşük güveni ters yönde ele alan mantık ve farklı iddialara aynı ID’yi verip toplayan veri üretim yöntemi tespit edildi
  • MEDLEY-BENCH, GAUGE ve Metaproteus’ta yürütme izleri olmadan yalnızca tek bir puan görülebiliyor; LearningBench de tekil vakaları doğrulaması saatler sürecek kadar karmaşık olduğundan katılımcılar tüm liderlik tablosunu ve kriter bazlı değerlendirme sonuçlarını istedi
  • Kaggle, yaklaşık 20 insan jüri üyesinin tüm kazanan çalışmaları en az 2 kişiyle, bazılarında ise 3~4 kişinin bağımsız olarak değerlendirdiğini ve jüri süresinin 1,5 aydan 3 aya uzatıldığını söyledi; ancak başvuru bazında puanları ve ayrıntılı seçim sürecini paylaşmadı

Hackathon yapısı ve ödül sonuçları

  • Kaggle ve Google DeepMind, ezberin yeniden üretilmesinin ötesinde öncü modellerin akıl yürütme, eylem ve yargı becerilerini değerlendiren Measuring Progress Toward AGI: Cognitive Abilities hackathon’unu birlikte düzenledi
    • 5 bilişsel track’e 1.000’den fazla ekip benchmark sundu
    • 4 büyük ödülün her biri için 25.000 dolar, 10 track kazananının her biri için 10.000 dolar ayrıldı

4 büyük ödül kazananı

  • MEDLEY-BENCH, sosyal baskı altında modelin kendi belirsizliğinin farkına varıp varmadığını, hatalı baskı karşısında mevcut inançlarını koruyup korumadığını ve geçerli çürütmeler karşısında inançlarını değiştirip değiştirmediğini değerlendirir
  • LearningBench, ön eğitim bilgisini değil, tek bir konuşma içinde ilk kez karşılaşılan metin tabanlı bir sistemin kurallarını öğrenen çıkarım zamanı öğrenmeyi ölçer
  • GAUGE, problem zorluğunu tahmin etme, güven düzeyiyle birlikte çözme, oyun teorik ödüle göre yanıt gönderme veya çekilme ile sonuçlanan 3 aşamalı bir üstbiliş merdiveni kullanır
    • Bir öncü model, 270 maddede doğruluk ve kalibrasyonda en iyi sonucu verdi ancak bir kez bile çekilmedi; bu da izleme becerisi ile davranış kontrolünün ayrışabileceğini gösterdi
  • Metaproteus, dünya bilgisini değil, modelin kendi çıktı dağılımını ve örnekleme eğilimlerini ne kadar bildiğini değerlendirir
    • Sözcük çağrışım çıktıları ürettikten sonra yeni bir model örneğinin kendi yanıtını tahmin etmesini ister; kendinden emin biçimde ürettiği çıktıları olduğundan düşük değerlendirme ya da üretmediği sözcükleri aşırı onaylama gibi hataları ayırt eder

5 bilişsel track kazananı

  • Yürütücü işlev

    • Turn Bench, kuralları kasıtlı olarak basit tutulan sıra tabanlı oyunlar aracılığıyla planlama, yürütme, çalışma belleği, ketleme ve uyum esnekliğini ayrı ayrı ölçer
    • Birbirine zıt gereksinimlere sahip varyant oyunlarla gerçek bilişsel esnekliği, belirli bir duruma tesadüfen uyan davranış varsayılanlarından ayırır
    • Yürütücü işlevi model boyutuyla birlikte büyüyen tekil bir yetenek olarak değil, bağlama bağlı bir profil olarak ele alır
    • SecureExec-Bench, olay müdahalesi ve kimlik bilgisi işleme gibi güvenlik açısından hassas ortamlarda modelin düşmanca manipülasyona dayanıp güvenlik prosedürlerini sürdürüp sürdürmediğini ölçer

  • Öğrenme

    • GrammarGym, bilişsel psikolojideki yapay gramer öğrenimine dayanarak modelin anlamdan ayrıştırılmış yeni bileşimsel kuralları edinip edinmediğini değerlendirir
    • Grameri yeniden oluşturduğu için ezberlenmiş bilgiye dayanmadan öğrenme becerisini test edebilir
    • EphLangBench, her oturumda anahtar sözcükleri, operatörleri, infix, prefix ve postfix gösterimi rastgeleleştirilmiş bir programlama dili üretir
    • Model, yalnızca bağlam içindeki spesifikasyonu okuyarak yeni grameri öğrenip algoritmik problemleri çözer ve birden fazla tur boyunca derleyici geri bildirimiyle hataları düzeltmek zorundadır
    • 10 model ve 200 problemde geçme oranı %7~89 aralığına yayılarak HumanEval’dan çok daha büyük bir performans farkı ortaya çıktı

  • Üstbiliş

    • ESFP Benchmark, uzman görüşlerini aktaran tutum ile modelin kendi başına akıl yürüten tutumu arasında geçiş yapıp yapamadığını değerlendirir
    • Modeller arasında “araç” ve “özne” modları arasında geçiş becerisi büyük ölçüde farklılaştı; instruction tuning ise modelleri özerk öz ifade yerine araç rolüne yöneltti
    • Metacognitive Calibration Benchmark, sınırlı klinik değerlendirme türü bilgiyle hipotez kurmayı, kanıt ile tahmini ayırmayı ve bilgi yetersiz olduğunda ek bilgi gerektiğine karar vermeyi birlikte test eder

  • Sosyal biliş

    • HedgeDecode, dolaylı ya da yüzü korumak için imalı biçimde aktarılan niyeti anlayıp, kullanıcının koruyucu ifadesini ifşa etmeden sosyal olarak uygun şekilde yanıt verip vermediğini ölçer
    • AdvisorBench, yapay zekanın düşük okuryazarlık düzeyini yansıtan biçimde iletişim kuran kullanıcılara daha düşük kaliteli tavsiye verip vermediğini değerlendirir
    • Tavsiyenin kalitesi, derinliği ve uygulanabilirliğinin iletişim tarzına göre düşüp düşmediğini ölçer

  • Dikkat

    • RIAC, temiz cümlelerden değer çıkarabilen modellerin tekrar eden bozucu token’larla çevrelendiğinde başarısız olmasını, tekrar kaynaklı dikkat çöküşü olarak ayrıştırıp ölçer
    • ABC, hem metin hem görsel tarafta girişim altında seçici dikkati değerlendirir ve özellik duyarlı dikkat ile Gestalt psikolojisi temelli yapı duyarlı dikkati ayırır
    • 15 model ve 2.160 vaka test edildiğinde, açık yerel özellikleri iyi tutturan modellerin bile doğru grup, bölge ve yapı birimlerini bulması gerektiğinde başarısız olabildiği görüldü

MEDLEY-BENCH sonuçlarının yorumlanması tartışması

  • Thomas Werkmeister, büyük ödülde 1. olan MEDLEY-BENCH’in jüri kriteri olarak bilinen kalite, savunulabilirlik, açıklık ve yenilik koşullarını karşılamadığını eleştirdi
  • Kaggle Benchmarks SDK’nın model karşılaştırma ekranında yalnızca tek bir puan gösterildiğinden veri toplama sürecini veya konuşma yürütme izlerini kontrol etmek zor
  • İlk sonuç, model boyutu büyüdükçe turuncu “değerlendirme” göstergesinin yükseldiği, mavi “kontrol” göstergesinin ise düz kaldığı şeklinde yorumlanıyor; eleştirmenler ise iki çizgi ve geri kalan ölçümlerin aynı eğilimi gösterdiği kanaatinde
    • Gemma ailesinde grafikte kontrolün değerlendirmeden daha fazla iyileşiyor gibi göründüğüne dair karşı görüş de ortaya çıktı
    • Ek makale, temel ölçümler arasındaki korelasyonu ρ=0.79~0.94 olarak bildiriyor
  • MEDLEY-BENCH, standart LLM eğitiminin kontrol yerine değerlendirme becerisini tercih ettiği sonucuna vardıktan sonra başka bir bölümde değerlendirmeyi 4 temel yetenek içinde göreli olarak en zayıf yetenek gibi ele aldığı için iç tutarsızlık eleştirisi aldı
  • Dört yetenek neredeyse birlikte hareket ediyorsa, gerçekten farklı yetenekleri ayrı ayrı ölçüp ölçmedikleri de belirsiz

Puan hesaplama ve veri üretimindeki sorunlar

  • Ek kod incelemesinde puan bileşimi için toplam 33 manuel ağırlık kullanıldığı ortaya çıktı
    • T1, T2 ve T3 hesaplamalarında 24; T2’nin özel durumdan sosyal değişim miktarı hesaplamasında 8; MMS denge unsurunun toplanmasında 1 ağırlık kullanılıyor
    • Her bir ağırlığın gerekçesi veya ablasyon çalışması sunulmuyor
  • T3’te 10 LLM jüri kategorisinin her biri için 3 olmak üzere toplam 30 tek satırlık bilişsel kriter kullanıldı; ancak hedeflenen beceriyi gerçekten yakalayıp yakalamadıkları test edilmedi
  • Prompt, bir iddiaya yönelik düşük güveni o iddiaya karşı çıkmak olarak ele alıyor
    • Eleştirmenler, geçici olarak doğru görülen iddialara da düşük güven duyulabileceğini; karşı çıkmanın ise karşı önermeye güven duymakla aynı şey olmadığını düşünüyor
  • Her model kendi başına 1~5 numaralı iddiaları yazdığı için aynı vaka ve aynı iddia ID’sinde bile claim_text değerinin değişmesi sorunu tespit edildi
    • KA_CR_001 içindeki C4 için SQL injection, iç kimlik doğrulama ve VPN, izin listesinde büyük/küçük harf işleme, gelecekteki bakım riski gibi farklı içerikler atandı
    • Bazı modellerde claim_text değeri null ya da 5’ten az iddia üretilmiş durumda
  • Farklı iddiaların güven puanları aynı ID altında toplanarak merkezi güven, çoğunluk pozisyonu ve pozisyon dağılımı oluşturuluyor; ardından Step B Social prompt’una aktarılıyor
    • Model, başlangıçta kendi oluşturduğu 1~5 iddiadan içerik olarak farklı olabilecek diğer modellerin görüşlerini alıp mevcut iddialarını düzeltmek zorunda kalıyor
    • Sonrasında manuel ağırlıklar ve LLM jüriliği uygulandığı için nihai göstergelerin geçerliliğine güvenmenin zor olduğu eleştirisine yol açıyor
  • Eleştirmenler, küçük birimlerde doğrulayıp ölçeklemek gerektiğini; 30 LLM jüri kriterinden yalnızca biri bile derinlemesine incelenseydi yararlı bir sonuç üretilebileceğini düşünüyor

Yeniden üretilebilirlik ve jüri şeffaflığı talepleri

  • Katılımcıların kazanan çalışmaların iddialarını doğrudan doğrulaması için yayımlanan materyaller yetersiz
    • MEDLEY-BENCH’in REPRODUCING.md dosyası depoda bulunmayan results/ klasörüne işaret ediyor; sonuçların nasıl üretildiğini anlamak için kod ve JSON üzerinden geriye doğru iz sürmek gerekiyor
    • LearningBench, büyük ödül kazananları içinde SDK kullanımında en iyi durumda olsa da gated_dual_signal_binding_assoc_learning gibi bir oyundaki tek bir vakayı insanın doğrulaması saatler sürebiliyor
    • GAUGE yaklaşık 200 vaka kullandığını söylüyor, ancak benchmark ekranında yalnızca tek bir çalıştırma görünüyor
    • Metaproteus’un benchmark sayfasında da yalnızca tek bir puan bulunduğundan sözcük yönlendirme ve ölçüm yöntemini doğrudan kontrol etmek zor
  • 1.000’den fazla ekibin kendi eksiklerini anlayabilmesi için aşağıdaki materyallerin açıklanması yönünde talepler sürüyor
    • Tüm başvuruların puan liderlik tablosu
    • En azından kazanan çalışmaların değerlendirme puanları
    • Gerçek jüri sürecinde önemle uygulanan unsurlar
    • Kriter bazlı puanlar ve başvuru bazlı geri bildirim
    • Beraberliklerin ele alınması ve teknik diskalifiye gibi ön yeterlilik filtreleri
  • Bir katılımcının alıntıladığı resmi değerlendirme ağırlıkları: veri kümesi kalitesi ve görev tasarımı %50, yazı kalitesi %20, yenilik, içgörü ve ayırt edicilik %30
  • ATLAS başvurusunun sahibi; 540 oyun, 6 öğrenme türü, 3 zorluk seviyesi, programatik doğru yanıt ve başarısızlık türü teşhisi sunduklarını belirterek hangi ayrıntılı kriterlerde kazanan çalışmalardan daha düşük değerlendirildiklerinin açıklanmasını istedi
    • Yapay gramer ve tek kullanımlık dil gibi paradigmaların yeniliğinin ayırt edicilikten daha fazla ağırlık taşıyıp taşımadığını sordu
    • Personel erişimine özel model çalıştırmalarının teknik doğrulama amaçlı mı olduğu, yoksa nihai jüri sürecine de yansıtılıp yansıtılmadığının açıklanmasını talep etti
  • Personel modeli çalıştırmalarını inceleyen bir katılımcı, 5 track’teki 680 benchmark bağlantısı içinde Claude Fable 5 veya OpenAI o3 çalıştırması görülen öğeleri 30 olarak saydı
    • Bu inceleme ajan yapay zeka ile hazırlandı; model çalıştırmalarının jüri amacı taşıdığı kısmı ise katılımcının çıkarımı

Değerlendirme kapsamı ve fiziksel zeka

  • Başka bir katılımcı, kazanan çalışmaların çıkarım zamanı öğrenme, üstbiliş, yürütücü işlev, dikkat ve sosyal akıl yürütmeyi ağırlıklı olarak metin, oyun teorisi ve prosedürel üretim ortamlarında değerlendirdiğini düşünüyor
  • Kuvvet vektörleri, tork, biyomekanik, kinematik, malzeme özellikleri veya gerçek dünyadaki fiziksel yürütme izlerinden çıkan nedensel ilişkileri ele alan fiziksel zeka benchmark’larının kazanan çalışmalar arasında bulunmasının zor olduğu değerlendiriliyor
  • Gelecekte hareket, kuvvet, biyomekanik, malzeme etkileşimi ve gerçek dünya sensör bilgisini kabul eden özel multimodal değerlendirme pipeline’larının hazırlanması önerildi
  • “Akıl yürütme, eyleme geçme ve yargıda bulunma” becerilerini değerlendirdiğini söyleyen geniş AGI ifadesi ile fiili 5 bilişsel track ve prompt yanıtı merkezli değerlendirme yapısının kapsamının uyumlu hale getirilmesi gerektiği yönünde talepler de ortaya çıktı

Kaggle’ın yanıtı ve kalan konular

  • Kaggle, bu hackathon’u Google DeepMind ile birlikte düzenlediğini ve iki kuruluştan yaklaşık 20 jüri üyesinin katıldığını açıkladı
  • Hackathon 16 Nisan’da sona erdi; başlangıçta jüri süreci 31 Mayıs’a kadar 1,5 ay olarak planlanmıştı, ancak 13 Temmuz’a kadar 1,5 ay daha uzatıldı
  • Tüm kazanan çalışmalar en az 2 insan jüri üyesi tarafından incelendi; bazıları ise 3~4 kişi tarafından değerlendirme kriterlerine göre bağımsız olarak puanlandı
  • Nitel başvuruların değerlendirildiği hackathon’larda insan öznelliği bulunduğunu, ancak çok sayıda bağımsız jüri değerlendirmesiyle önyargı olasılığını azalttıklarını belirtiyor
  • Jüri sürecinin dikkatsizce LLM’lere bırakılmadığını netleştirdi; ancak talep edilen tüm liderlik tablosu, kriter bazlı puanlar ve tekil jüri kayıtları yanıtta yer almadı

İlgili okumalar

1 yorum

 
GN⁺ 4 시간 전
Hacker News görüşleri

  • AI faydalı, ama düşünmeyi tamamen ona devredip cevapları körü körüne kabul eden insan sayısı saçma derecede fazla
    Kaggle da gönderimleri değerlendirirken AI kullandıysa, sağduyulu bir doğrulama yapmadan sonuçları kabul etmiş olma ihtimali yüksek görünüyor

    • Düşünmeyi dış kaynak kullanımıyla devretmenin temel nedenlerinden biri, “hızlı hareket et” baskısı
      Sermaye anında sonuç istiyor; bu yüzden okuyup özümsemek ve düşünmek için zaman verilmiyor
    • Ekibe AI/LLM kullanarak olanakları ve sınırları keşfetmelerini öneriyorum, ama 20 maddelik bir listede yarısı saçma sapan AI üretimi kullanıcı hikâyelerini incelemekten bıkmış durumdayım
      LLM, Mr. Meeseeks gibi faydalı bir araç sadece; tanrı değil, bu yüzden çıktıyı en azından bir kez gözden geçirmek gerekiyor
    • AI’nin kendisini kazanan ilan etmesini sağlayan prompt injection da kullanılmış olabilir
    • İstenen cevabı ver dediğinizde aynen verdiği için, o alanı pek bilmeyenlere AI kullanmak kolay görünüyor
      Buna karşılık alanı iyi biliyorsanız kötü ve yanlış cevaplar hemen göze batıyor; bu da tam olarak Gell-Mann AI etkisinin işleyişi
    • İnsanlar zaten düşünmeyi TV muhabirlerine, dine, siyasi partilere vb. devretmeyi severdi; bundan ziyade AI’ye devretmeyi daha iyi buluyorum

  • Tam olarak bu yarışma mı emin değilim, ama AI’nin adil hackathon fikrini fiilen bitirdiğini hissediyorum
    Dışarıdan düzgün görünse de tüm projelerin kodunu AI yazıyor, jürilik işini de AI yapıyor; hatta kendisini kazanan ilan etmesi için prompt injection yapılmış bir projenin gerçekten kazandığını da gördüm
    Eskiden insan becerileri yarışırdı, şimdi ise fikir yarışmasına döndü ve sonuçta çoğunlukla içeriden kişiler kazanıyor

    • Hackathon’lar AI’den önce de adil değildi. https://news.ycombinator.com/item?id=48468766 bağlantısında da görülebilir
      Çözüm, ödülsüz hackathon düzenlemek ve bunlara katılmak. Amaç kazanmak değil, havalı bir şey yapmak, sunmak ve eğlenmek olmalı
      Hatta AI sayesinde hızlı prototipleme mümkün olduğundan, hackathon’lar daha iyi bile olabilir
    • Bir projenin kendisini kazanan ilan edecek şekilde prompt injection yapılıp gerçekten kazandığına dair somut bir örnek görmek isterim
    • Hackathon merakına kapılmamış olmaktan memnunum; kişisel üretme faaliyetlerimi rekabet amacına bağlamak istemiyorum
      İşte sevdiğim şeyi yapıp para alıyorum, ama son zamanlarda onu da bilgisayara yaptırmam isteniyor
    • En azından gerçek para ödüllü hackathon’ların çoktan öldüğünü düşünüyorum
    • Kendini kazanan ilan ettirme fikri akıllıca ama aynı zamanda çok heves kırıcı bir gerçeklik
      elle yapılan hackathon’lar ile AI hackathon’larının ayrı düzenlenmesi güzel olurdu, ama oyunlarda olduğu gibi hile keyfi kaçırıyor

  • AI gönderimleri ile AI jüri üyeleri, AI cennetinde kurulmuş kusursuz bir eşleşme gibi görünüyor

    • Slavoj Žižek usulü söylersek, dildoyu bir mastürbasyon cihazına takıp bizim yerimize seks yapmalarını sağlamak gibi bir durum
    • AI tarafından yazılmış PR’ları AI’nin incelemesi de aynı şey

  • İnsanlar Kaggle’ın ilk günlerinden beri yarışmaları brute force yöntemiyle kazandı ve o zamandan beri de bundan şikâyet ediyor
    Makine öğrenmesi özünde, otomatik özellik seçimi ve hiperparametre ayarıyla bilgisayarın model üretmesiyle ilgili bir alan; Kaggle modellerinin çoğu da eskiden beri kara kutuydu
    Netflix Prize’ı kazanan model de bu yüzden gerçek hizmette kullanılmadı; dolayısıyla LLM ile kara kutu oluşturan kod üretmek, mevcut uygulamalardan çok da farklı değil

  • Kaggle’ı, Bolivya’nın yıllık fasulye tüketimi gibi şüpheli CSV dosyalarının indirildiği bir site sanıyordum
    Özgün araştırma ya da kaynağı sağlam veriler sunan otoriter bir yer olduğu bir dönem olmuş muydu emin değilim; bu kez farklı görünen tek nokta 25 bin dolarlık ödül olması

  • Ben Nick, Kaggle Benchmarks ürün yöneticisiyim; bu AGI hackathon’unun da ortak düzenleyicisi ve jüri üyesiyim
    Bu yarışma Kaggle ile Google DeepMind tarafından ortaklaşa düzenlendi ve iki taraftan yaklaşık 20 kişi jüri olarak görev yaptı; 16 Nisan’daki bitişin ardından başlangıçta 31 Mayıs’a kadar 1,5 ay değerlendirme planlanmıştı, ancak katılımcıları hakkıyla değerlendirebilmek için 13 Temmuz’a kadar 1,5 ay daha uzatıldı
    Tüm kazanan işler, sayfada yayımlanan kriter tablosuna göre en az 2, bazıları ise 3-4 bağımsız insan jüri tarafından incelendi ve puanlandı
    Niteliksel gönderim değerlendirmelerinde insan öznelliği devreye girer, ancak nesnel ölçütler ve birden fazla bağımsız değerlendirme ile önyargıyı azaltmaya çalıştık; sonuçlar konusunda fikir ayrılığı olsa bile jüriliği sorumsuzca LLM’lere bırakmış değiliz

    • Orijinal yazarın sunduğu nesnel kanıt, tarafsız bir gözlemciye oldukça ezici görünüyor; neden buna doğrudan yanıt vermediğinizi merak ediyorum
    • Tüm kazanan işlerin gerçekten insan jüri üyeleri tarafından incelendiğini nasıl doğruladığınız merak konusu
      Sonuçlar, bu açıklamayla uyuşmuyor gibi görünüyor

  • Kaggle’ın çıkarması gereken iyi bir üst düzey ders bu
    Nesnel metriklere doğru tepe tırmanışı optimizasyonu yaparken AI çok iyi, ama özensizce LLM’leri jüri olarak kullanmaya bel bağlandığında sonuçlar iyi olmuyor

    • Kaggle’da kazanan çözümler, ekiplerin sürdürülebilir biçimde işletebileceği mühendislik çözümlerine nadiren dönüşüyor
      Nesnel hedefe yönelik model performansını maksimize etmek, toplam problemin yalnızca küçük bir parçası

  • Çeşitli yerlere yazılanları inceleyince, “Öyleyse onun yerine kim kazanmalıydı?” sorusu makul görünüyor
    Tüm başvurular birbirine benzer olabilir ya da diğer başvurular daha da kötü olabilir; bu yüzden, sahtekarlık veya görevi ihmal ortaya çıktığında ödülün iptal edilip başka bir katılımcıya verilebilmesi için ikinci olan çalışma ve öne çıkan başvuruların bilinmesi gerekir
    Hata ve abartıların AI üretimi değil insan hatası olma ihtimali de var; eğer öyleyse suçlamanın şiddeti daha düşük olabilir

    • Tek bir insan beyninin üzerine yağan tüm AI tortusunu baştan sona değerlendirecek enerjisi yoktur; bu, ölümlülerin kaldırabileceği bir iş değildir
      “Uzmanlar LLM yanıtlarını daha çok tercih ediyor” diyen araştırmalarda bile, birkaç tanesine bakıldığında insan yanıtları daha iyi olabilir; ama 50 tanesini incelemek gerektiğinde, eleştirel okumak yerine akıcı cümlelere ya da yüzeysel olguların miktarına göre yargılama eğilimi güçlenir
      Burada da jüri üyeleri 20 sayfalık arXiv makalelerini gerçekten okumadan puan vermiş gibi görünüyor; mesleki açıdan sorumlu tutulabilirler ama duygusal açıdan onlara acımamak zor
    • Açıklama doğruysa ve tüm başvurular bu düzeydeyse, hiç kimse kazanmamalıydı
      Hepsi diskalifiye edilmeli, organizatörler de uzun süre aynaya bakıp kendilerini sorgulamalıydı

  • arXiv ve bir zamanlar ciddi olan Kaggle gibi alanların kendini pazarlama aracına dönüşmesi üzücü
    Bir AI laboratuvarında işe girme isteğini anlıyorum ama kamusal alanlara düşük kaliteli üretimler yığmak, o alanların asıl amacına ters düşerek zarar veriyor

    • arXiv’i kendini tanıtmak için kullanmak ve Kaggle’ı sektöre giriş basamağı yapmak eskiden beri vardı; bu yakın dönemde ortaya çıkmış bir olgu değil

  • “Kazanan çalışma açıkça değerli ve içine çok emek konmuş, o yüzden birkaç çelişki ya da hatayı dert etmeyip sonucu kabul edin” tepkisi, şaşırtıcı derecede çarpıcı
    Sonuçta, halüsinasyonla üretilmiş düşük kaliteli bir çıktı bile değer taşıdığı için birinciliğin olduğu gibi kabul edilmesi gerektiği söylenmiş oluyor

    • Yaklaşık son 100 yıldır bilimkurgu, AI’yı belirsiz ama evrensel bir “mantık” temeline dayanan; kibir, nefret, kıskançlık, arzu gibi insani kusurları olmayan bir yüksek zeka olarak tasvir etti
      Bunun temelsiz bir varsayım olduğu artık açıkça ortaya çıktı, ama bu fark edilene kadar milyarlarca insan makinelere asla gerçekten şüpheyle yaklaşmamak üzere çoktan koşullandırılmıştı
    • Gerçeklikle uyuşmayan, insanların saçma talepleri bile mühendisleri zaten fazlasıyla yormaya yetiyor
      Apaçık düşük kaliteli üretimler başka bir düşük kaliteli üretim tarafından değerlendirildikten sonra, eleştirenler de yenilgiyi kabullenemeyen insanlar gibi gösterilirse, artık rasyonel bir konuşma yürütmek imkansız hale gelir
      Yarışmacı iyi niyetle çok zaman harcayıp durumu açıkça anlattı ve kendi kaçırdığı bir şey olabilir diye bunu da hesaba kattı; ama düşüncesiz istatistiksel tortu saçan kişinin bunu ayırt edemeyen değerlendiriciler tarafından ödüllendirilmesi tekrar tekrar yaşanırsa, insanlar hızla tükenip uzaklaşır
      İş yerinde, şirket belgelerinde, toplumsal ilişkilerde ve sosyal medyada bu tavır giderek yayılıyor; ben ise gerçekten düşünen, zihnini geliştiren insanlarla ve hayata faydalı etkinliklerle ilgilenmek istiyorum
      Düşük kaliteli üretime göz yuman topluluklara zamanımı ve dikkatimi harcamayacağım; iyi niyetle iletişim kurulmadığında hoşgörü göstermek için de bir neden yok
      Kaggle ve açık kaynak katkıcılarıyla içerik üreticilerine karşı güveni bozan tek bir ihlale kadar tolerans göstereceğim; astlara ise etik olarak birkaç şans vermek gerekir ama önce yönetim sorumluluğunu üstlenmek şart, üst düzey liderlik içinse yalnızca bir kez toleransım olur
      Güven kıymetlidir; bu yüzden birbirimizi sorumlu tutmalıyız ve bu süreçte ilişkiler koparsa da bunu göze almak gerekir
    • “Yeter ki değer sunsun” tavrına katlanamıyorum
      Piyasayı tekelleştirip herkesin işini ve geçim kaynağını ortadan kaldıracağını açıkça söyleyen, birkaç yatırımcının gözdesi şirketler adına kullanışlı aptal haline gelmekten kaçınmak gerekir