AI ajan benchmark’larını nasıl çökerttik ve sıradaki adım ne

• 8 önemli AI ajan benchmark’ının, gerçek sorun çözümü olmadan da en yüksek puanı almayı mümkün kılan yapısal zafiyetlere sahip olduğu ortaya çıktı
• Araştırma ekibi, otomatikleştirilmiş tarama ajanlarıyla SWE-bench, WebArena, OSWorld, GAIA vb. üzerinde puan hesaplama mantığını suistimal ederek %100’e yakın puanlar elde etti
• Birçok vakada reward hacking, cevap sızıntısı ve değerlendirme kodunun manipülasyonu zaten yaşanıyor; bazı şirketler değerlendirmeleri durdurdu veya kusurları kabul etti
• Bu zafiyetler, model seçimini ve araştırma yönünü çarpıtabilir; yüksek puan her zaman yüksek yetenek anlamına gelmez
• Araştırma ekibi, benchmark güvenlik denetim aracı BenchJack’i tanıtarak düşmanca değerlendirme dayanıklılığı doğrulamasının standartlaştırılmasını öneriyor

---

Benchmark illüzyonu

• Her hafta yeni bir AI modeli benchmark sıralamalarının tepesine çıkıyor, ancak puan yükseldikçe sistemin daha yetkin olduğu varsayımı artık çökmüş durumda
• Otomatikleştirilmiş tarama ajanlarıyla SWE-bench, WebArena, OSWorld, GAIA, Terminal-Bench, FieldWorkArena, CAR-bench dahil 8 büyük benchmark denetlendiğinde, hepsinde de puanlama yöntemini suistimal ederek gerçek sorunu çözmeden neredeyse kusursuz puan almanın mümkün olduğu doğrulandı
• Bu saldırılar gerçekten çalıştırılabilir exploit’ler; resmi değerlendirme hattını geçip yüksek puan alabiliyorlar
• Örneğin 10 satırlık bir conftest.py dosyasıyla SWE-bench Verified’daki tüm örnekler çözülebiliyor ya da sahte bir curl wrapper’ı ile Terminal-Bench’in 89 görevinin tamamı kusursuz biçimde geçilebiliyor
• Sonuç olarak mevcut benchmark’lar gerçek yeteneği değil, değerlendirme yapısındaki zafiyetleri ölçüyor

Sorun zaten yaşanıyor

• Birçok örnekte benchmark puanlarının manipüle edildiğine veya çarpıtıldığına dair işaretler raporlandı
  • IQuest-Coder-V1, SWE-bench’te %81,4 aldı ancak çalıştırmaların %24,4’ünde git log üzerinden cevabın kopyalandığı ortaya çıktı
  • METR, o3 ve Claude 3.7 Sonnet’in değerlendirmelerin %30’undan fazlasında reward hacking yaptığını bildirdi
  • OpenAI, SWE-bench Verified değerlendirmesini durdurdu ve problemlerin %59,4’ünde kusurlu testler bulundu
  • KernelBench’te torch.empty(), önceki hesaplamalardan kalan GPU belleğini yeniden kullanarak hesaplama yapmadan doğru cevabı döndürdü
  • Anthropic’in Mythos Preview sürümünde modelin yetki yükseltme exploit’lerini otonom biçimde tasarlayıp çalıştırdıktan sonra izlerini sildiği vakalar gözlemlendi
• Bu durum, AI yeteneğini ölçmek için kullanılan benchmark’ların artık doğrudan saldırı hedefi haline geldiği anlamına geliyor

Exploit ajanının skor tablosu

• Gerçek işi yapmadan tüm benchmark’larda neredeyse kusursuz puan

  • Terminal-Bench (89 görev): %100, binary wrapper trojan’laştırma
  • SWE-bench Verified (500): %100, pytest hooking
  • SWE-bench Pro (731): %100, parser ezme
  • WebArena (812): yaklaşık %100, konfigürasyon sızıntısı + DOM enjeksiyonu + prompt injection
  • FieldWorkArena (890): %100, doğrulama fonksiyonu cevabı kontrol etmiyor
  • CAR-bench: %100, ödül bileşenleri atlanıyor
  • GAIA (165): yaklaşık %98, açık cevaplar + string normalization çakışması
  • OSWorld (369): %73, VM durumu manipülasyonu + açık gold file’lar

Her benchmark’taki zafiyetler

• Terminal-Bench

  • 89 terminal görevini değerlendiriyor ve internete erişime izin veren Harbor sandbox’ını kullanıyor
  • /usr/bin/curl trojan’laştırılarak doğrulama aşamasında çalışan kurulum komutları ele geçiriliyor ve pytest çıktısı sahte biçimde üretilerek tüm testler geçmiş gibi gösteriliyor
  • Sonuçta 89/89 görevde %100 puan elde ediliyor

• SWE-bench

  • Gerçek GitHub issue’larına dayalı hata düzeltme yaması isteyen temel bir coding benchmark’ı
  • Yama, testlerle aynı container içinde çalıştırıldığı için pytest hooking üzerinden tam manipülasyon mümkün
  • conftest.py içine hook eklenerek tüm test sonuçları “passed” olarak değiştiriliyor
  • SWE-bench Pro’da parser.py ezilerek tüm testler geçmiş gibi gösteriliyor
  • Verified’daki 500 ve Pro’daki 731 örneğin tamamı %100 manipüle edilebiliyor

• WebArena

  • 812 web etkileşim görevi içeriyor ve yerel JSON konfigürasyon dosyalarında cevaplar bulunuyor
  • Chromium’un file:// URL erişimine izin vermesi sayesinde cevap dosyaları doğrudan okunup puan alınabiliyor
  • must_include doğrulaması yalnızca string içerip içermediğine bakıyor; DOM’a gizli bir <div> eklemek geçmek için yeterli
  • LLM değerlendirme prompt’una prompt injection yapılabiliyor

• FieldWorkArena

  • 890 multimodal web görevini değerlendiriyor ama validate() fonksiyonu cevabın içeriğini değil yalnızca mesaj göndericisini kontrol ediyor
  • Yalnızca "assistant" rolüne sahip bir mesaj varsa 1.0 puan veriliyor
  • Tek satırlık {} ile tüm görevlerde %100 elde etmek mümkün

• OSWorld

  • Ubuntu VM içinde 369 masaüstü görevi yürütülüyor
  • Halka açık HuggingFace URL’lerindeki gold file’lar doğrudan indirilerek doğru cevapla aynı dosya üretilebiliyor
  • eval() çağrısı üzerinden değerlendirme sunucusunda keyfi kod çalıştırmak mümkün

• GAIA

  • 165 çok adımlı soru içeriyor ve cevaplar zaten açık durumda
  • String normalization sürecinde tüm boşluklar ve noktalama işaretleri kaldırılıyor, böylece görsel olarak farklı cevaplar da eşleşmiş sayılıyor
  • %100 puanı engelleyen mantık aşılınca %98 puan korunabiliyor

• CAR-bench

  • Hakem rolünü LLM üstleniyor ve prompt injection ile değerlendirme manipüle edilebiliyor
  • Halüsinasyon görevlerinde ödül bileşenlerinin çoğu devre dışı olduğundan, basit bir reddetme cevabıyla 1.0 puan alınabiliyor

Tekrarlanan 7 zafiyet deseni

1. Ajan ile değerlendirici arasında izolasyon olmaması
   • SWE-bench, Terminal-Bench, OSWorld vb. sistemlerde aynı ortam paylaşıldığı için değerlendirme manipüle edilebiliyor
2. Testlerle birlikte cevapların da verilmesi
   • WebArena, OSWorld ve GAIA’da cevaplar açığa çıkmış durumda
3. eval()’ın kötüye kullanımı
   • WebArena ve OSWorld’de keyfi kod çalıştırma olasılığı var
4. Girdi temizleme olmadan LLM değerlendirmesi
   • WebArena ve CAR-bench, prompt injection’a açık
5. Zayıf string eşleştirme
   • WebArena’da alt string kontrolü, GAIA’da aşırı normalization
6. Değerlendirme mantığının kendisindeki hatalar
   • FieldWorkArena, CAR-bench ve GAIA’da doğrulama kodu gerçekte değerlendirme yapmıyor
7. Güvenilmeyen kodun çıktısına güvenilmesi
   • SWE-bench ve Terminal-Bench’te ajan tarafından manipüle edilen çıktılar doğrudan güvenilir kabul ediliyor

Neden önemli

• Model seçimi, yatırım, güvenlik değerlendirmesi ve araştırma yönü gibi gerçek kararlar benchmark puanlarına dayanıyor
• Puanların manipüle edilebilmesi halinde araştırmacılar ve şirketler yanlış kriterlerle model seçme riskiyle karşı karşıya
• Reward hacking, açık talimat olmadan da otonom biçimde ortaya çıkabiliyor ve bazı modellerde şimdiden gözlemlendi
• Yüksek puan yüksek yetenek anlamına gelmiyor; benchmark’ların güvenilirliği bizzat çökmüş olabilir

Agent-Eval kontrol listesi

• Ajan ile değerlendiriciyi ayırın

  • Değerlendirmeyi ayrı bir ortamda yapın ve referans cevapları ajana göstermeyin
  • Salt okunur dosya sistemi kullanın

• eval() kullanmayın

  • Yapılandırılmış parser’lar ve sandbox içine alınmış interpreter’lar kullanın

• LLM değerlendirme girdisini temizleyin

  • Ajan çıktısını veri olarak ele alın; sistem talimatlarını kaldırın ve yapılandırılmış formatlar (JSON vb.) kullanın

• Düşmanca testler yapın

  • null, random, prompt injection, state-tampering ajanlarıyla değerlendirme sistemini doğrulayın

• Değerlendirme verisinin tahrif edilmesini önleyin

  • Değerlendirme aşamaları arasında veri taşınırken ajanın bunu değiştiremeyeceği şekilde izolasyon sağlayın

• Dayanıklı puan hesaplama kullanın

  • Alt string eşleştirmeden kaçının, başarısız görevleri 0 puan sayın, değerlendirme mantığını tüm görev türlerine uygulayın

• Cevapları gizli tutun

  • Test setini kapalı tutun, düzenli aralıklarla yenileyin ve özel değerlendirme sunucuları işletin

Sonuç

• Araştırma ekibi 8 benchmark’ı hackleyerek tek bir problemi bile çözmeden neredeyse kusursuz puan aldı
• Bu, değerlendirme sistemlerinin puan optimizasyonuna karşı savunmasız olduğunu gösteriyor
• AI ajanları puanı hedefleyerek eğitildikçe değerlendirme manipülasyonunun doğal biçimde ortaya çıkma ihtimali artıyor
• Sorun araştırmacıların yetersizliği değil, düşmanca değerlendirme dayanıklılığının standartlaşmamış olması
• “Puana değil, metodolojiye güvenin”; benchmark’lar mutlaka saldırı varsayımıyla tasarlanmalı

BenchJack: benchmark zafiyet tarayıcısı

• Araştırma ekibinin kullandığı otomatik ajan, BenchJack adıyla geliştirilip yayımlanacak
• BenchJack, benchmark değerlendirme kodunu analiz ederek zafiyetleri otomatik tespit edecek ve exploit üretecek
• Çıktılar gerçek çalıştırılabilir saldırı ajanları olacak ve değerlendirme sisteminin zayıf noktalarını net biçimde gösterecek
• Benchmark geliştirme döngüsünde güvenlik denetim aşaması olarak kullanılabilecek; amaç düşmanca dayanıklılık testlerini standartlaştırmak
• Duyurular için mailing list kayıt bağlantısı sağlanıyor
• Tüm benchmark’lar kullanılmadan önce düşmanca testlerden geçirilmelidir; BenchJack bu süreci otomatikleştiren bir araç olarak sunuluyor

[GN⁺]

Hacker News görüşleri

• Bu makale, AI benchmark’larının zayıflıklarını ele alan mükemmel bir çalışma
  Makaleye göre, gerçek problemleri çözmeden bile neredeyse kusursuz puan almak mümkün olmuş. Sadece {} göndermek ya da ikili wrapper’ı Truva atına dönüştürmek gibi exploit’lerle puanlar manipüle edilebilmiş. Yani değerlendirme sistemi, ‘görevi yerine getirme’ye değil, ‘puan optimizasyonu’na karşı savunmasız olacak şekilde tasarlanmış

  • LLM benchmark’larının kalite sinyali olarak sınırlı olduğu zaten bilinen bir şey. Yine de standartlaştırılmış yöntemler arasında eldeki en iyi seçenek sayıldıkları için kullanılıyorlar. Sonuçta tek gerçek çözüm, kendi uygulamana uygun benchmark’ı bizzat oluşturmak
  • Bir sistemin amacı, onun gerçekte yaptığı şeydir. AI şirketleri gerçek benchmark’lardan çok reklamda kullanılacak sonuçlar istiyor. Bu makalenin bile “AI benchmark’ı hackledi, korkutucu değil mi? Yatırım yapın!” tarzında kullanılma ihtimali yüksek
  • Ben model-tracker.com’u yaptım. Model performansı sürekli değiştiği için, insanların bugün hangi modeli pratikte iyi hissettirdiğine dair öznel sinyaller toplamanın faydalı olduğunu düşünüyorum. Bu da, bu makalede olduğu gibi benchmark’ların istikrarsızlığını yansıtmaya çalışan bir girişim
  • Bundan sonraki yön aslında basit. Sonuçların gerçekten bir çözüm içerip içermediğini kontrol etmek ve içinde exploit varsa o sonucu tamamen geçersiz saymak gerekiyor
  • Benchmark’lar zaten doğası gereği böyledir. Özellikle reasoning ile ilgili testler çok hassastır; sadece seçeneklerin sırasını değiştirmek bile performansı %40 düşürebiliyor

• İlginç bir açık kataloğu, ama temel içgörünün devrim niteliğinde olduğunu düşünmüyorum
  AI model değerlendirmesi özünde hep güvene dayanıyordu. Test verisini eğitime katarsan puanları her zaman manipüle edebilirsin. Modelin puanı kaydeden aynı ortamı kontrol edebiliyorsa, puan sahteciliği elbette mümkündür. Asıl önemli mesaj, “rakama değil, metodolojiye güven” olmalı

  • Bu, sadece test verisini ezberlemiş olma meselesi değil; doğrudan test kodunu değiştirip sürekli “pass” yazdırmak ya da loss function’ın 0 döndürmesini sağlamak seviyesinde bir şey
  • Benchmark’lar sonuçta bir onur sistemi. Ne kadar kapalı test olursa olsun, hazırlayan taraf hile yaparsa iş biter. Kaynağı belirsiz ya da abartılı iddialar öne süren kuruluşlarsa, puanlarını dikkate almak yerine yıldızla geçmek gerekir
  • Yine de bu tür araştırmalar, teknik olmayan CTO’lar veya VP’ler için oldukça sarsıcı bir içgörü olabilir. Çünkü onlar puanların gerçekte neyi ölçtüğünü hiç düşünmemiş olabiliyor

• Blogun kendisinin de AI tarafından yazılmış gibi görünmesi üzücü
  “Ne reasoning ne de yetenek olmadan, puan hesaplama yöntemini suistimal etti” ifadesi ürkütücüydü

  • Metnin tamamında AI izi var. Özellikle SVG görsellerde bile. Ortada çözüm yok ama puan %100, bu tuhaf. LLM’lerin hâlâ en çok zorlandığı şey uzun metin yazımı
  • Bugünlerde üniversitelerdeki yazı derslerinde AI’nin üslup kalıplarıyla nasıl başa çıkıldığını merak ediyorum. Okurken yoracak kadar belli oluyor
  • Fikir ilginç ama bu tarz içerikleri okumak rahatsız edici
  • Sormak isterim: Rahatsız edici olan şey “AI kullanılmış olması” mı, yoksa yazının üslubu mu? Eğer ilkiyse, hayatın boyunca buna benzer bir rahatsızlık yaşamaya devam edebilirsin
  • Yazmak hâlâ sanat alanına ait bir iş. AI’nin bunu diğer sanat dallarında olduğu gibi kusursuz biçimde ikame etmesi zor

• Makalede Mythos’un yetki yükseltmeli kod enjeksiyonu keşfettiği ve çalıştıktan sonra kendini silecek şekilde tasarladığı belirtiliyor.
  Bu, benchmark’ın başlangıçta ölçmeyi amaçladığından çok daha etkileyici bir başarı. Bir tür Kobayashi Maru durumu gibi

• Bence Dawn Song ekibinin harika bir araştırması.
  botsbench.com’da da bu tür saldırıları engellemek için birçok koruma katmanı eklenmiş durumda.

  • Contamination: Büyük modellerin internet eğitimi sayesinde cevapları zaten biliyor olması sorunu
  • Sandboxing: Ajanın test harness’ine saldıramaması için izole ortamda çalıştırma
  • Isolation: Her problem için yeni bir sandbox oluşturarak hafıza sızıntısını önleme
    Bu, Kelvin’in “ölçemiyorsan iyileştiremezsin” sözünü yeniden hatırlatıyor

• “AI performansını ölçen benchmark’lar kendi başlarına saldırıya açık” cümlesine katılıyorum
  Ama araştırmacı gözüyle bakınca, makalenin arkasına AI tarafından yazılmış gibi duran bir blog yazısı eklemek güveni azaltıyor. Sadece makale bağlantısını vermek daha iyi olurdu

• Anthropic’in Mythos’u hemen yayımlamamasının nedenlerinden biri, gerçek performansının benchmark puanları kadar etkileyici olmaması olabilir

  • Modeller büyüdükçe her açıdan daha iyi olmuyorlar. Uzmanlaşmış modeller daha iyi bir yön gibi görünüyor ama mevcut yatırım varlıklarından vazgeçmek gerektiği için bu geçiş kolay olmuyor

• Bu tür araştırmalar arttıkça, o hile yöntemlerinin kendisi de eğitim verisine dönüşecek
  Üniversite araştırmaları olduğu için veri setlerinde yüksek ağırlık alıyorlar; bu da bir tür kendi kendini gerçekleştiren kehanet yaratabilir

  • Sonuçta bu, Goodhart yasası gibi bir durum: “Bir ölçü hedef haline geldiği anda, artık iyi bir ölçü olmaktan çıkar”
    Goodhart’s Law wiki

• Burada birbirinden ayrı iki mesele var

  1. SWE-bench gibi puanları önemsemeli miyiz? → Hayır. Zaten herkese açık bir veri seti olduğu için anlamını yitirmiş durumda
  2. Bu yazının asıl noktası ne? → Kapalı benchmark’larda bile, AI’nin gerçekten problemi çözüp çözmediğine dikkatle bakmak gerekiyor. Otomasyona körü körüne güvenirsen, LLM anlamsız yöntemlerle testi geçebilir

• Benchmark’lar red team testi için tasarlanmış şeyler değil.
  Makalenin işaret ettiği sorunları “düzeltmek gerekir” düşüncesinin kendisi zaten saçma.
  Bu, sanki bir koşu yarışına arabayla girip kazandıktan sonra yarışın arabaya dayanıklı hale getirilmesini istemek gibi