GPT-5.6, Grok 4.5, Claude ve Muse Spark ile aynı uygulamadan 4 tane üretmenin sonucu

 (tryai.dev)
2 puan yazan GN⁺ 4 시간 전 | 1 yorum | WhatsApp'ta paylaş
  • 12 modele raycaster labirenti, 3D Rubik küpü, hesap makinesi ve Conway’s Game of Life yaptırıldığında, karmaşık görevlerde GPT-5.6 Sol ile Claude Fable 5 liderliği paylaştı
  • Her model için görev başına 5 deneme yapılarak başarı sayısı, maliyet, süre ve tüm çıktılar yayımlandı; ancak bu değerlendirme bilimsel değil, üretilen sonuçların doğrudan incelenmesine dayanan öznel bir karşılaştırma olma sınırlamasını taşıyor
  • Raycaster görevinde GPT-5.6 Sol, Rubik küpünde ise Claude Fable 5 ayrı ayrı 5/5 elde ederken, Claude Opus 4.8 ve GPT-5.6 Luna küp görevinde 0/5’te kaldı; yani model ve göreve göre sapma büyüktü
  • Open-weight modeller, karmaşık ya da yeni görevlerde en üst düzey modellerin gerisinde kaldı; ancak örnek kodun bol olduğu Game of Life’ta Qwen 3.7 Plus ve GLM-5.2 çok daha düşük maliyetle iyi sonuç verdi
  • Grok 4.5 bazı görevlerde Claude Opus 4.8 seviyesinde ucuz bir alternatif oldu; Muse Spark 1.1 da genel olarak open-weight modellerden daha iyiydi, ancak en yeni ve en pahalı amiral gemisi modeller her görevde otomatik olarak kazanmadı

Karşılaştırma yöntemi ve 12 model

  • Önceki karşılaştırmaya gelen geri bildirimler doğrultusunda kapsam 12 model · 4 uygulama · görev başına 5 deneme olacak şekilde genişletildi
  • Tek bir sonuca bakarak değerlendirme yapmanın zor olduğu yönündeki geri bildirim nedeniyle, görev bazında başarı sayıları ve tercih edilen sonuçlar ayrı kaydedildi; çalıştırmalar arası farklar görülebilsin diye tüm denemeler yayımlandı
  • Bu, üretilen sonuçların gözlemlenmesine dayanan öznel bir karşılaştırma; nesnel ya da bilimsel bir hüküm değil

Doom tarzı raycaster labirenti

  • WASD ile hareket, dönüş, derinliğe göre duvar gölgelendirmesi, zemin-tavan ve çarpışma işleme özelliklerine sahip bir birinci şahıs labirenti üretmeleri istendi
  • Başarı, görsel mükemmellikten ziyade gerçekten labirent içinde yürünüp dönülebilmesine göre değerlendirildi
  • GPT-5.6 Sol 5/5, $1.35 ve 120 saniye elde etti; GPT-5.5’e göre daha tutarlıydı ve oyun ayrıntılarını daha zengin betimlediği için en iyi sonuç olarak değerlendirildi
    • GPT-5.6 Luna da 5/5, $0.15 ve 23 saniye elde etti; ancak çıktı kalitesi GPT-5.5’ten düşük bulundu
    • GPT-5.6 Terra 3/5, $0.44 ve 39 saniye aldı; ayrıntı betimlemeleri iyiydi ama bazı sonuçlarda yürümek mümkün değildi
  • Grok 4.5 5/5, $0.27 ve 62 saniyeyle fiyat/performans açısından pratik bir alternatifti; GPT-5.5 ise 4/5, $1.44 ve 138 saniye kaydetti
  • Claude ailesi beklentinin altında kaldı
    • Claude Opus 4.8, 4/5 ile tutarlıydı ama sonuçlar tekdüzeydi
    • Claude Fable 5, 3/5 ile iyi çıktılar üretti ancak tutarlılığı düşüktü
  • Open-weight modeller arasında Qwen 3.7 Plus ve Kimi K2.6 ayrı ayrı 2/5, DeepSeek V4 Pro ise 3/5 aldı
    • GLM-5.2 ayrıntılı ekranlar render etti ama karakter bir kez bile hareket etmediği için 0/5’te kaldı
  • Muse Spark 1.1 2/5 aldı; fakat çalışan sonuçları Fable ve Sol’a benzer, Grok ve Opus’tan daha iyi bulunduğu için beklenmedik biçimde güçlü bir performans gösterdi

3D Rubik küpü

  • Renkli bir 3D küp ile Scramble, Solve düğmeleri oluşturmaları ve dönüşleri ekranda animasyonlu göstermeleri istendi
  • Karıştırma ve çözme animasyonlarının her ikisi de akıcı çalışmalı, hata olmamalı ve renk değişimi yaşanmamalıydı; ancak bu durumda başarılı sayıldı
  • Claude Fable 5 5/5, $2.03 ve 92 saniyeyle beş denemenin tamamında temiz başarı sağlayan tek model oldu
    • Claude Opus 4.8 ise her sonuçta küçük hatalar ya da renk değişimleri gösterdiği için 0/5’te kaldı
  • GPT-5.6 Sol ve Terra ayrı ayrı 4/5 aldı
    • Sol’un çalışan çıktılarının kalitesi iyiydi, ancak tuhaf animasyonlar ve tamamen siyah render edilen sonuçlar da vardı
    • Terra’da karıştırma animasyonu tuhaftı ama yine de GPT-5.5’ten biraz daha iyiydi
    • Luna, başta çoğu zaman normal görünse de karıştırma başlar başlamaz bozulduğu için 0/5 oldu
  • GPT-5.5 4/5 aldı, ancak renk titremesi ve pürüzsüz olmayan dönüşler vardı; Grok 4.5 ise basit ama iyi sonuçlarla 3/5 elde etti
  • Qwen 3.7 Plus, Kimi K2.6 ve DeepSeek V4 Pro ayrı ayrı 1/5 alırken, GLM-5.2 0/5’te kaldı
  • Muse Spark 1.1, 2/5 ile open-weight modellerden bir kademe daha iyiydi; ancak fiyatı düşünülünce Grok yerine seçmek için yeterli neden sunmadığı değerlendirildi
  • Raycaster görevinde öne çıkan GPT ailesi burada beklenenden zayıf kalırken, Claude tarafında Fable’ın performansı öne çıktı ve göreve göre tablo tersine döndü

Hesap makinesi

  • Sayı, operatör, temizleme ve eşittir düğmeleri; doğru işlem önceliği; gerçek hesap makinesine benzer görünüm istendi
  • (((5 × 5) − 100) / 10) gibi temel işlemlerle işlem sırası ve sonuç render edilmesi kontrol edildi; kapsamlı bir özellik testi yapılmadı
  • Claude Opus 4.8 ve Claude Fable 5 her ikisi de 5/5 aldı
    • Stil açısından en çok beğenilen çıktı Fable’ınki oldu
  • Grok 4.5, 5/5 ile sade ve tutarlıydı; GPT-5.6 Luna da 5/5 ile Grok’a benzer bir deneyim sundu
  • GPT-5.6 Sol 5/5 aldı; ancak aşırı stil ve 3D ifade denemeleri, temiz ve tutarlı bir hesap makinesi deneyimini zayıflattı
    • GPT-5.6 Terra ve GPT-5.5 ayrı ayrı 4/5 aldı; GPT-5.5 bazen gereksiz düğmeler ya da kesilen 3D görseller de üretti
  • Muse Spark 1.1 5/5 ile Grok 4.5’e yakın düzeydeydi; ancak bazı sonuçlarda düğme sırası ve yerleşimi tuhaftı
  • Open-weight modeller arasında Qwen 3.7 Plus, $0.04 ve 12 saniyede 4/5 elde etti; ancak bir sonuçta negatif sayıları işleyemedi
    • DeepSeek V4 Pro 3/5 aldı; sayı sırası hataları ve sonucun gösterilmemesi gibi sorunlar vardı
    • GLM-5.2 2/5 aldı ama başarılı çıktılarının kalitesi iyiydi
    • Kimi K2.6 negatif sayıları işleyemediği için 0/5 sayıldı
  • Basit GPT modelleri ek düzeltme gerektirmeden doğrudan çalıştı; karmaşık görsel efektler eklenmiş sonuçlardan ziyade temel işlevlere odaklanan uygulamalar daha iyi bir deneyim sundu

Conway’s Game of Life

  • Izgara tuvali, Play, Pause, Step, Randomize, Clear, hücreye tıklayarak aç/kapat ve nesil animasyonu uygulamaları istendi
  • Bu görev için ayrı bir 5 denemelik başarı ölçütü uygulanmadı; yalnızca maliyet, süre ve genel izlenim karşılaştırıldı
  • Grok 4.5 iyi sonuç verdi; görevin kendisi basit olduğundan ve herkese açık örnek kod da bol olduğundan open-weight modeller de çok iyi performans gösterdi
  • Qwen 3.7 Plus $0.04 ve 11 saniyede, GLM-5.2 ise $0.10 ve 121 saniyede düşük maliyetle iyi sonuç verdi ve bu tür görevler için uygun bulundu
  • Ancak diğer daha karmaşık görevlerde open-weight modeller sürekli zorlandığı için, Game of Life sonucunu genel performansa yaymak zor
  • Diğer başlıca maliyet ve süreler ise Grok 4.5 için $0.14 ve 38 saniye, GPT-5.6 Luna için $0.13 ve 18 saniye, Terra için $0.36 ve 25 saniye, Sol için $0.99 ve 62 saniye, Muse Spark 1.1 için $0.32 ve 98 saniye oldu

Kısa yanıtların hızı ve maliyeti

  • Kısa promptlarda GPT-5.6 ailesi yanıt başlangıç süresinde en hızlı değerleri kaydetti
    • Luna: 1.0 saniye · 97 tok/s · $0.001
    • Terra: 1.5 saniye · 62 tok/s · $0.001
    • Sol: 1.8 saniye · 45 tok/s · $0.003
  • Qwen 3.7 Plus, 2.1 saniye · 204 tok/s · $0.001 ile çok ucuz ve hızlıydı; Grok 4.5 ise 3.0 saniye · 112 tok/s · $0.003, Muse Spark 1.1 ise 3.1 saniye · 125 tok/s · $0.002 değerlerini verdi
  • Claude Opus 4.8, 2.5 saniye · 44 tok/s · $0.004 iken Claude Fable 5, 6.6 saniye · 30 tok/s · $0.01 ile daha yavaş ve daha pahalıydı
  • DeepSeek V4 Pro 9.3 saniye · 37 tok/s · $0.001, GLM-5.2 ise 7.0 saniye · 58 tok/s · $0.001 ile yanıta geç başlamasıyla öne çıktı
  • Bazı open-weight modeller tüm yanıtı tek seferde gönderip 400 token üst sınırına ulaştığı için, gösterilen tok/s değeri gerçek decode hızı değil, üst sınır değeri oldu

SVG bonus görevi

  • Kütüphane kullanmadan tek seferde SVG üretmeleri istendi; 5 sonuç arasından önce geçerli SVG’ler seçildi, ardından en ayrıntılı sonuç tercih edildi
  • Bir atın astronot taşıdığı sahnede Claude Fable 5, kalite ve mizah açısından iyi sonuç verdi
    • GPT-5.6 ailesi atı ve astronotu temiz biçimde render etmekte zorlandı; bu nedenle beklentinin altında kaldı
    • Grok 4.5 de iyi sonuç üretti
  • Elon Musk ve Jeff Bezos’un deniz üstü iniş platformuna inen bir Blue Origin güçlendiricisine baktığı daha zor sahnede de Claude Fable 5 açık ara öndeydi
    • Bezos’un alnındaki parlak bölümden iniş platformu çevresindeki dumana kadar ayrıntıları işleyip temiz biçimde render etti
    • GPT ailesi daha çizgi filmimsi sonuçlar üretti ve her çıktıda küçük hatalar kaldı
    • GLM-5.2 ve Qwen 3.7 de bu SVG görevinde iyi sonuç verdi

Göreve göre değişen model seçimi

  • Karmaşık ve yeni raycaster ile Rubik küpü görevlerinde üst seviye modellerin avantajı belirgindi; GPT-5.6 Sol ile Claude Fable 5 ayrı alanlarda güçlü çıktı
  • Basit ve yaygın biçimde uygulanmış görevlerde Qwen 3.7 Plus ve GLM-5.2 çok daha düşük maliyetle rekabetçi sonuçlar üretebildi
  • Grok 4.5, bazı görevlerde Claude Opus 4.8 seviyesine ulaştı; bu da maliyetin önemli olduğu durumlarda onu yardımcı çalışma modeli olarak anlamlı kılıyor
  • Muse Spark 1.1, Grok 4.5’in bir kademe altında kalsa da genel olarak open-weight modellerden daha iyiydi; ancak şu an için ilk tercih olacak düzeyde görülmedi
  • Göreve göre Sol, Fable, Grok ve düşük maliyetli open-weight modellerin sıralaması değişti; yani en yeni ve en pahalı amiral gemisi model her zaman kazanmıyor

İlgili okumalar

1 yorum

 
GN⁺ 4 시간 전
Hacker News yorumları

  • “Dürüst olmak gerekirse değinilmesi gereken bir nokta”, “hata da yok renk değişimi de yok” gibi ifadeler iyi bir ayırt etme ölçütü. Sonuna kadar okudum ama bir insanın doğrudan yazdığı bir metin olsaydı daha iyi olurdu

    • Sanki tüm insanları toplasanız bile Anthropic’ten “Honestly” kelimesini daha sık duyuyorsunuz
    • LLM’lerin kendine özgü bu yeni dilini başka bir transformer’a verip şu sinir bozucu cümleleri temizleyemez miyiz? Zor da değil, herkesin yararına olur

  • Emek verilmiş, iyi hazırlanmış bir yazı olduğunu kabul ediyorum ama aşağıdaki gibi paragrafları okuyunca tüm metinden soğuyorum
    “Her soru için ayrı tablo kullandım. Bu bir build çalışması değil, standart gecikme testi aracı…”, “Dolayısıyla saniye başına token sayısı üst sınırdır; gerçek decoding hızı değildir…”
    Bu iki cümleyi kendi doğal üslubuyla doğrudan yazmak gerçekten bu kadar mı zordu?

    • Bu kendine has üslubun nereden geldiğini bilmiyorum ve ortadan kaldırmak da neredeyse imkânsız olduğu için çok rahatsız edici
    • Fazlasıyla belli oluyor ve itici. Normal bir insan gibi, söylemek istediğini kendin yazmalısın
      Yapay zekayla yazı üretmek sadece tembellik değil; aynı zamanda tatsız, sıkıcı ve okurun zamanına saygısızlık
    • Tartışma adına sorayım, ya bu gerçekten yazarın doğal üslubuysa?
    • LLM’ler çıkmadan çok önce ben de bazen böyle yazıyordum. Bu tür suçlamaları okumaktan ben de artık bıktım
    • Yapay zeka çıktıktan sonra insanlar fazla hassaslaştı. Programcı kendi zevklerine uygun düzyazı yazmadı diye gereksiz titizlik yapıyorlar

  • Belki aşırı kontrolcü biriyimdir ama ajana rastgele bir uygulamayı tek seferde tamamlatma yaklaşımı, yapay zekanın gerçek yazılım mühendisliğinde kullanım biçiminden tamamen farklı

    • Tek kişilik geliştiriciler için tek atımlık benchmark oldukça faydalı. Çünkü daha iyi son teknoloji modellerin, benim durumumda Opus ve Fable’ın, açıkça belirtilmeyen noktalarda daha iyi karar verip vermediğiyle ve baştan daha iyi öneriler sunup sunmadığıyla belli ölçüde ilişkili
    • LLM zaman ölçeğinde bakarsak modeller uzun zamandır yeni uygulama üretme konusunda epey iyiydi
      Yeni uygulamaları daha iyi üretme biçimleri ilginç ama benim asıl merak ettiğim, karmaşık biçimde dolaşık mevcut kod tabanlarındaki zor problemleri nasıl çözdükleri
    • Önce temel bir uygulamayı tek seferde oluşturup sonra özellik isteklerini tek tek ekletirseniz, mimariyi ve bakım yapılabilirliği değerlendirmek için bariz bir yöntem olabilir
    • Gerçek kullanım biçimiyle aynı değil ama ancak böyle Twitter/X’te ünlü olabilirsiniz
    • Gerçek kullanımla birebir aynı olmasa da, sadece sezgiye dayanmak yerine bu alana biraz da olsa nesnel ölçüm kriteri getirme denemesi

  • (LM)Arena aslında büyük ölçüde bu rolü üstleniyor ve benchmark puanlarına aşırı optimize etmeyi önleyen testler içinde en iyisi bence
    Ajan: https://arena.ai/leaderboard/agent
    Web geliştirme: https://arena.ai/leaderboard/code/webdev
    Şu anda web geliştirmede Fable ile 5.6 başa baş gidiyor ve sonuçlar bu yazıdakine çok yakın

    • İstenirse Arena’ya da belli ölçüde skor odaklı optimizasyon yapılabilir. Oradaki prompt dağılımı genel geliştiricilerin gerçek kullanımından oldukça farklı ve özellikle baştan sona tek seferde oyun yaptırma isteği çok fazla
      Yetersiz promptlarla eğlenceli oyunları tek seferde üretmeye özel fine-tuning yapılırsa, kodlama modelinin performansı genel görev kabiliyetinden daha iyiymiş gibi görünebilir. Ben OpenAI’de çalışıyorum ama biz puanları şişirmeye çalışmıyoruz; çünkü bunu yaparsak Arena herkes için daha kötü bir gösterge olur
    • Özellikle Facebook tarafında Arena skoru için optimizasyon epey yaygın ama yine de gerçek benchmark’lar arasında daha iyilerden biri olduğuna katılıyorum
      Klasik demoscene efektlerini yeniden üretmeye çalıştırmak her zaman eğlenceli. Müzik üretimi hâlâ çok kötü ama Claude en azından fena olmayan bir synthesizer yapıyor gibi. Agenda Circling Forth’taki akışkan/parçacık efektlerini, uygulama açıklama yazısı ve ekran görüntüleriyle birlikte yeniden üretmesini isteseniz bile hâlâ pek başaramıyor
    • Grok 4.5’in hâlâ listede olmamasının sebebini merak ediyorum. Daha sonra çıkan 5.6 zaten eklenmiş

  • Bu tür görsel benchmark’lar, akıl yürütme yeteneğinden çok bilgiye, yani eğitim verisinin ne kadar kapsamlı olduğuna ve modelin bunu ne kadar iyi geri çağırabildiğine dair daha fazla şey gösteriyor olabilir
    Küpün geometrik yapısını ve animasyonunu latent space temsiline bağlayan düşünce zincirini (CoT), ciddi miktarda ön bilgi olmadan modelin nasıl kurabildiğini bilmiyorum

    • LLM’lerde gerçekten yeni bir akıl yürütme yeteneği olduğuna dair bir kanıt var mı? Ben ne yaparsam yapayım bunu çalıştıramadım ve daha önce yayımlanan Apple makalesi de bence böyle bir yetenek olmadığına dair güçlü bir kanıttı
      Benim deneyimimde latent space seyrek olduğunda akıl yürütme tamamen, gülünç denecek ölçüde başarısız oluyor
    • Anthropic, Canva’dan elde ettiği veriler sayesinde bu tür testlerde avantaj sağlıyor olabilir

  • Biz de 26 modelin her birinin 52 uygulama ürettiği model Arena’ya bugün GPT 5.6 Sol, Terra, Luna’yı ekledik
    https://arena.logic.inc/
    Üç modelin ürettiği uygulamaları yan yana karşılaştırmak çok ilginç. Arayüze henüz istatistik eklememiz gerekiyor ama Terra’nın gerçek geçen süresi Sol’un yarısıydı; Luna ise tersine Sol’dan yaklaşık %23 daha uzun sürdü
    Luna çok daha ucuz olsa da çoğu kullanımda Terra zaman ve maliyet dengesi açısından daha iyi görünüyor. Terra’nın kalitesi genel olarak Sol’la neredeyse aynı ama çok daha hızlı ve ucuz. Yine de Sol’un özellikle ses sequencer’ı gibi yerlerdeki tasarım zevkini yüksek değerlendiriyorum. Bir süredir tüm modellerin görsel çıktıları birbirine benzemeye başlamıştı; bu açıdan uzun zaman sonra ilk kez belirgin biçimde farklılaşan bir model görüyorum

    • Dikkat çeken sayı şu: GPT-5.6 Sol 1.264 satır kod, 35.5KB dosya, 10.0KB gzip üretirken GPT-5.6 Terra 827 satır, 20.0KB, gzip 6.7KB üretiyor

  • GLM gibi modellerin benchmark’lara aşırı optimize edildiği ve sadece rakamlara bakınca sanıldığı kadar son teknoloji modellere yakın olmadığını gösteren bir sonuç gibi görünüyor

  • Diğer benchmark’lara kıyasla bu tür yapay zeka değerlendirme metodolojisini çok daha fazla beğeniyorum
    Gerçek dünya karmaşık ve diğer benchmark’ların Çin açık modelleri tarafından istismar edilmesinin daha kolay olduğu açık. Yazının üslubu da beni rahatsız etmiyor; rahatça okunuyor

  • Son dönemdeki ilgili yazı: Grok 4.5, GPT-5.5 ve Claude’a aynı uygulamayı yaptıran karşılaştırma
    https://news.ycombinator.com/item?id=48838772 — Temmuz 2026, 92 yorum

  • Tam prompt eksik olduğu için yeniden üretmeyi denemek isteyenler açısından zor
    Prompt’un nasıl yazıldığını da merak ediyorum. GLM 5.2 gibi bazı modellerin SVG render etmede tamamen başarısız olmasının büyük nedenlerinden biri bu olabilir