- Yayımlanmamış bir fiber optik ağ optimizasyon problemini 30’ar dakika çözdürme sonucunda Fable 5 en yüksek puanı ve en istikrarlı performansı gösterdi, ancak
/goal tutarlı bir iyileşme sağlamadı
/goal, yalnızca daha uzun süre çalıştıran bir özellik değil; kontrol döngüsünü ve arama yolunu değiştirerek iyi stratejilerin yanı sıra hatalı stratejileri de sürdürebiliyor/goal, Fable 5 ve GPT-5.6 Sol arasındaki 6 karşılaştırmanın 4’ünü kazandı; ancak nadiren görülen büyük performans düşüşleri nedeniyle ortalama puanlar sırasıyla 759 ve 868 puan kötüleşti- Fable 5’in normal modu ortalama 32.386 puan ve 319 puanlık aralıkla en istikrarlı sonuçları verdi;
/goal modu ise genel en iyi skor olan 31.934 puanı elde etti
- Zor optimizasyonlarda yineleme yapılıp yapılmamasından çok yinelenen stratejinin kalitesi önemlidir; tekil kazanma oranı ile ortalama performans birbirinin tersi sonuçlara işaret edebilir
KIRO fiber optik ağ optimizasyon problemi
- KIRO, 2018’de mühendislik öğrencilerine yönelik bir hackathon’a sunulmuş bir yöneylem araştırması problemidir; Grenoble, Nice ve Paris’in yönlü mesafe matrislerini kullanarak toplam kablo uzunluğunu en aza indirmek gerekir
- Ağ, dağıtım hub’ından başlayan yinelenen döngüler ve döngü üzerindeki kulelerden uzanan kısa dallarla oluşturulur
- Tüm kuleler tam olarak bir kez görünmelidir
- Birden çok yapısal kısıt karşılanmalıdır
- Kablo kesitlerinde yön ters çevrildiğinde maliyet değişebilir
- Puan ne kadar düşükse çözüm o kadar iyidir
- İnsan kıyas çizgisi, geçmişte bu problemi çözmek için bir hafta boyunca yazılmış bir C++ çözücüdür
-
Arama uzayının ölçeği
- Döngü sayısı ve boyutu, dalların referans noktaları ve sırası değiştiğinden, tüm arama uzayını tek bir kapalı formülle hesaplamak zordur
- Yalnızca Paris’teki 532 terminali, sıra ve dal olmadan 11 dağıtım hub’ına atama durumu bile
11^532 olasılıktır
- 28 terminalli 19 döngü kullanıp dalları kaldıran sınırlı geçerli çözümleri hesaplasak bile arama uzayı yaklaşık
10^1223 düzeyine ulaşır
19 × 28 = 532 olduğundan tüm terminaller kapsanır- Her döngü 30 terminal sınırını aşmaz
- Hesaplama formülü
(532! / 19!) × 11^19 ≈ 10^1223 şeklindedir
Modeller ve çalıştırma koşulları
- Claude ailesinden Fable 5·Opus 4.8·Sonnet 5 ile GPT ailesinden GPT-5.6 Sol·Terra·Luna karşılaştırıldı
- Her model normal modda ve yerel
/goal modunda çalıştırıldı
- Optimizasyon süresi 30 dakika
- Harici ajan zaman sınırı 1.900 saniye
- Akıl yürütme ayarları her modelde kullanılabilen en yüksek değer
- Çalışma ortamı Harbor 0.1.43, Docker ve abonelik kimlik doğrulaması
- Önce tüm modellere ipuçsuz 30 dakikalık normal ve
/goal karşılık çalıştırmaları birer kez uygulandı
- Ana karşılaştırma hedefleri olan Fable 5 ve GPT-5.6 Sol için, her biri 3 karşılık çalıştırma çifti oluşana kadar tekrar edildi
- Tüm kod, istemler, sonuç tabloları, dışlama ölçütleri ve çalışma izleri CLIArena içinde yer alıyor; bu çalışma önceki benchmark yazısının devam deneyidir
Fable 5 ve GPT-5.6 Sol sonuçları
/goal puanından normal mod puanı çıkarıldığında değer negatifse /goal daha iyi sonuç vermiş demektir- Fable 5 için üç çalıştırma sonucu şöyleydi
-
- çalıştırma: normal 32.197 puan,
/goal 31.934 puan; 263 puan iyileşme
-
- çalıştırma: normal 32.516 puan,
/goal 32.324 puan; 192 puan iyileşme
-
- çalıştırma: normal 32.446 puan,
/goal 35.178 puan; 2.732 puan kötüleşme
- GPT-5.6 Sol için üç çalıştırma sonucu şöyleydi
-
- çalıştırma: normal 33.581 puan,
/goal 39.371 puan; 5.790 puan kötüleşme
-
- çalıştırma: normal 35.539 puan,
/goal 32.703 puan; 2.836 puan iyileşme
-
- çalıştırma: normal 33.663 puan,
/goal 33.313 puan; 350 puan iyileşme
-
Kazanma oranı ile ortalamanın neden ayrıştığı
/goal 6 çalıştırmanın 4’ünü kazandı; ancak iki model de sık sık küçük iyileşmeler elde ederken nadiren büyük performans düşüşleri yaşadı- Fable 5’in normal mod ortalaması 32.386 puan,
/goal ortalaması 33.145 puan oldu; bu 759 puan kötüleşme anlamına geliyor
- Medyana göre ise 192 puan iyileşme var
- GPT-5.6 Sol’un normal mod ortalaması 34.261 puan,
/goal ortalaması 35.129 puan oldu; bu 868 puan kötüleşme anlamına geliyor
- Medyana göre ise 350 puan iyileşme var
- Fable 5’in normal mod ortalaması Sol’dan 1.875 puan daha iyiydi;
/goal ortalamasında da 1.984 puan öndeydi
- İstikrar açısından da fark görüldü
- Fable 5 normal modun üç sonucu 319 puanlık aralıkta kaldı
- Sol normal mod 1.958 puanlık aralığa yayıldı
- Fable 5
/goal, genel en iyi skor olan 31.934 puanı kaydetti
- En güvenli yapılandırma Fable 5 normal mod oldu
Aynı /goal, farklı uygulamalar
-
Claude Code’un ayrı değerlendirme modeli
- Claude Code’un
/goal özelliği oturum kapsamlı bir Stop hook olarak çalışır
- Ana model her turu bitirdiğinde varsayılan Haiku değerlendirme modeli hedef koşullarını ve konuşmayı okur, gerekçesiyle birlikte yes veya no döndürür
- no ise yeni bir tur başlatır; yes ise hedefi kaldırır
- Değerlendirme modeli araç kullanamaz veya dosya inceleyemez; yalnızca konuşma geçmişinde görünen kanıtlara göre karar verir
- İşi çok erken bitirme durumunu tespit edebilir, ancak çözücüyü 10 milyon kez daha yinelemeye değip değmeyeceğini bilemez
- Claude Code açık kaynak olmadığından uygulama bilgileri Anthropic’in goal belgelerine dayanıyor
-
Codex’in kalıcı durumu ve yaşam döngüsü araçları
- Benchmark’ta kullanılan Codex CLI 0.144.4, hedefleri iş parçacığına bağlı kalıcı durum olarak ele alır
- TUI etkin iş parçacığının hedefini saklar; SQLite durum ve bütçe kullanımını kaydeder
- Çalışan model
create_goal, get_goal, update_goal araçlarını alır
- Hedef etkin durumdayken iş parçacığı boşta kalırsa, hedefi ve tamamlama denetimini içeren bir devam turu enjekte edilir
- Claude tamamlanma kararını bağımsız bir değerlendirme modeline bırakır, ancak bu model yalnızca konuşma geçmişini görebilir
- Codex’te çalışan model dosyaları ve araçları kullanır, tamamlandığını kendisi ilan eder; kalıcı hedef etkinse tekrar çalışmaya devam eder
/goal stratejiyi nasıl büyütüyor
- Genel kodlama görevlerinde ek turların testleri düzeltmesi veya migration’ı tamamlaması gibi ilerlemeyi doğrulamak kolaydır
- Optimizasyonda ajan bir çözücü seçtikten sonra ek süre iyi kararları da kötü kararları da büyütebilir
/goalın yardımcı olduğu durumlar şunlardı
- Fable 5’in hızlı derlemeye dayalı portföyünü çalıştırmayı sürdürmesi
- Sol’un başarılı zincir yeniden bölme stratejisini sürdürmesi
- Buna karşılık performansı düşürdüğü durumlar da oldu
- Fable 5’in yavaş bir çözücü oluşturduktan sonra onu çalıştırmayı sürdürmesi
- Sol’un tüm referans noktalarını tarayan kapsamlı aramaya takılıp kalması
- Medyan az miktarda iyileşti, ancak kötü sonuçların kuyruğu çok daha fazla bozulduğu için ortalama performans düştü
Sonuçları yorumlamanın sınırlamaları
- Deney konusu yayımlanmamış tek bir NP-zor problem olduğundan genel bir kodlama liderlik tablosu olarak görülemez
- Yalnızca Fable 5 ve Sol için temiz şekilde eşleşen üçer çalıştırma çifti elde edildi
- Diğer model karşılaştırmalarında farklı istemler, wrapper sürümleri ve zaman sınırları karışık durumda
- Abonelik hizmetleri üzerinden sıralı çalıştırma yapıldığından hizmet durumu deney sırasında değişmiş olabilir
- Görev meta verilerinde 1 CPU olarak kaydedilmiş olsa da konteynere 8 CPU açılmıştı; bu Fable 5’in paralel portföyü için avantaj sağladı
- Wrapper’ın ara checkpoint’ler ve nihai doğrulama istemesi sayesinde puana dahil edilen tüm Fable 5 ve Sol çıktıları geçerliydi
- Ölçülen şey yalnızca model değil; model, CLI, istem, abonelik hizmeti ve harness dahil tüm sistemdir
Yeniden üretim materyalleri ve değerlendirme
- CLIArena üzerinde benchmark görevi, wrapper, analiz betikleri, grafik oluşturucular ve tüm kanıt notları yayımlanmış durumda
- Ham çalışma dizinleri büyük oldukları için Git dışında bırakıldı; ancak notlarda yayımlanabilir tüm puanlar, şehir bazlı sonuçlar, geçen süreler, stratejiler, dışlamalar ve çalışma ID’leri kaydedildi
- Başlıca çalıştırma komutları şöyle
RUN_ID=article-kiro-YYYYMMDD-clean \
PHASE=nohint-all \
./scripts/run_subscription_article_matrix.sh
uv run python scripts/summarize_subscription_article_results.py RUN_ID...
uv run python scripts/analyze_subscription_article_results.py RUN_ID...
/goal performansı tekdüze biçimde artırmadı veya düşürmedi; tekil çalıştırmaların çoğunu kazanırken gözlemlenen ortalama performansı kötüleştirebilir- Zor optimizasyonlarda kontrol döngüsünün kendi kalitesinden çok, o döngünün tekrar tekrar yürüttüğü stratejinin kalitesi daha önemlidir
1 yorum
Hacker News görüşleri
Yukarıdaki grafik biraz kafa karıştırıcı. “Daha düşük daha iyidir” denmiş ama y ekseni ters çevrilmiş; görsel olarak yukarısı daha iyi, sayısal olarak ise daha düşük değer daha iyi olacak şekilde düzenlenmiş
Claude, haftalar süren uzun soluklu işlerde, ne kadar önemli olduğu vurgulansa da talimatları unutma eğiliminde.
/goalkullanmadım ama muhtemelen temel talimatları gerçekten hatırlamasını sağlıyor. Burada bu tür sorunların daha az görüldüğü kısa oturumlar ele alınıyor gibi/compactsonrasında tekrar isteyince şikâyet etmeden yaptı.Ancak
/compactsık hata verdiği için işin ortasında önermem. İlgili ama yeni bir işe geçerken faydalı; fakat az önce yazılan koddaki deadlock gibi, üretim sürecinin bağlamını gerektiren düzeltmelerde düşünme sürecini attığı için iyi değil/protectkomutunu yaptım ve skill’leri de otomatik olarak koruyor. Uzun işlerde/protect your goal is...şeklinde kullanıyorumAşırı karmaşık prosedürlere gerek yok; ama işi parçalama → yeni bağlamda planlama → yeni bağlamda uygulama → yeni bağlamda
/code-review→ yeni bağlamda düzeltme sırası iyi çalışıyor. Fable 5’te bağlam %50’yi aşınca kalite ciddi biçimde düşüyor; kod tabanında aynı implementasyonun dört kez oluştuğu bile oluyor. Aynı oturumda kendi işini inceletmek, bir öğrenciye kendi sınav kâğıdını notlandırmak gibiArama stratejileri karşılaştırılacaksa Ultra modu muhtemelen daha üstün olur; bu yüzden sonraki değerlendirmeyi merak ediyorum.
Ultra, araştırma ajanlarını paralel olarak açıyor, belirlenmiş kontrol noktalarında karşıt inceleme yapıyor ve yerel optimuma sıkışmamak için çeşitli teknikler kullanıyor.
/goal, tek yollu araştırma veya küçük ölçekli dağıt-topla işleri için daha uygunAnthropic, kodlama alanında OpenAI’ın epey gerisinde kalıyor. Geçen mart ayına kadar Claude Code ile toplam 400 bin satırlık bir depoyu temel planda yönetiyordum; ancak çok yavaştı ve testler, gözlemlenebilirlik, dokümantasyon ve katmanlı mimari olmasına rağmen sorunları düzgün düzeltemiyordu.
Yerel yönetime ürün teslim eden 3 kişilik bir ekibiz; Codex’e geçtikten sonra işler çok daha rahatladı ve kullanım miktarı kaygısı da ortadan kalktı. Her ekip üyesi ikişer Codex Plus hesabıyla tamamını yönetiyoruz. Anthropic korku yaymak yerine verimli modeller üretmeli; herkesin Fable’a ihtiyacı yok
GPT’ye geçtiğim 6 hafta boyunca sürekli yanlış bir özgüven verdi; sonunda tamamen bıraktım ve o dönemdeki çalışma fiilen boşa gitti. Şimdi Opus/Fable ile DeepSeek Pro’yu birlikte kullanıyorum. DeepSeek maliyet etkinliği ve hız açısından açık ara üstün; implementasyon işlerinin %90’ı için yeterli, ancak Elixir’de derleme zamanında runtime özelliklerini kullanmaya çalıştığında dağılıyor. Başlangıçtaki problemi Fable hızlıca toparladı.
Her modelin keşfetmesi zor, kendine özgü güçlü yanları var; yakın gelecekte tek bir model kullanacakmışım gibi görünmüyor. Kalite gerektiğinde verimlilikten memnuniyetle vazgeçebilirim
/goal, çalışmalarımda plan modunun yerini aldı; yapay zeka işlerimin %95’inde şu yöntemi kullanıyorumÖnce belirli bir özelliği okutup tamamen anladığından emin olmasını istiyorum; özette eksik ayrıntı varsa bunu tekrarlıyorum. Ardından mevcut saati sorup
/goalile belirli bir süre boyunca muğlaklık içermeyen bir teknik tasarım dokümanı yazdırıyorum vecarry_forward_requirements.mdiletesting_best_practices.mddosyalarının açıkça dikkate alınmasını sağlıyorum. Bağlamı olmayan bir uygulayıcının bile yürütebilmesi için somut kod/doküman referansları ve değişiklikler ekletiyor, tüm süreyi incelemeye harcamasını ve erken bitirmemesini istiyorumGPT’yi yalnızca 10 dakika tasarım dokümanı yazmaya zorlamak bile plan modundan çok daha sağlam sonuçlar veriyor; bu da taslağı düzeltmeye harcayacağım zamanı azaltıyor
Ben
/goaliçine ajanın ulaşması gereken açık hedefi koyuyorum. Tasarımın ve mimarinin karşılaması gereken koşulları verip sonucu bunlarla sürekli karşılaştırmak ve hepsi sağlandığında bitirmek daha iyi. 10 dakika da olsa 10 saat de olsa belirli bir sonucu tamamlamak/goalün özüdürKarmaşık alanlarda derin araştırmayı ayrı araç çağrılarına devretmek, ajana sağlam bir temel kazandırmanın en iyi yoluydu. Araştırmayı ana ajan döngüsüne bırakırsanız RLHF’nin bağlamı koruma ve hızlı cevap verme eğilimi nedeniyle kalite düşüyor. Bunu araç olarak sunduğunuzda, milyarlarca token kullandığının farkında olmadan birkaç kez araştırma yapabilir; bağımsız hipotez üretimi ve doğrulamada çok token boşa gitse bile ortamı değiştirmeden önce arama uzayını 10–100 kat genişletebilir. Çoğu durumda doğruluk > zaman > maliyet öncelik sırası mantıklı
/goalün ne olduğunu merak ediyorumClaude Code’da Haiku konuşma geçmişini okuyup hedefin tamamlanıp tamamlanmadığına karar veriyor; tamamlanmadıysa kalan işi ana modele yeniden enjekte ediyor. Codex’te ise ana modelin çağırabildiği araçlar ve çevredeki yürütme ortamı birlikte çalışıyor; tamamlandı işareti yoksa tekrar prompt veriyor
Bu, modelin dikkat sorunu yüzünden işin yalnızca bir kısmını bitirip durduğu durumları çözmeye yönelik bir özellik. Kullanıcının bizzat “devam et” diye dürtmesi yerine otomatik ek yönergeler vererek işin tamamlanmasını teşvik ediyor
/goalkullanırsanız, hedefe ulaşana veya prompt’un olasılıklarını tüketene kadar durmuyor. “Görevin bu, yap” hissi veriyor; haftada birkaç kez kullanıyorum/goalise bunun üstüne bir ebeveyn ajan daha koyup, çocuk ajan bittiğine karar verene kadar “henüz bitmedi, devam et” diye tekrar tekrar talimat veren bir mekanizmaya daha yakınÇıkışından bu yana GPT 5.6 Sol Xhigh ve Fable 5’i çok kullandım. Zekâsı 5.5’e benziyor, ancak inatçılığı aşırı artırılmış; bu da görev tamamlama oranını ve benchmark rekabetçiliğini iyileştirmiş gibi. Buna karşılık anormal veya tehlikeli yöntemlere bile başvurma ihtimali arttığından sürekli gözetim gerekiyor
Yakın zamanda işle ilgisi olmayan üretim ortamı değişkenlerini CLI ile okumaya çalıştı; SSH anahtarına erişemeyince bilgisayar kontrol izni istedi. Durdurup nedenini sorduğumda, anahtarı bulmak için 1Password’ü doğrudan kurcalamaya çalıştığını söyledi; tekrar sorgulayınca üretim ortamı değişkenlerine ihtiyaç olmadığını kabul etti. O zamandan beri “approve for me” modunu kapatıp yalnızca basit değişiklikler ve hata düzeltmeleri için kullanıyorum
Fable yalnızca daha zeki değil, aynı zamanda daha içgörülü; niyeti iyi kavrıyor ve gerçek dünya bilgisine dayanarak alan uzmanı bir ürün yöneticisi gibi davranıyor. Beklenmedik öneriler de getiriyor, ama GPT 5.6’ya çok daha kelimesi kelimesine talimat vermek gerekiyor
DeepSWE 1.1’de 5.6-Sol xhigh, Fable 5’ten biraz daha yüksek puan alırken token’ın yarısını, maliyetin ise yaklaşık üçte birini kullanıyor. Buna karşılık Artificial Analysis zekâ endeksinde Fable 5 biraz önde, ama maliyeti üç kat
Kod yazarken iki modele de aynı işi gönderip birden fazla yanıt alıyorum; sonuçlar öznel olduğu için hangisinin kazanacağını tahmin etmek zor. Orijinal metindeki işin sayısallaştırılabilir olması bir avantaj, ancak birçok yazılım işini böyle değerlendirmek zor
GPT yakın zamanda AtCoder sezgisel yarışmasında en üst düzey insan katılımcıları yendiği için bu tür optimizasyon problemlerinde daha güçlü olmalı. Anthropic bu türe görece daha az odaklanıyor gibi
Yalnızca nihai puanı değil, zamana göre en iyi puanı da görmek isterim.
/goalün etkisini değerlendirmek için bu daha faydalı olurModel başına yalnızca bir değerlendirme var ve iyi çözmek için çok sayıda deneme gerektiren geniş bir problem uzayı söz konusu; bu yüzden sonuçların çoğu gürültü gibi görünüyor
/goalün etkisi küçük ya da anlamlı değildi