Claude Code, promptu okumadan önce 33 bin token; OpenCode ise 7 bin token gönderiyor

 (systima.ai)
3 puan yazan GN⁺ 5 시간 전 | 1 yorum | WhatsApp'ta paylaş
  • Aynı model, makine ve görevde API sınırında yapılan ölçümlere göre Sonnet 4.5’in ilk isteğindeki sabit ek yük Claude Code’da yaklaşık 32.800 token, OpenCode’da ise yaklaşık 6.900 token oldu; arada 4,7 kat fark vardı ve Fable 5’te bu fark yaklaşık 3,3 kata düştü
  • Farkın büyük kısmı araç şemalarından kaynaklanıyor. Claude Code 27 araç tanımı için yaklaşık 24.000 token, OpenCode ise 10 araç için yaklaşık 4.800 token kullandı; tüm araçlar kapatılsa bile sistem promptu sırasıyla yaklaşık 6.500 token ve 2.000 token oldu
  • Gerçek yapılandırmada 72KB’lık komut dosyası her isteğe yaklaşık 20.000 token, tek bir küçük MCP sunucusu ise yaklaşık 1.000~1.400 token ekledi; böylece yalnızca ilk istek 75.000~90.817 token seviyesine çıkabildi
  • Claude Code, aynı dosya özetleme görevinde OpenCode’a göre 5,9~54 kat daha fazla önbellek yazımı oluşturdu; iş iki alt ajan arasında dağıtıldığında doğrudan çalıştırmada 121.000 token olan kullanım 513.000 token’a çıkarak 4,2 kat arttı
  • Yalnızca sabit ek yüke bakarak toplam maliyet değerlendirilemez. Çok adımlı görevlerde Claude Code araç çağrılarını paralel yerleştirerek 3 istekle yaklaşık 121.000 token kullanırken, OpenCode seri çağrılarla 9 istekte yaklaşık 132.000 token kullandı

API sınırında nasıl ölçüldü

  • Claude Code ile OpenCode arasına loglama proxy’si yerleştirilerek harness’in gönderdiği tam JSON istekleri ve API’nin döndürdüğü kullanım blokları kaydedildi
    • İstek gövdesi sistem bloklarını, araç şemalarını ve mesajları içeriyordu
    • Kullanım verileri giriş token’ları, önbellek yazma-okuma ve çıkış token’larını içeriyordu
    • Yakalanan istek gövdesi gerçekten gönderilen içeriği, API kullanım blokları ise gerçek faturalandırmanın temelini temsil etti
  • Temel karşılaştırmada Claude Code 2.1.207 ve OpenCode 1.17.18 kullanıldı; her ikisi de Temmuz 2026 itibarıyla claude-sonnet-4-5 modeline sabitlendi
    • Sabit ek yük, önbellek işlemleri ve çok adımlı görevlerin bir kısmı claude-fable-5 ile yeniden çalıştırıldı
    • Varsayılanları izole etmek için yeni bir yapılandırma dizini, MCP sunucuları, kullanıcı ayarları ve bellek olmadan; komut dosyası da bulunmayan boş bir çalışma alanı kullanıldı
  • Farklı maliyet yapılarını ölçmek için üç görev kullanıldı
    • T1, sabit ek yükü ayırmak için Reply with exactly: OK komutunu kullandı ve her harness için 3 kez çalıştırıldı
    • T2, önceden hazırlanmış bir dosyanın okunup özetlenmesini istedi
    • T3, FizzBuzz ve denetim betiği üzerinde yazma, çalıştırma, test etme ve düzeltme sürecini yürüttü
  • Araç şemaları dışındaki sistem promptlarını karşılaştırmak için Claude Code’da --tools "", OpenCode’da ise "tools": {"*": false} uygulandı
  • Yerel LLM gateway’i her isteğe yaklaşık 6.200 tokenlik sabit bir zarf ekledi; bu değer düzeltilip ölçümden çıkarıldı
    • Bileşen bazındaki rakamlar, gateway’in değiştiremeyeceği yakalanmış istek gövdelerinden hesaplandı
    • Karakter-token dönüşümünde, soğuk önbellek temelinde ölçülen harness başına 4,1~4,4 karaktere 1 token oranı kullanıldı

Temel ek yükü büyüten araç şemaları

  • 22 karakterlik T1 promptunun ilk isteğinde Claude Code yaklaşık 32.800 token, OpenCode ise yaklaşık 6.900 token gönderdi
    • Claude Code sistem promptu 3 bloktan ve 27.344 karakterden oluşuyordu; OpenCode’da ise 1 blok ve 9.324 karakter vardı
    • Claude Code’un 27 araç şeması 99.778 karakter, OpenCode’un 10 aracı ise 20.856 karakterdi
    • Claude Code, gerçek prompttan önce ajan türü, kullanılabilir yetenekler ve kullanıcı bağlamını içeren 7.997 karakterlik bir <system-reminder> bloğu ekledi
    • OpenCode ise ayrı bir ilk mesaj iskeleti olmadan sistem bloğunu, 10 kodlama aracını ve kullanıcı promptunu gönderdi
  • Her iki tarafta da en büyük payı araç tanımları oluşturdu
    • Claude Code’un yaklaşık 33.000 tokenının yaklaşık 24.000’i araç tanımlarıydı
    • OpenCode’un yaklaşık 6.900 tokenının yaklaşık 4.800’i araç tanımlarıydı
    • Claude Code araçları, kodlama işlevlerinin yanı sıra CronCreate, Monitor, Task ailesi, iş ağacı yönetimi ve push bildirimleri gibi arka plan ajanı ve orkestrasyon işlevlerini içeriyordu
  • Tüm araçlar kaldırıldığında Claude Code sistem promptu 26.891 karakter ve yaklaşık 6.500 token; OpenCode ise 8.811 karakter ve yaklaşık 2.000 token oldu
    • Her iki harness’te de araçlar devre dışı bırakıldığında prompt biraz küçüldü
    • Kalan fark; tonlama, güvenlik yönergeleri, görev yönetimi kuralları ve ortam bilgileri gibi davranış talimatlarından kaynaklandı
  • Fable 5’te Claude Code, modele göre promptu kısalttı ve fark yaklaşık 3,3 kata indi
    • Sistem yönergeleri Sonnet’teki 27.787 karakterden Fable’daki 10.526 karaktere düştü
    • Aynı 27 araç korunurken şemalar da 99.778 karakterden 82.283 karaktere geriledi
    • OpenCode istekleri iki modelde de bayt düzeyinde aynı kaldı

Görev biçimine göre değişen toplam kullanım

  • Tek bir dosyanın okunup özetlendiği T2’de her iki harness de doğru sonuç üretti, ancak istek yapıları farklıydı
    • Claude Code 6 HTTP isteği ve toplam yaklaşık 199.000 token giriş kullandı
    • OpenCode 4 istek ve yaklaşık 41.000 token kullandı; ayrıca oturum başlığı oluşturmak için 1 ek Haiku çağrısı yaptı
    • Kullanımın büyük kısmı, giriş fiyatının onda biriyle ücretlendirilen önbellek okumalarıydı
  • Önbellek indirimi olsa bile, ilk istekteki önbellek yazımı, her turdaki önbellek okumaları ve bağlam penceresi işgali yük boyutuna göre artıyor
    • 33.000 tokenlık taban çizgisi, kod gelmeden önce bile 200.000 tokenlık pencerenin yaklaşık altıda birini kaplıyor
  • Yazma, çalıştırma, test etme ve düzeltme işi olan T3’te araç çağırma biçimi, temel ek yük farkını dengeledi
    • Claude Code, 2 dosya yazma ve 2 betik çalıştırmayı tek bir paralel araç gidiş-dönüşüne yerleştirerek 3 model isteğiyle toplam yaklaşık 121.000 token giriş kaydetti
    • OpenCode ise her turda yalnızca bir araç çağırarak 9 istek ve 1 başlık çağrısıyla toplam yaklaşık 132.000 token giriş kaydetti
    • Toplam giriş, kabaca istek başına taban çizgisi ile istek sayısının çarpımına ve buna konuşma büyümesinin eklenmesiyle belirleniyor
  • Konuşma ilerledikçe Claude Code, <system-reminder> bloklarını ilk turdaki 3 adetten ilk araç gidiş-dönüşü sırasında 4 adede çıkardı
  • OpenCode’un tur başına ek yükü yaklaşık 400~2.200 karakterdi; yalnızca konuşma içeriği büyüdü

Gerçek yapılandırmanın eklediği token’lar

  • Üretim deposundaki 72KB’lık AGENTS.md eklendiğinde her iki harness’te de istek başına 20.000’den fazla token artış görüldü
    • OpenCode ölçümü 13.152 tokendan 33.336 tokene çıktı
    • Claude Code ise 39.005 tokendan 59.243 tokene yükseldi
    • Claude Code 2.1.207 AGENTS.md dosyasını yok saydı; ilk kullanıcı mesajına eklenmesi için adının CLAUDE.md olarak değiştirilmesi gerekti
    • OpenCode her iki dosya adını da okuyup sistem promptuna ekledi
    • Harness’in fiilen hangi dosya adlarını tanıdığını doğrulamadan komut dosyası sessizce yok sayılabilir
  • Her bir herkese açık küçük MCP sunucusu, istek başına yaklaşık 1.000~1.400 token ekledi
    • 5 sunucu, Claude Code yüküne 4.900 token, OpenCode ölçümüne ise 6.967 token ekledi
    • Araç sayısı Claude Code’da 27’den 69’a, OpenCode’da 10’dan 52’ye çıktı
    • Zengin API’ye sahip üretim sunucuları daha büyük şemalar gönderebilir
    • Claude Code’un print modu, açık bir --mcp-config verilmezse proje kapsamındaki .mcp.json dosyasını sessizce yok saydı; bu nedenle API sınırında bağlantının gerçekten kurulup kurulmadığı doğrulanmalı
  • BMAD gibi hikâye tabanlı iş akışı çerçeveleri; persona, protokol ve kontrol listelerini içeren büyük şablonları slash komutlarıyla genişletiyor
    • Deneydeki 8.405 karakterlik şablonun kendisi yaklaşık 2.100 token olsa da konuşma geçmişine giriyor ve sonraki tüm isteklerde yeniden gönderiliyor
    • 9 istekli bir oturumda aynı şablon 9 kez taşındığı için maliyet şablon boyutu × istek sayısı şeklinde büyüyor
  • Gerçek yapılandırmadaki ilk istek, temel ek yükten çok daha büyüktü
    • OpenCode, e-posta ve takvim, görev yönetimi, kaynakça yönetimi ve ürün analizi için 11 MCP sunucusu ile 72KB’lık komut dosyası kullanarak 179 araç, 277KB şema ve soğuk önbellek yazımında 90.817 token kaydetti
    • Claude Code ise 4 MCP sunucusu, kurulu eklentiler ve aynı komut dosyasıyla 118 araç, 311KB yük ve yaklaşık 75.000 token kaydetti
    • OpenCode yapılandırması, gateway zarfı hariç tutulduğunda yaklaşık 7.000 tokenlık varsayılanın yaklaşık 12 katına çıktı

Alt ajanlar ve genişletilmiş düşünmenin maliyeti

  • Claude Code, görevi iki alt ajana paralel dağıttığında doğrudan çalıştırmadaki 121.000 token 513.000 tokena çıkarak 4,2 kat arttı
    • Ana oturum, alt ajan çağrıları ve benzeri üç istek türünde toplam 9 model isteği oluştu
    • 5 alt ajan çağrısının her biri, 3.554 karakterlik sistem promptu ve varsayılan 27 aracın 24’üyle kendi bootstrap sürecini yaptı
    • Yapı gereği her alt ajan başlangıç maliyetini üstleniyor ve çalıştırma kaydı daha sonra üst ajan tarafından yeniden okunuyor
  • OpenCode alt ajanları, 1.379 karakterlik sistem promptu ve yalnızca 5 araç kullanan küçültülmüş bir profil gönderdi
    • Gateway üzerinden yürütme düzgün tamamlanmadığı için OpenCode’un toplam alt ajan kullanımı sayısallaştırılmadı
    • Yalnızca yakalanan yükte görülen tasarım farkları karşılaştırıldı
  • Genişletilmiş düşünme çıktıları, giriş birim fiyatının 5 katı olan çıkış fiyatıyla ücretlendiriliyor; ayrıca akıl yürütme blokları konuşma geçmişine girerek sonraki isteklerde tekrar gönderiliyor
    • Gateway’in kendi düşünme politikası nedeniyle iki harness’in ayarlarının gerçekten uygulanıp uygulanmadığı doğrulanamadığından ölçüm değerleri paylaşılmadı
    • İnceleme konusu olarak yalnızca akıl yürütme bloklarının kayda katılmasıyla oluşan maliyet yapısı bırakıldı

Prompt önbelleğinin ekonomisi ve kararlılığı

  • Her iki harness de önbellek kırılma noktalarını doğru ayarladı. Yük, 5 dakikalık TTL katmanında temel giriş fiyatının 1,25 katı ile bir kez yazılıyor; sonrasında onda bir fiyatla okunuyor
  • Önbellekle azalmayan üç maliyet var
    • 5 dakikadan uzun ara verilirse tüm yığın yeniden yazılmak zorunda kalıyor; bu nedenle toplantı veya yemek gibi duraklamalardan sonra yazım maliyeti tekrar ortaya çıkıyor
    • Önbellek okumaları da istek sayısı kadar tekrarlandığı için seri araç döngüleri ve alt ajan dağıtımı maliyeti artırıyor
    • Bağlam penceresi işgali, önbellek indiriminden etkilenmiyor; bu yüzden 85.000 tokenlık bootstrap, 200.000 tokenlık pencerenin %40’ından fazlasını kaplıyor ve sıkıştırma başladığında özetleme maliyeti de ekleniyor
  • OpenCode, yakalanan tüm istek ve çalıştırmalarda bayt düzeyinde aynı öneki korudu
    • Üç T1 oturumunda araç, sistem ve mesaj baytları aynıydı; tekrar çalıştırmalarda önbellek yazımı 0 oldu
    • 9 istekten oluşan T3 oturumu da tek bir kararlı öneki korudu
  • Claude Code ise oturum bazında ısınma keşfi, ana konuşma ve alt ajan çağrıları gibi farklı istek türleri ve önbellek girdileri oluşturdu
    • Aynı çalışma alanında bile sistem baytları ve ilk mesaj iskeleti çalıştırmadan çalıştırmaya değişti
    • Aynı dosya özetleme görevinde 5 istek boyunca 53.839 önbellek tokenı yazdı ve yaklaşık 43.000 tokenlık önekin tamamını görev ortasında bir kez daha yeniden yazdı
    • OpenCode’un aynı görevdeki önbellek yazımı ise 1.003 tokendi
  • Claude Code’un büyük ara önbellek yeniden yazımı tekrarlanan deneylerde de görüldü
    • İlk iki çalıştırmada sırasıyla 43.342 token ve 36.899 token yeniden yazıldı; yeni ısıtılmış önbelleğin kullanıldığı üçüncü çalıştırmada ise neredeyse hiç yazım olmadı
    • Fable 5’te de önbellek okuması olmadan 50.053 token yeniden yazıldı; bu da Sonnet’teki 54 kata benzer şekilde 52 katlık fark yarattı
    • Önbellek sıcaklığına göre Claude Code’un önbellek yazımı, OpenCode’un 5,9~54 katı arasında değişti
    • Önbellek yazım birim fiyatı 5 dakikalık katmanda tabanın 1,25 katı, 1 saatlik katmanda ise 2 katı
  • Tek bir önbellek kaçırması gateway’in tahliyesinden kaynaklanmış olabilir; ancak birden fazla çalıştırmada tekrarlandı ve istek öncesi yakalanan baytlarda da önek kararsızlığı doğrulandı
    • Önek büyükse, türü fazlaysa, yeniden yazım tekrarlanıyorsa ve buna alt ajanlar da ekleniyorsa Claude Code kullanım göstergesi daha hızlı yükselebilir

Sonuç kalitesi ve denetim kayıtları

  • Her iki harness de değerlendirmeye alınan görevleri doğru biçimde tamamladı
    • Dosya özetleme sonuçları her iki tarafta da doğruydu
    • Çok adımlı görevler, her harness’in yazdığı doğrulama betiğini geçti ve normal şekilde sona erdi
    • Bu kapsamda, aynı sonucu elde etmek için gereken token maliyeti farkı karşılaştırılabildi
  • Daha zor gerçek mühendislik işlerinde Claude Code’un arka plan ajanları, yetenekleri ve orkestrasyonunun ek maliyete değecek kadar kalite artışı sağlayıp sağlamadığı ölçülmedi
    • Bunu değerlendirmek için uygun test setleri, yeterli tekrar çalıştırma ve başarı oranı analizi ayrıca gerekli
  • Kaliteden bağımsız israf da görüldü
    • Baytları aynı olan bir önbellek önekinin oturum ortasında yeniden yazılması, aynı içeriğin premium fiyattan tekrar satın alınması anlamına geliyor
    • Harness komut dosyasını sessizce yok sayarsa, o dosyadan hiçbir fayda elde edilemez
  • Yakalanan 185 istek-yanıt kaydı, açık kaynak kütüphane @systima/aiact-audit-log ile SHA-256 hash zincirine kaydedildi
    • Zincir kesintisiz biçimde sonuna kadar doğrulandı ve bütünlük sonucu VALID oldu
    • Aynı yapıyla gönderim ve yanıt içeriği yeniden kurulabilir ve üçüncü taraflara bütünlük kanıtı sağlanabilir
    • Bu, EU AI Act Madde 12’de sunulan yapılandırılmış kayıt yöntemiyle aynıdır

Ölçümün sınırları ve yeniden üretim yöntemi

  • Sonuçlar, tek bir makine, iki harness sürümü ve küçük bir örneklem kullanan Temmuz 2026 anlık görüntüsünü temsil ediyor
    • T1 ve T2 üçer kez çalıştırıldı; her yapılandırma çarpanı koşulu bir kez yürütüldü
    • Varsayılanlar ve önbellek koşulları Sonnet 4.5 ve Fable 5 ile, yapılandırma çarpanı koşulları ise yalnızca tek modelle kullanıldı
    • Harness promptları sık değiştiğinden, tekil rakamlardan çok API sınırı ölçüm yöntemi daha kalıcı değer taşıyor
  • Ölçüm yolunda yerel bir gateway vardı
    • Bileşen rakamları, gateway’in değiştiremeyeceği istek gövdeleri kullanılarak hesaplandı
    • Ölçümler, soğuk önbellek temel çizgisine göre sabit zarf düzeltilerek yapıldı; nedeni ayrıştırılamayan sıcak çalıştırma rakamları dışarıda bırakıldı
    • Gateway’in sabitlediği modeli daha yeni bir snapshot ile sessizce değiştirdiği örnekler görüldüğünden, gerçekte hangi modelin yanıt verdiği de sınırda doğrulanmalı
    • Fable yolunda eski sunucu oturumlarının yeniden başlatılması ve host taraflı araç çalıştırmaları görüldüğü için Claude Code’un Fable çok adımlı sonuçları hariç tutuldu
  • T3’teki maliyet yakınsaması, yalnızca tek bir görev biçiminden alınan tek bir gözlemdi
    • Sıralı çalıştırmanın zorunlu olduğu görevlerde Claude Code’un istek sayısı ve toplam kullanımı yeniden artabilir
    • OpenCode’un araç kaldırma ve alt ajan koşulları, gateway’de hatalı akış döndürdüğünden yalnızca yakalanan yük boyutu kullanıldı
    • Gerçek yapılandırma rakamları tek bir kullanıcının ayarlarıdır; başka ortamlarda farklı olabilir
  • Yeniden üretim düzeneği, yaklaşık 200 satırlık Node kodundan oluşan bir HTTP proxy idi
    • Model uç noktasına istekleri iletirken istek gövdelerini ve yanıt kullanım bloklarını diske ve denetim zincirine kaydetti
    • ANTHROPIC_BASE_URL proxy’ye yönlendirilip, yeni yapılandırma dizini ve boş çalışma alanında varsayılanlar ölçüldükten sonra komut dosyaları, MCP sunucuları ve iş akışları tek tek eklendi
    • Gateway kullanılıyorsa önce en küçük istekle kendi zarfını ölçmek ve gerçekte hangi modelin yanıt verdiğini doğrulamak gerekir
    • Üretim ajanının belirli bir anda modele tam olarak ne gönderdiğini yeniden kurabilmek için API sınırı loglaması kurulursa, token muhasebesi de birlikte elde edilir

İlgili okumalar

1 yorum

 
GN⁺ 5 시간 전
Hacker News görüşleri

  • Tokenları asıl yakan şey alt ajanlar. Claude Code’a büyük bir iş verdim; hemen 7 alt ajan başlattı ve daha hiçbiri bitmeden bütçeyi tüketti. 5 saat sonra tekrar denediğimde de aynıydı.
    Ana ajanın aynı işi sıralı biçimde yapmasını sağlayınca hiç sorun olmadı. Bunun iletişim ve koordinasyon maliyetleri yüzünden mi bu kadar verimsiz olduğunu, yoksa alt ajan kullanıcıları genelde token başına ödeme yapan büyük şirket hesapları olduğu için Anthropic’in geliri artırmaya mı çalıştığını bilmiyorum.

    • Buna karşılık karmaşık bir projenin keşif ve planlama aşamasında Fable’ın meraklı davranışı tam da ihtiyaç duyulan şey olabilir. Koordinasyon ajanının prompt’u birkaç keşif bakış açısına bölmekle kalmayıp, her alt ajanın o bakış açısıyla kod tabanını incelemesini ve yeni ipuçlarını özyinelemeli olarak genişletmesini istiyorsanız, her aşamada Fable kullanmak mantıklı.
      Öte yandan iyi planlanmış bir işi birden çok hedefe paralel uygulamak istiyorsanız, alt ajanın daha az meraklı bir modele düşmesini açıkça belirtmelisiniz. Çıktıların tutarlılığı da daha iyi olabilir.
    • Her alt ajan, iş için gereken bağlamı elde etmek üzere kod tabanının bir bölümünü yeniden okumak zorunda kalır. İş uzarsa koordinasyon ajanının bağlamı da önbellekten düşer; alt ajan bittikten sonra yeniden tam maliyet ödenir.
      Sıralı çalıştırmada dosyalar kabaca birer kez okunur ve tüm istekler aynı önek önbelleğinden yararlanır.
    • Müşteri sorunu aşmak için daha pahalı bir tarifeyi seçiyorsa, şirket açısından o sorunu düzeltmemek için olumsuz bir teşvik doğar. Çözümü olan birkaç mühendis olsa bile çoğunluğun ilgisizliğiyle, bazılarının engellemesiyle ve zaman zaman yönetim katmanının bir yerindeki aktif düşmanlıkla karşılaşabilirler.
      Böyle bir ortamda en iyi yol, yeni özellikleri önce en üst tarifeye koyup maliyeti çıkardıktan sonra alt tarifelere indirmek ya da rakiplerin yetişmesini zorlaştırmak için merdiveni tekmeleme stratejisi izlemek olabilir.
    • Her alt ajana aynı yaklaşık 30 bin tokenlık sistem prompt’u gönderiliyor. Fable/Opus kullanıldığında 7 tanesi daha işe başlamadan 5 saatlik kullanım limitinin %30’unu kolayca tüketiyor.
    • Bu püf noktasını öğrendikten sonra Fable alt ajanlarını açıkça yasaklıyorum. Dün büyük bir refactoring’den sonra karmaşık kodu incelemek için önce bir inceleme planı istedim; ilk adımda 8 Fable ajanı ve sonuç doğrulama için 1 ajan önerdi, onayladım.
      Ama doğrulama aşamasında 41 Fable doğrulama ajanı başlatmaya çalıştı. Bir şekilde etrafından dolaşacak yolu buluyor.

  • Claude Code’un çok token kullanmasının, Anthropic’in daha fazla para kazanmak ve kullanıcıları aboneliğe itmek istemesinden kaynaklandığını düşünüyorum. Abonelik haklarının başka kodlama ajanlarında kullanılmasına izin vermeyen politika da bunu destekliyor. Ben pi kullanıyorum.

    • Anthropic’i token satıcısı olarak görmeye başlayınca birçok karar anlam kazanmaya başladı. Kullanıcılar tepki göstermediği ya da güvenlik önlemleri talep etmediği sürece, kendi kanalları üzerinden daha fazla token harcatacak gerekçeler üretmeye devam ediyor.
    • Halka arzla ilgili belgelere göre abonelik gelirinin yaklaşık %5 gibi çok küçük olduğunu görmüştüm. Ancak bu %5 bireysel Claude abonelikleri; Claude Code aboneliklerinin çoğu büyük olasılıkla kurumsal bölümde yer alıyor.
      API ve enterprise toplam gelirin %75–85’ini, kurumsal abonelikler yaklaşık %10–15’ini, bireysel abonelikler ise yaklaşık %5’ini oluşturuyor.
    • Aslında mantık bunun tersi. Aboneler sabit aylık ücret ödediği için Anthropic’in Claude Code’un daha az token kullanmasını sağlama teşviki var.
    • Öte yandan bu davranış, sabit ücrete dahil genel abonelerin token tüketimini de artırıyor. Kötü niyetten çok beceriksizliğe yakın görünüyor.

  • PUSH_AX’in yerinde benzetmesinde olduğu gibi, bu durum A müteahhidinin 33 bin dolar, B müteahhidinin 7 bin dolar istediği bir duruma benziyor; bu yüzden doğru şeyi ölçüp ölçmediğimizi sorgulamalıyız.
    Buna göre yazıya daha derinlemesine işler, nitel sonuç karşılaştırması ve mümkün olduğunca hızlı girdi/çıktı yeniden üretim materyalleri eklemeyi planlıyorum.

    • 33 bin tokenın kayda değer bir kısmının son konuşmalar gibi bağlam verisi olup olmadığını merak ediyorum.

  • Sorun yalnızca büyük sistem prompt’u değil. Kodlama ajanlarının çalışma ortamı da en basit isteklerde bile araçları daha agresif kullanıyor. Testlerde “Hey” veya “commit” gibi prompt’lar bazen 30’dan fazla araç çağrısına yol açtı.
    https://quesma.com/blog/the-true-cost-of-saying-hi-to-an-ai-...
    Basit işlerin tükettiği token sayısının sürekli artması anlamında bir token enflasyonu gerçekten görülüyor.

    • Opus’un bir yorumdaki tek bir yazım hatasını düzelttikten sonra testler, lint ve çalıştırabileceği her şeyi çalıştırması sinir bozucu. Hatta tüm testlerin zaten geçip geçmediğini önceden kontrol etmek için mevcut değişiklikleri önce geçici olarak sakladığı da oluyor.
      Kurallara tüm değişikliklerin testlerle doğrulanmasını yazmış olmam benim sorumluluğum, ama yapay zekadaki “zeka” kısmı bu kadar vurgulanıyorsa, meyve salatasına domates koymayacak kadar muhakeme bekliyorsunuz.
    • “Hey” veya “commit” gibi muğlak prompt’lar aldığında, istenen işi çıkarmaya çalışırken geçmiş konuşmaları ve başka bağlamları kurcaladığı için araç çağrıları artıyor. Daha net prompt’lar daha iyi.
    • Commit gibi bir şeyi LLM’ye bırakmadan doğrudan kendiniz yapamaz mısınız?

  • Claude’u 6 ay kullandıktan sonra yakın zamanda Codex’e geçtim. Codex daha açık, modelin çalışma sürecini takip etmek daha kolay ve onay akışının kullanıcı deneyimi de daha iyi. Genel olarak şeffaflığı daha yüksek ve geçiş maliyeti neredeyse sıfırdı.
    Claude’un şubat civarından itibaren sistem prompt’u dahil daha opak hale gelmesi hoşuma gitmiyor; 33 bin token aşırı fazla görünüyor.

    • Şu anda ikisini de kullanıyorum ve aslında neredeyse birbirlerinin yerine kullanılabilecek durumdalar. Codex’in açık kaynak olması ve OpenAI’nin abonelik haklarının başka ajanlarda kullanılabileceğini açıkça belirtmesi de hoşuma gidiyor.
      OpenAI son dönemde çok daha tüketici dostu hale geldi.
    • Daha opak hale geldikten sonra hangi ayarları denediğinizi merak ediyorum. Şu anda çok daha fazla ayar seçeneği var.

  • pi aracısının sistem prompt’u daha küçük; tamamı burada görülebilir
    https://github.com/earendil-works/pi/blob/main/packages%2Fco...

    • Bunun bu tür bir minimalizmle ilişkisi olabilir, ancak Pi’de LLM’in verimli ve etkili çalışması için gereken araçların çoğu eksik. Boş bir zemine istediğini ekleme felsefesini anlıyorum, ama benim ölçütlerime göre fazlasıyla boş
    • Sistem prompt’u her çağrıldığında tarih ve cmd ayarlanırsa bunun önbelleği geçersiz kılıp kılmadığını merak ediyorum
      Yalnızca tarih ya da kök dizin değiştiğinde geçersiz oluyorsa, pratikte bu yeterince nadir bir durum
    • Kapsamlı biçimde özelleştirilecek minimal bir aracı gerekiyorsa, “minimal” pi-coder paketine 130’dan fazla geçişli bağımlılık çekmektense kendiniz yapmak daha iyi. Zor değil, çok şey öğrenirsiniz; başlangıç aşamasında başka bir LLM’den yardım da isteyebilirsiniz

  • Sonuçta önemli olan ham prompt boyutu değil. Öyle olsaydı Pi ve türevlerinin maliyeti en düşük olmalıydı. Asıl mesele prompt’un verimliliği; prompt minimalizmi ile verimlilik sık sık karıştırılıyor. Yine de Claude Code yaptığı işe kıyasla hantal görünüyor
    Bundan daha da önemlisi araçların kalitesi. Kötü ya da hatalı araçlar gidiş-dönüş çağrılarını ciddi ölçüde artırır ve başta tasarruf etmeye çalıştığınız avantajların tamamını siler
    Birkaç ay önce 8 görev üzerinde 7 aracının tam benchmark’ını yaptım; https://github.com/dirac-run/dirac üzerinde veri ve iz kayıtları var. Bunlardan biriyle doğrudan bağlantılı olduğum için tarafsızlık iddia edemem, ancak materyal yeniden üretilebilir. Görevlerin çoğu refactoring ile ilgili olduğundan, hash anchoring ve soyut sözdizim ağacı analizi konusunda güçlü olan Dirac açık ara kazandı

    • Rakip çok ve rekabet çok sert; bu yüzden iyileştirme payı varsa biri bunu hayata geçirecektir ve ardından diğer ürünlere de hızla yayılma olasılığı yüksek

  • İş yerinde Claude Code kullanmaya zorlanıyorum ama --system-prompt "" kullanmak bunu kolayca çözüyor. Diğer çalışma ortamlarına da izin verseler iyi olurdu

    • --system-prompt "" ile boşaltınca modelin kullanılabilir araçları anlaması için gereken temel sistem prompt’u bile ortadan kalkmış olmuyor mu?
    • Uzun zamandır böyle kullanıyorum; neden herkesin kullanmadığını bilmiyorum
    • Bu seçeneği bilmiyordum. Uygulamadan önce ve sonra gerçek verimliliği analiz eden materyal ya da gerçek kullanım ortamına ait performans grafikleri varsa görmek isterim
    • Bu seçenekle Claude’u başlatıp başlatmadığını, yoksa her prompt gönderdiğinde bunun da birlikte iletilip iletilmediğini merak ediyorum

  • Yerel modelleri ilk denerken Claude Code’a bağladım; çok iyi çalıştı ama yavaştı
    Claude’un yardımıyla mitmproxy kurup Claude Code’un ilk sistem prompt’unun tamamını yakaladım; yeniden kontrol ettiğimde 162 KB JSON olduğunu gördüm. Bu da Pi, OpenCode ve Hermes’i denemeye başlamama vesile oldu

    • Şu anda Claude Code’da yeni bir oturumda /context çalıştırınca Opus 4.8’in 1 milyon token’lık bağlamının yalnızca 23 bin token’ı kullanılıyor. Sistem prompt’u 3,9 bin; sistem araçları 13,9 bin; kullanıcı tanımlı aracı 235; bellek dosyası 28; özellikler 4,9 bin; mesaj 8; sıkıştırma tamponu 3 bin token olarak görünüyor
      4 bin token’lık sistem prompt’u yaklaşık 15–20 KB eder. Yakaladığınız içeriği Gist’e koymanızı istemek isterdim ama hassas veri olabilir; görünen 162 KB’nin yalnızca sistem prompt’u olmama olasılığı yüksek

  • Benim yaptığım daha az gönderiyor: https://maki.sh

    • Bağlam çok uzarsa maki’nin görselleri ve akıl yürütme bloklarını kaldırıp önceki konuşmaları özetleyerek kaydı otomatik sıkıştırdığı söyleniyor
      Ancak önceki konuşma özeti fiilen bağlam önbelleğini geçersiz kılarak, daha az token kullansa bile daha pahalı token tüketmesine yol açmıyor mu?