2 puan yazan GN⁺ 29 일 전 | 1 yorum | WhatsApp'ta paylaş
  • Claude modellerinde gereksiz girisler, kapanislar ve yeniden ifade etmeleri kaldirarak cikti tokeni israfini azaltan bir ayar dosyasi
  • Proje kokune CLAUDE.md eklendiginde kod degisikligi olmadan hemen uygulanir ve ortalama %63 token tasarrufu saglar
  • Yalnizca ASCII cikti, tahmin yasagi, yanitlari istek kapsamiyla sinirlama gibi 12 kuralla yanitlari daha oz hale getirir
  • Otomasyon pipeline'lari, kod uretimi, agent loop'lari gibi yuksek hacimli cikti ortamlarinda maliyet tasarrufu buyuktur; tekil sorgularda ise verimsiz olabilir
  • MIT lisansi ile yayinlanmistir; ekip ve gorev bazli profil tabanli kural yonetimi ile topluluk katkilarina imkan tanir

Sorunun ozeti

  • Claude Code'da uretilen her kelime token maliyeti olusturur ve varsayilan ayarlarda kullanicinin yanit bicimini kontrol etmesi zordur
  • Varsayilan olarak “Sure!”, “Great question!” gibi kibar girisler, “I hope this helps!” gibi biçimsel kapanislar, soruyu yeniden ifade etme ve gereksiz oneriler otomatik olarak eklenir
  • Ayrica em dash, akilli tirnaklar, Unicode karakterler gibi parser'lari bozabilecek karakterler kullanir ve asiri kod soyutlamasi ya da yanlis onay ifadeleri icerebilir
  • Bu da token israfina yol acar ve gercek bilgi degeri neredeyse yoktur

Cozum yontemi

  • Proje kokune CLAUDE.md dosyasi eklendiginde Claude Code bunu otomatik okur ve cikti davranisini aninda degistirir
  • Kod degisikligi veya ek ayar gerektirmez ve cikti token kullanimini yaklasik %63 azaltir
  • Yapi ornegi
    your-project/
    └── CLAUDE.md
    

Ne zaman avantajli, ne zaman dezavantajli

  • Avantajli oldugu durumlar

    • Otomasyon pipeline'lari, agent loop'lari, kod uretimi gibi cikti hacmi yuksek isler

      • Claude'un uzun varsayilan yanitlarinin tekrarlayan ve yapilandirilmis gorevlerde birikmesi
      • Oturumlar arasinda tutarli cikti bicimi gereken ekip ortamlari
  • Dezavantajli oldugu durumlar

    • Tek bir kisa sorgu veya tek seferlik kullanimda, CLAUDE.md her seferinde giris tokeni tukkettigi icin maliyet artabilir
    • Hallucination duzeltme veya mimari hata giderme gibi derin problem cozumlerinde etkili degildir
    • Her is icin yeni oturum acan pipeline'larda kalici oturum bazli tasarruf etkisi ortadan kalkar
    • Buyuk olcekli parser guvenilirligi icin JSON mode veya schema tabanli araclar daha uygundur
    • Kesifsel ya da tartisma odakli islerde kisitlayici gelebilir
  • Gercek taviz noktasi

    • CLAUDE.md'nin kendisi giris tokeni tukettigi icin, yalnizca cikti hacmi yeterince buyukse net kazanc saglanir
    • Dusuk hacimli kullanimda tasarruftan cok maliyet olusur

Benchmark sonuclari

  • Ayni 5 prompt ile test edildi
    Test Varsayilan Optimize edilmis Azalma orani
    async/await aciklamasi 180 kelime 65 kelime 64%
    Kod inceleme 120 kelime 30 kelime 75%
    REST API aciklamasi 110 kelime 55 kelime 50%
    Hallucination duzeltme 55 kelime 20 kelime 64%
    Toplam 465 kelime 170 kelime 63%
  • Yaklasik 295 kelime tasarruf, bilgi kaybi yok
  • Ancak bu sadece yon gosteren bir gosterge olup istatistiksel kontrol veya tekrarli deney yapilmamistir
  • Net tasarruf etkisi yalnizca cikti hacmi buyuk oldugunda ortaya cikar
  • Buyuk olcekli kullanimda tasarruf ornegi

    Kullanim Gunluk tasarruf tokeni Aylik tasarruf tutari (Sonnet bazinda)
    100 kez/gun yaklasik 9,600 yaklasik $0.86
    1,000 kez/gun yaklasik 96,000 yaklasik $8.64
    3 proje yaklasik 288,000 yaklasik $25.92

Once/sonra karsilastirma ornegi

  • Varsayilan kod inceleme yaniti (120 kelime)

    • Uzun ovgu, aciklama ve oneriler icerir
  • CLAUDE.md uygulandiktan sonra (30 kelime)

    • “Bug: <= causes an off-by-one error…” biciminde yalnizca cekirdek bilgi aktarilir ve %75 token tasarrufu saglanir

Degistirilen maddeler

Numara Sorun Duzeltme yontemi
1 Yalakalik iceren girisler Yasak - yanit ilk satirdan baslar
2 Bos kapanislar Yasak - “I hope this helps!” kaldirilir
3 Soruyu yeniden ifade etme Yasak - hemen icraya gec
4 em dash, akilli tirnaklar, Unicode Yalnizca ASCII cikti zorunlu
5 “As an AI…” ifadesi Yasak
6 Gereksiz feragat metinleri Yalnizca gercek guvenlik riski varsa izinli
7 Istek disi oneriler Yasak - sadece istek kapsaminda hareket et
8 Asiri kod soyutlamasi Yalnizca en basit calisan koda izin verilir
9 Belirsiz olgusal hallucination “Bilmiyorum” acikca belirtilir, tahmin yasak
10 Kullanici duzeltmelerini yok sayma Duzeltmeler oturumun temel gercegi olarak sabitlenir
11 Ayni dosyayi tekrar okuma Ayni dosyanin yeniden okunmasi yasak
12 Kapsam genisletme Istek disi kod degisikligi yasak

Topluluk ipuclari

  • Kurallari gercek basarisizlik kaliplarina gore yazmak en etkili yontemdir
    • Ornek: Claude pipeline hatasini yutuyorsa -> “Bir adim basarisiz olursa hemen dur ve tum hata ile traceback'i raporla” kurali eklenebilir
  • CLAUDE.md dosyasi hiyerarsik olarak birlestirilebilir

    • Global (~/.claude/CLAUDE.md): genel kurallar (ton, ASCII vb.)
    • Proje koku: projeye ozel kisitlar (orn. /config degistirme yasagi)
    • Alt dizinler: goreve ozel ayrintili kurallar
    • Boylece kurallar daginik bicimde yonetilebilir ve dosyanin asiri buyumesi onlenir

Profil yapilandirmasi

  • Proje turune gore farkli sikistirma seviyeleri secilebilir
    Profil Uygun oldugu alan
    CLAUDE.md Genel amacli
    profiles/CLAUDE.coding.md Gelistirme, kod inceleme, debug
    profiles/CLAUDE.agents.md Otomasyon, coklu agent sistemleri
    profiles/CLAUDE.analysis.md Veri analizi, arastirma, raporlama

Kullanim sekli

Override kurallari

  • Kullanici komutu her zaman once gelir

    • Kullanici “daha ayrintili acikla” gibi acik bir talepte bulunursa Claude buna aynen uyar
    • CLAUDE.md, kullanicinin niyetini bastirmaz

Katki yontemi

  • Duzenlenebilir bir davranis fark ederseniz Issue acin
    1. Sorunlu varsayilan davranis
    2. Buna yol acan prompt
    3. Onerilen duzeltme kurali
  • Topluluktan gelen oneriler sonraki surume yansitilir ve katkida bulunanlara kredi verilir

Dogrulama ve referanslar

  • Tum benchmark sonuclari BENCHMARK.md dosyasinda gorulebilir
  • Proje, Claude toplulugunun gercek sikayet orneklerine dayanilarak hazirlanmistir
  • Cok sayida ilgili kaynak referansi icerir (GitHub issue'lari, The Register, DEV Community, Medium, Anthropic Docs vb.)

Lisans

  • MIT lisansi, serbestce kullanilabilir, degistirilebilir ve dagitilabilir

1 yorum

 
GN⁺ 29 일 전
Hacker News yorumları
  • Buradaki benchmark'ın tekil açıklayıcı görevler tarafına kaydığını ve kod üretimi gibi ajan döngülerine uygun olmadığını düşünüyorum
    Bir proje ilerlerken Claude'un uzun açıklamalarının oturumun tutarlılığını ve odağını korumaya gerçekten yardımcı olup olmadığını merak ediyorum
    “Tekrarlanan bağlamı tekrar etme” kuralı iyi, ama bence hedef odaklı akıl yürütme token'larını daha fazla kullanmak daha faydalı
    Bu yaklaşımın gerçek ajan tabanlı kodlamada etkili olup olmadığı konusunda hâlâ yeterli veri yok

    • Ben /handoff adlı bir skill oluşturdum; oturum sıkıştırma sınırına gelmeden önce otomatik olarak bir Markdown raporu üretiyor
      Bu dosya oturumun kalıcı kaydı ve bir tür “günlük rapor” işlevi görüyor; sonradan bakmak veya yöneticimle paylaşmak için kullanışlı
      Uzun vadeli tutarlılığı korumak için bu tür bir özet dokümantasyon yaklaşımının daha iyi olduğunu düşünüyorum
      Kurulum yöntemini buraya koydum
    • “Ne yapacağını anlatma, sadece yap” kuralı sayesinde, Claude yanlış yöne gittiğinde bunu hemen fark edip prompt'u düzeltebildim
    • İnsanların neden gereksiz dili engelleyen kuralları CLAUDE.md'ye koymadığını anlamıyorum
      Son araştırmalara göre tekrarlanan akıl yürütme yolları (self-consistency) ve model ensemble'lama performans artışına yardımcı oluyor
    • Akıl yürütme zamanı ölçeklendirmesi de önemli. Cevabı bulurken daha fazla token kullanmak aslında kaliteyi artırıyor
      Minimum uzunluğa saplanmak, RL eğitim hedefiyle çelişiyor
    • Farklı ayarlarla kodlama testleri yaptım ve bu yaklaşım 30 deneme boyunca genel olarak daha düşük performans verdi
      Test kodu burada
  • Claude Code'un planning mode'u düzgün çalışmadığı için .md dosyası yaklaşımına şüpheyle bakıyorum
    Bence planning mode, sadece dosya yazmayı kapatan bir özellik olmalı

  • “Cevap her zaman 1. satırda, akıl yürütme ondan sonra” kuralı LLM'nin otoregresif doğasını göz ardı ediyor
    Cevabı önce sabitlemek, sonraki akıl yürütmenin doğrulama yanlılığına düşme riskini artırıyor

    • Bu yaklaşımın fikri güzel ama uygulama biçimi yanlış gibi görünüyor
      Compressed Chain of Thought (CCoT) makalesindeki gibi akıl yürütmeyi sıkıştıran bir yöntem daha verimli
      Kalite kaybı biraz var ama hız ve maliyet açısından avantaj sağlıyor (makale bağlantısı)
    • Önemli oturumlarda, ilk planı yeniden gözden geçirmesi için “sanity check” gibi bir ikinci inceleme prompt'u ekliyorum
    • reasoning LLM'ler cevabı yazmadan önce dahili olarak binlerce akıl yürütme token'ı üretebilir
      Yani “önce cevap” kuralı sadece çıktı sırasını değiştirir; gerçek akıl yürütme sırasını değiştirmez
    • Claude Code'da “no thinking” seçeneği yok; en azından varsayılan olarak low thinking modu var
  • Bu benchmark, doğruluğu hesaba katmadan sadece çıktı token sayısını karşılaştırdığı için anlamsız
    “Her zaman tek kelimeyle cevap ver” prompt'uyla bile puanı kolayca yükseltebilirsiniz
    “Kullanıcı olgusal bir hataya işaret ederse bunu koşulsuz kabul et” gibi kurallar tehlikeli

    • “Prompt engineering geri mi döndü?” deniyor ama son 1-2 yılda meta prompt'larla kayda değer bir iyileşme olmadı
    • “Hata yapma” tarzı kurallar gerçekçi değil
  • Bu tür her derde deva çözüm işlerinin hızla ilgi kaybedeceğini ya da CC içine çekileceğini düşünüyorum
    İş akışını sık sık değiştirmek fazla yorucu
    Şu anda en istikrarlı seçenek varsayılan Claude Code ayarları

    • Ben de benzer düşünüyorum. Vanilla ayarı korumanın uzun vadede daha iyi olduğunu hissediyorum
      Skills güzel ama MCP ya da worktree'yi neredeyse hiç kullanmıyorum
    • Anthropic içeride zaten kendi dogfooding süreciyle optimizasyon yaptığı için, varsayılan ayarların en verimli olma ihtimali yüksek
      CLAUDE.md'yi zeki bir iş arkadaşına gönderilen taslak not gibi ele almak yeterince iyi çalışıyor
    • “Sonunda CC'ye entegre olur” sözüne katılıyorum
      Anthropic'in doğrudan eklemediği bir özellikse, muhtemelen performans artışı kanıtlanmadığı içindir
    • Bu tür “Claude iyileştirme katmanları” sonuçta iş akışı kararsızlığına yol açıyor
      Kısa süre faydalı olsalar bile hızla temel özelliklere dahil oluyor ya da kayboluyorlar
    • Claude'un kendisinde de md optimizasyon özellikleri sürekli güncelleniyor
      Bu yüzden böyle deneysel script'ler kullansanız bile md dosyalarını sık güncellerseniz güncel kalabilirsiniz
  • “Dosya her mesajda bağlama yükleniyorsa bu token israfı değil mi?” sorusuna karşılık,
    Claude'un personalization özelliğinin zaten bu rolü oynadığını düşünüyorum
    Benim için özlülük ancak kaliteyi artırdığında anlamlı
    Reddit'te gördüğüm ilgili araçlar da ilginç:
    Headroom bağlamı %34 sıkıştırıyor,
    RTK CLI çıktısını %60-90 sıkıştırıyor,
    MemStack ise kalıcı bellek sağlayarak gereksiz dosya yeniden okumalarını önlüyor

  • Bana göre bu tür denemeler, LLM'nin temel ilkelerinin yanlış anlaşılmasının sonucu
    “Önce cevap, sonra akıl yürütme” yaklaşımı transformer'ın otoregresif yapısını görmezden geliyor
    RL eğitimi zaten optimal uzunluk ile kaliteyi ayarladığı için, aşırı müdahale performans düşüşüne yol açabilir

    • Yanıt uzunluğunu zorla azaltmak akıl yürütme kalitesi ve tutarlılığını düşürür, halüsinasyon olasılığını artırır
      Model, İngilizce temelinde çok adımlı akıl yürütme yapacak şekilde eğitildi
    • “Önce cevap” kuralı gerçek akıl yürütme sırasını değiştirmez. Model zaten dahili olarak düşünüp sonra cevabı üretir
    • Yazar transformer'ı bilmiyor değil; sadece token maliyetini düşürmeye yönelik bir hack denemiş gibi görünüyor
      Kaliteden çok verimliliği hedefleyen deneysel bir yaklaşım
    • Çoğu API zaten COT uzunluğu kontrol seçenekleri sunuyor. Böyle dolaylı yöntemler yerine API ayarlarını kullanmanın daha iyi olduğunu düşünüyorum
    • Sonuçta Anthropic'in yaptığı araçların en güvenilir olanlar olduğunu düşünüyorum.
      Bu yüzden OpenCode gibi üçüncü taraflar yerine sadece 1st-party araçlar kullanıyorum
  • Karpathy'nin videosunda görüldüğü gibi, model daha fazla token kullandıkça doğruluğun artma eğilimi var
    Bu yaklaşım aslında modeli kötüleştirebilir

    • Ama burada amaç düşük değerli çıktıları azaltmaksa (ör. yağcılık içeren cümleler, format gürültüsü), o zaman makul olabilir
      Yine de modeli akıl yürütmeden doğrudan cevap vermeye zorlamak erken kesinleşme yanlılığı riski doğurur
    • “Tekrarlanan çıktı” yönü güçlendirme işlevi gördüğü için, bunu kaldırmak belirsizliği artırabilir
  • Böyle anlamsız projelerin HN'de neden trend olduğunu anlamıyorum
    Token kullanımını gerçekten azaltan araçlar claude-mem ve lumen gibi şeyler

    • Sebebi basit. HN'nin trend algoritması doğruluktan çok etkileşime optimize edilmiş durumda
  • Eskiden yeni hash, şifreleme, sıkıştırma algoritmaları araştırılırdı
    Şimdi ise AI'a sessiz olmasını söylemenin yollarını araştırıyor olmamız ironik