- OpenAI, Claude, Gemini, OpenRouter gibi birden çok LLM sağlayıcısı/modeli için token sayısını ve API maliyetini hızlı ve hassas biçimde tahmin eden çapraz platform bir CLI aracı
- Model bazlı token hesaplamasını destekler ve model başına token fiyatlandırmasına dayanarak API çağrı maliyetini otomatik hesaplar
- Yalnızca tek bir prompt değil, JSON chat formatı, role göre (system/user/assistant) token kırılımı, birden çok model arasında token ve maliyet karşılaştırması, Markdown minify, diff modu, watch modu gibi gerçek kullanım iş akışlarına uygun özellikler sunar
load-test özelliği etkinleştirildiğinde OpenAI, Anthropic, OpenRouter ve özel endpoint'ler için eşzamanlılık, gecikme, hata oranı, token ve maliyeti tek seferde ölçen bir yük testi çalıştırıcısı olarak çalışır
- dry-run modu ile gerçek çağrı yapmadan maliyet tahmini yapılabilir
- Çeşitli girdi/çıktı formatlarını destekler
- Girdi: düz metin ve JSON chat formatının ikisini de işleyebilir; ayrıca dosya girdisi, standart girdi, prompt karşılaştırma (diff) özellikleri sunar
- Çıktı: text/json/csv/Prometheus/markdown gibi çeşitli çıktı formatlarını destekler
- Özel fiyat dosyası (TOML) sayesinde model bazlı fiyat değişikliklerine uyum sağlarken maliyet tahmini doğruluğunu koruyabilir
- Tokenizer, model tanımları, parser, çıktı, HTTP/sağlayıcı ve simülatörün modüler yapısı sayesinde yeni model ve yeni sağlayıcı ekleme ya da CI/otomasyon pipeline entegrasyonu için uygun bir tasarıma sahiptir
Henüz yorum yok.