- Yayınlanmış kodlama benchmark’larının sorunu, şirketlerin kendi koşullarına tam uymaması ve manipülasyona açık olması
- Databricks, gerçekten yürüttüğü görevler ve kullandığı dillerle bir benchmark oluşturup değerlendirme yaptı
- GLM 5.2, en zor görevleri bile Opus 4.8 ile aynı seviyede çözdü ancak fiyatı Opus’un %66’sı düzeyinde
- Sonnet 5, Opus 4.8’den 1,7 kat daha ucuz olsa da gerçek iş tamamlama için 1,9 kat daha fazla token kullandığı için verimsiz
- Aynı model kullanılsa bile, harness’e bağlı olarak maliyet ve çalışma süresinde büyük tasarruf sağlanabiliyor
Henüz yorum yok.