Herkese açık benchmark izlerinde ajanların yinelenen çalıştırmalarını ölçtük. Aynı aracın aynı argümanlarla iki kez çağrılıp sonucunun da aynı olduğu durumları saydık.
6.780 izde 8.042 olay çıktı; ancak işin tamamlandığını bildirme tekrarları gibi şeyleri çıkarınca sayı yaklaşık yarıya, 4.249’a indi. Bunlar içinden durum değiştiren araçların 3.432 yinelenen çağrısında, yanıttaki entity ID’lerini karşılaştırdık; 159 olayda gerçekten iki ayrı şeyin oluşturulduğu doğrulandı. Aynı başlıklı iki belgenin, aynı elektronik tablodan dört tane oluşturulması gibi.
Burada net bir sınırlama var. Bu sayıların tamamı benchmark izlerinden geliyor. 22 modelin görev çözme kayıtları; gerçek bir üretim servisi değil. Sekiz herkese açık veri kümesini taradık ve bu olgunun gözlemlenebildiği tek veri buydu. Benchmark’ların çoğu doğruluk puanlaması için tasarlandığından, yinelenme olduğunda yanıtın yanlış sayıldığı bir yapıdaydı.
Bu yüzden gerçekten üretimde kullananlara sormak istiyorum.
- Kaç MCP aracı (ya da sunucusu) bağlayıp kullanıyorsunuz?
İncelediğimiz iki veri kümesinde yinelenme oranı 3 kat farklıydı (%0,80 vs %2,41). Araç sayıları da 20’ye karşı 523 gibi büyük ölçüde farklıydı; ancak görevlerin niteliği ve model kurulumu da değiştiği için sebebin araç sayısı olup olmadığını ayrıştıramadık.
Benchmark içinde göreve bağlı sunucu sayısına göre ayırınca, oran 4–5 sunucu varken en yüksek çıktı (yaklaşık %2,5); daha fazlasında ise tam tersine düşen, monoton olmayan bir örüntü vardı. Basitçe “araç sayısı artınca yinelenme artar” gibi bir ilişki görmedik. Gerçek üretimde sizde durum nasıl, merak ediyorum.
- Yinelenen çalıştırma yaşadınız mı? Nasıl fark ettiniz?
Gördüğümüz vakaların çoğunda hata oluşmadı. İki çağrı da 200 dönüyor, loglar da temiz görünüyordu; bu yüzden sonradan yalnızca loglara bakınca fark edilmiyordu. Gerçekte çoğu zaman müşterinin bildirmesiyle öğreniliyor olabilir diye düşünüyorum; sizde nasıl?
- Kullandığınız araçlar yanıtta entity ID döndürüyor mu?
“İki kez çağrıldı” ile “iki tane oluştu” arasındaki ayrımı belirleyen nokta buydu. Belge oluşturma API’leri çoğunlukla ID veriyor; e-posta gönderiminde ise çoğu zaman yalnızca “başarılı” metni dönüyordu. Karar verilemeyen 3.197 olayın 2.011’i bu durumdaydı ve yanıtta hiç ID döndürmeyen 24 araç türü vardı.
Doğru cevabı aramıyorum; benchmark ile gerçek üretimin ne kadar farklı olduğunu anlamaya çalışıyorum. Yalnızca deneyim paylaşmanız bile çok yardımcı olur.
Henüz yorum yok.