claude’un son dönemdeki 3 sorununun değerlendirmesi
(anthropic.com)Yakın zamanda meydana gelen üç sorunun özeti (nedenler ve çözümler)
1. Bağlam penceresi yönlendirme hatası (Context Window Routing Error)
- Neden: Sonnet 4 modeline yönelik bazı istekler, 1M token’lık daha büyük bir bağlam penceresi için yapılandırılmış sunuculara yanlış yönlendirildi. 29 Ağustos’taki yük dengeleme değişikliği sorunu daha da kötüleştirdi.
- Çözüm: İsteklerin doğru sunucu havuzuna iletilmesini sağlamak için yönlendirme mantığı düzeltildi ve Eylül ayında dağıtıma alındı.
2. Çıktı bozulması (Output Corruption)
- Neden: Claude API TPU sunucularındaki hatalı yapılandırma, token üretimi sırasında hatalara yol açtı ve yanıtlarda beklenmedik karakterlerin görünmesine neden oldu. Birden fazla Claude modelini etkiledi.
- Çözüm: 2 Eylül’de hatalı yapılandırılmış değişiklik tespit edilip geri alındı ve sorun çözüldü.
3. "yaklaşık top-k" derleme hatası ("approximate top-k" miscompilation)
- Neden: Token seçimini iyileştirmeye yönelik bir kod değişikliği, XLA:TPU derleyicisindeki potansiyel bir hatayı tetikledi ve Claude Haiku 3.5 ile diğer modelleri etkiledi.
- Çözüm: Değişiklik geri alındı ve derleyici hatasını çözmek için XLA:TPU ekibiyle birlikte çalışıldı. Ayrıca token seçimi için "doğru top-k" işlemi kullanılmaya başlandı.
Henüz yorum yok.