- Her PR için çok ajanlı bir ekip devreye alarak insanların gözden kaçırmasının kolay olduğu hataları derinlemesine yakalayan Code Review özelliği araştırma önizlemesi olarak yayımlandı
- Anthropic mühendislerinin kod üretimi son 1 yılda %200 arttı ve bunun sonucunda kod inceleme bir darboğaz haline geldi; birçok PR, derinlemesine inceleme yerine yalnızca üstünkörü gözden geçirilmeye başlandı
- Kullanım öncesinde PR'lerin yalnızca %16'sı anlamlı inceleme yorumu alırken, kullanım sonrasında bu oran %54'e yükseldi; PR onayı ise hâlâ insanlar tarafından veriliyor
- Büyük PR'lerde (1.000 satır ve üzeri) %84'ü bulgular içeriyor ve ortalama 7,5 sorun bildiriyor; yanlış pozitif oranı %1'in altında
- İnceleme maliyeti, token kullanımı bazında PR başına ortalama 15-25 dolar seviyesinde; aylık organizasyon limiti ve depo bazlı kontrol gibi maliyet yönetimi özellikleri sunuluyor
Kod inceleme darboğazı sorunu
- Anthropic'te mühendis başına kod üretimi son 1 yılda %200 arttığı için kod inceleme, geliştirme sürecinde bir darboğaz olarak öne çıktı
- Müşteriler de her hafta aynı sorundan şikâyet ediyor; geliştiriciler aşırı yük altındayken birçok PR, derin inceleme yerine üstünkörü bakışla geçiliyor
- Mevcut açık kaynak Claude Code GitHub Action'a göre daha kapsamlı ve daha maliyetli bir seçenek olarak, her PR'e güvenilir bir inceleyici eklemek amacıyla geliştirildi
- Kullanım öncesinde PR'lerin yalnızca %16'sı anlamlı inceleme yorumu alırken, kullanım sonrasında bu oran %54'e çıktı
- PR onayı hâlâ insanlar tarafından veriliyor; amaç, inceleyicilerin gerçekten sevk edilen kodu yeterince kapsayabilmesi için aradaki açığı kapatmak
Nasıl çalışıyor
- Bir PR açıldığında, hata aramak için ajan ekibi devreye alınıyor ve süreç paralel yürütülüyor
- Her ajan hataları doğrulayıp yanlış pozitifleri filtreliyor ve önem derecesine göre sıralıyor
- Sonuçlar, PR üzerinde yüksek sinyalli tek bir özet yorum ve belirli hatalara yönelik satır içi yorumlar olarak iletiliyor
- İnceleme ölçeği PR boyutuna göre otomatik ayarlanıyor; büyük ve karmaşık değişikliklerde daha fazla ajan ve daha derin analiz, küçük değişikliklerde ise hafif bir geçiş uygulanıyor
- Test ölçütlerine göre ortalama inceleme süresi yaklaşık 20 dakika
Gerçek kullanım örnekleri
- Birkaç aylık iç kullanım sonucunda, büyük PR'lerde (1.000 satır ve üzeri) %84'ü bulgular içerdi ve ortalama 7,5 sorun raporlandı
- Küçük PR'lerde (50 satırın altı) %31'i bulgular içerdi ve ortalama 0,5 sorun raporlandı
- Mühendisler genel olarak bulgulara katıldı; yanlış pozitif olarak işaretlenen oran %1'in altında kaldı
- Bir örnekte, üretim servisindeki tek satırlık bir değişiklik normalde hızlı onay alabilecek bir diff iken, Code Review bunu kritik olarak işaretledi
- Bu değişiklik, servisin kimlik doğrulamasını bozabilecek bir hata moduna yol açabiliyordu; diff içinde gözden kaçırılması kolay ama işaret edildiğinde açıkça sorun olduğu görülen bir durumdu
- Merge edilmeden önce düzeltildi ve ilgili mühendis bunu tek başına yakalayamayacağını paylaştı
- TrueNAS'in açık kaynak middleware'inde, ZFS şifreleme refaktörü PR'i için Code Review komşu koddaki mevcut bir hatayı buldu
- Her senkronizasyonda şifreleme anahtarı önbelleğini sessizce temizleyen bir tür uyumsuzluğu sorunu
- Bu, PR'in dokunduğu kodda zaten gizli duran bir sorundu; değişiklik kümesini tarayan bir insan inceleyicinin hemen fark etmeyeceği türden bir problem
Maliyet ve kontroller
- Derinlik için optimize edildiğinden Claude Code GitHub Action gibi hafif çözümlerden daha maliyetli
- İncelemeler token kullanımı üzerinden ücretlendiriliyor ve PR boyutu ile karmaşıklığına göre ortalama 15-25 dolar tutuyor
- Yöneticiler için maliyet ve kullanım kontrol seçenekleri:
- Aylık organizasyon limiti: Tüm incelemeler genelinde aylık toplam harcama sınırı belirleme
- Depo bazlı kontrol: İncelemeyi yalnızca seçilen depolarda etkinleştirme
- Analiz paneli: İncelenen PR sayısı, kabul oranı ve toplam inceleme maliyetini izleme
Nasıl başlanır
- Team ve Enterprise planları için araştırma önizlemesi (beta) olarak sunuluyor
- Yöneticiler, Claude Code ayarlarından Code Review'u etkinleştirip GitHub App'i kurduktan sonra incelemenin çalışacağı depoları seçiyor
- Etkinleştirmenin ardından geliştiriciler için yeni PR'lerde inceleme otomatik olarak çalışıyor; ek yapılandırma gerekmiyor
8 yorum
Anthropic’in son dönemdeki sürümü hızı gerçekten çılgınca.
Geliştirme araçlarını iyileştirirken, onları kullanarak kendi geliştirme süreçlerini de hızlandıran bir flywheel kurulumunu tamamlamış gibiler.
Her gün bir şeyler ortaya koyan bir startup havası fazlasıyla hissediliyor.
Belli ki OpenAI’ye de ciddi biçimde gaz veriyordur
Gerçekten çok keyif alarak çalıştıkları belli.
Sadece maliyet düşürülürse güzel olabilir gibi görünüyor.
Claude ile kod üretip, Claude ile kod incelemesi yapıp..
Kişisel plan desteklenmiyor galiba. İleride de gelmez mi acaba?
Özyinelemeli iyileştirmeler başlamış gibi görünüyor.
Claude hocalar, insaflı olun, bu kadar hızlı olmanız insani mi... hıçkırık
Claude: insan değil.... çünkü;;;;