180 AI ajanıyla bir günde iOS uygulamasında 55 hatayı yakalayan doğrulama pipeline’ı

21 dilde çalışan bir iOS sosyal ağ uygulamasını (yaklaşık 130 bin satır) LLM ajanlarıyla denetleyen bir pipeline kurup bir gün boyunca çalıştırmanın kaydıdır.

• Hata bulan “finder” ile doğrulayıcı rollerini ayırıp, karar ölçütünü çoğunluk oyu değil “çürütme başarısızlığı” olarak belirleyerek yanlış pozitifleri 0’a indirdiler
• Keşif raporlarını JSON şeması zorunlu çıktısı olarak alıp halüsinasyon raporlarını yapısal olarak engellediler
• Zaten bilinen hataların listesini prompt’a enjekte ederek tekrar keşifleri önlediler ve yeni keşif 0 olana kadar turları yineleyen bir sonlandırma koşulu kullandılar
• Sonuç: 6 tur, yaklaşık 180 ajan, onarılmış 55 kesin hata, doğrulama aşamasının yakaladığı 3 yarım yamalak düzeltme

Hangi bakış açılarıyla fan-out yaptıkları, düzeltilen kodu neden yeniden çürütmeye çalıştırdıkları gibi tasarım kararlarının yanı sıra, statik denetimin göremediklerini (sınırları) de özetliyor.