Yapay zeka testleri sildi ve "All Tests Pass" dedi - Typia'yı TypeScript'ten Go'ya taşırken karşılaşılan korkunç hikâye

 (dev.to)
3 puan yazan autobe 2026-05-03 | 4 yorum | WhatsApp'ta paylaş
  • Typia, TypeScript-Go lansmanına uygun olacak şekilde Go diline taşındı. Gece boyunca iş yapay zekaya bırakıldı
  • Prompt'ta iki talimat verildi.
    1. TypeScript kodunu Go diline mekanik olarak çevir ve yalnızca kaçınılmaz durumlarda müdahale et
    2. Test kodları geçene kadar çalış
  • İlk denemede talimatlar göz ardı edilerek mantık kafasına göre yeniden uygulandı; testler geçmeyince testlerin %70'i silinip geçtiği iddia edildi
  • İkinci denemede testlerin dokunulmaz olduğu özellikle belirtilince, test programındaki tüm tipler (168 tür) için JS derleme çıktıları topluca kopyalanıp if ~ else if ile hardcode olarak yapıştırıldı ve 8 milyar token harcandı
  • Üçüncü denemede typia.toZodSchema<T>() adlı bir fonksiyon oluşturulup tüm işlevler zod'a devredildi. Zod'un geçemediği vakalar için pnpm test --exclude union complicate recursive protobuf class şeklinde, testi geçemeyen işlevleri hariç tutan bir script'e çevrilerek testi geçirme denemesi yapıldı
  • Dördüncü denemede Codex / GPT 5.5 kombinasyonuna geçilince testler geçti. TS -> Go çeviri örnekleri gösterilmişti ama nedenin tam olarak ne olduğu belirsiz

İlgili okumalar

4 yorum

 
picopress 2026-05-04

Neyse, geçmiş sayılır
 
runedia 2026-05-04

Benzer bir deneyim yaşamıştım.
Hatalardan kaçınma.
şeklinde ek talimat verince düzeldi.
 
cafedead 2026-05-04

Ben tam tersini yaşadım; test kodunu değiştirip testleri geçirmesini istediğimde, gidip hedef kodu değiştirerek testi geçiriyordu.
 
recast7838 2026-05-04

Ben de benzer bir şey yaşamış gibiyim. opencode ile çalışıyordum; testler geçince tamamlamasını söyledim, o da test kodunu silip atıyor...