Test Kodunun Yeni Hendek (Moat) Haline Geldiği Dönem
(saewitz.com)-
Başarının paradoksu: Bir proje büyüdükçe, geriye dönük uyumluluk ve devasa bir kod tabanı (
The Ship of Theseus) gibi yükleri de sırtlanır. Buna karşılık rakipler, mevcut projenin API spesifikasyonunu, belgelerini ve test kodlarını yapay zekaya öğreterek yalnızca çekirdek değeri çıkarılmış, "daha hafif ve modern bir sürümü" çok kısa sürede ortaya çıkarabilir. -
Cloudflare vs Vercel örneği: Cloudflare, Vercel'in yıllar boyunca biriktirdiği Next.js'in kapsamlı dokümantasyonu ve test paketinden yararlanarak yalnızca bir hafta içinde Vite tabanlı, ince bir Next.js uyumlu runtime oluşturdu. (Şu anda ABD devlet sitesi cio.gov'da da kullanılıyor)
-
Test kodu artık bir varlık: Geçmişte önemli olan kodun kendisiydi, ancak artık en pahalı varlık "yazılım sözleşmesi (Contract)" ve "test vakaları" haline geldi. Bunları kamuya açmak, rakibe hizmetimi birebir kopyalayabilmesi için hassas bir plan sunmakla aynı anlama geliyor.
-
SQLite'ın öngörüsü: SQLite kodu açık tutuyor, ancak kaynak kodunun 590 katına ulaşan devasa test paketini (92 milyon satır) gizli tutuyor. Bu, onların açık kaynak ekosistemini sürdürürken aynı zamanda ticari savunma gücü taşıyan "hendek" oldu.
-
Sonuç: Yapay zeka çağındaki ticari açık kaynak şirketleri, "tam altruizm (açık kaynak)" ile "işin hayatta kalması" arasında karar vermeleri gereken bir döneme geldi. Önümüzdeki dönemde birçok projenin, SQLite gibi test kodlarını kapalı hale getirerek kendine özgü teknik bariyerler inşa etmesi bekleniyor.
19 yorum
Bu bakış açısına göre, belki de ADR (Architecture Decision Records) ya da CIR (Change Intent Records) gibi belgeler, kodun kendisinden bile daha değerli görülmeye başlayabilir.
Oldukça etkileyici. Kısa bir yazı olmasına rağmen hemen ikna ediyor. Test kodunun güvenliği, kaynak kodundan daha önemli bile olabilir.
Bana göre bu, e2e testlerini atlamayın demek gibi geliyor; sizce durum nasıl, diğerleri ne düşünüyor merak ediyorum.
Tamamen geliştirici olmayan biriyim ama... sadece yapay zekayla oynamanın keyfiyle biraz kod yazdırıyorum; ben istemediğim halde bir sürü test kodu üretip saklıyordu, meğer bunun böyle bir sebebi varmış.
Buna niye ihtiyaç olduğunu sorduğumda, kod yazarken kendisine gerekli olduğunu, o yüzden silmememi söyledi.
Oh... bence de doğru gibi.
SQLite'ın yaklaşımı gerçekten çok etkileyici. Kodun 590 katına ulaşan test paketini gizli tutmak, sonuçta "yazılımın gerçek değerinin davranış spesifikasyonunda olduğu" anlamına geliyor.
Gerçekten de bugünlerde yapay zeka destekli kodlama araçlarıyla proje oluşturmayı denediğinizde, mevcut bir projenin README'si + API dokümantasyonu + test kodları varsa temel işlevleri şaşırtıcı derecede hızlı biçimde kopyalamak mümkün oluyor. Bunu bizzat 7 proje yönetirken hissettim; testleri ne kadar iyi yazılmışsa, projeyi kopyalamak da paradoksal biçimde o kadar kolay oluyor.
Ancak Cloudflare vs Vercel örneğinde gözden kaçan bir nokta var: "kopyalama" ile "işletme" tamamen farklı problemler. Next.js'in edge case'lerini, eklenti ekosistemini ve topluluk bağımlılıklarını yeniden üretmek istiyorsanız, yalnızca test kodları yetmez. Sonuçta asıl hendeğin test kodu + topluluk + operasyonel bilgi birikiminin birleşimi olduğunu düşünüyorum.
Tek başına çalışan bir geliştirici olarak 7 proje yürütüyorum ve bu yazı beni fena halde vurdu.
Yapay zeka kodlama araçları sayesinde ilk geliştirme hızı delice arttı ama test olmadan hızla biriktirilen kod, sonunda gerçekten bir refaktör cehennemine dönüşüyor. Özellikle birden fazla servisi aynı anda işletirken, testi olmayan projelerde tek bir özelliğe dokunduğunuzda başka bir yer patlar mı korkusuyla el sürmek bile ürkütücü oluyor.
"Test = hendek" benzetmesi tam isabet. Rakipler kodu kopyalayabilir ama binlerce edge case'i kapsayan bir test suite'ini de kopyalamak o kadar kolay değil. Özellikle yapay zeka kod üretmede iyi olsa da anlamlı test senaryoları oluşturmanın hâlâ insanın alan bilgisi gerektiren bir iş olması da bunu daha doğru kılıyor.
Ama alana göre test kodu kapsamının neredeyse hiç olmadığı durumlar da var; bu da insanı düşündürüyor. O tarafta da hâlâ diğer alanlara kıyasla iyi kod yazmayı pek beceremediklerini düşünüyorum.
Bunun hangi alan olduğunu söyleyebilir misiniz? (Tartışma olsun diye değil, gerçekten tamamen samimi bir merak.)
Benim çalıştığım alan da o kadar uç bir düzeyde değil ama yapay zeka alanında araştırma ve geliştirme yapıyorum.
Genelde yaygın olarak kullanılan framework’lerin dışında, gerçek modeli deploy ettiğiniz hedef ortamın eğitimin yapıldığı ortamdan farklı olduğu durumlar da oluyor.
Bazı operasyonlar desteklenmediği için platforma göre custom operation’lar geliştirmek gerekebiliyor. Bu durumda, geliştirilen ortamda hemen test edemediğiniz durumlar da sıkça oluyor.
Modeli doğrudan modellediğimiz durumlar da var; belli verilerle test kodu yazabiliyorsunuz ama veri setine göre değerler olasılıksal olarak değişebiliyor ve belirli bir noktada değerlerin patlaması gibi olguları test koduyla kapsamak zor olabiliyor.
Muhtemelen benden daha da zor test edilen ortamlar epey vardır diye düşünüyorum.
Bu sadece benim düşüncem ama muhtemelen Notebook’un sık kullanıldığı alanlar, ya da sonucun olasılıksal olduğu yapay zeka alanı veya oyun istemcisi tarafı gibi yerlerdir.
Ben de bunu çevremde sık sık söylüyorum; sonuçta ileride tüm kodu tek tek incelemek zor olacağı için, gerçekten kritik mantık mutlaka test edilmezse büyük sorun çıkaracağını düşünüyorum.
Yazının alt kısmına da eklenmişti; tldraw’ın da testleri özel olarak çalıştırdığına dair bir konuşma vardı (şakaymış galiba).
https://github.com/tldraw/tldraw/issues/8082
SQLite nasıl test ediliyor bağlantısına bakarsanız,
SQLite tamamen açık olsa da kaynak kodundan 590 kat daha fazla test koduna sahip ve bu kısım tamamen gizli.
%100 branch coverage, milyonlarca test vakası var ve 1 milyardan fazla mutation test gerçekleştiriliyor.
Soruna girip okuyunca bunun "şaka" olduğunu söylüyorlar.
Sanırım bir şaka testiydi.
Vay canına, öyleymiş. Ben sadece üst tarafa bakıp
ㅎㅎdemiştim."Kaynak koddan çok test"düşüncesinin özü gerçekten doğru gibi görünüyor. Ancak açık test yapmadan yalnızca open source uygulama stratejisinin geçerli olup olmayacağından emin değilim. Test maddelerini kaynaktan çıkarmayı da muhtemelen iyi yapacaklardır..Yanlış yapıyorlar da.
Cloudflare, AI로 Next.js를 1주일 만에 Vite로 재구현한 vinext 공개
Bu yazıyla bağlantılı gibi görünüyor. Açık kaynak yaparken, test kodlarını yayımlama konusunda artık daha temkinli olunabilir gibi duruyor.