Bu, Ruby committer’ı olan yazarın Claude Code ile 13 dilde mini Git uygulattığı ve süre, maliyet ile kod satırı sayısını ölçtüğü bir benchmark. Her dil için 20’şer kez olmak üzere toplam 600 çalıştırma yapıldı ve model olarak Claude Opus 4.6 kullanıldı.
Sonuçlarda Ruby($0.36) → Python($0.38) → JavaScript($0.39) sıralamasıyla en hızlı ve en düşük maliyetli diller oldu; statik tipli diller ise 1.4~2.6 kat daha yavaş ve daha pahalıydı. Tip denetleyici eklendiğinde Python/mypy 1.6~1.7 kat, Ruby/Steep ise 2~3.2 kat yavaşladı. Kod satırı sayısı az olan OCaml ve Haskell ise yüksek thinking token tüketimi nedeniyle alt-orta sıralarda kaldı.
Yazar, “30 saniye ile 60 saniye arasındaki fark dikkat ve geliştirme akışını etkiler; geliştirme hızı da başlı başına kalitenin bir boyutudur” diye vurguluyor. Ancak bunun prototipleme ölçeğinde tekil bir görev olmasının bir sınırlama olduğunu, büyük ölçekli çalışmalarda ise statik tiplerin avantajlı olabileceğini de ekliyor.
6 yorum
Dil özellikleri dışındaki değişkenlerin de karıştığı toplam bir sonucu ölçmüş gibi görünüyor. Github'da deney başına harcanan süre sonuçları var ama çalıştırma logları yok. En yaygın ölçüm göstergelerinden biri olan alt görev başına geçen süreyi bile doğrulamak zor ve LLM çıktı özellikleri gereği yeniden üretimin de mümkün olmadığı anlaşılıyor
Yazar da bunun prototip aşamasındaki tek seferlik bir çalışma olduğunu sınırlamalar bölümünde kabul ediyor. Buna rağmen genel olarak şeffaflığın yetersiz ve değişken kontrolünün yapılmadığı bir deney olduğunu düşünüyorum
Keşke çeşitli dilleri tek bir büyük ölçekli deneyle karşılaştıran bir çalışma olsa,
ama bu düzeyde bir testi şirket ölçeğinde bile yapan pek yokken bunu bir topluluk üyesi yaptığı için kesin sonuç veren bir deney yapmak zor olacaktır.
Ben de birçok yere baktım ama kayda değer bilgi bulmak pek kolay değil.
Bu da aslında doğal; çünkü kendi bütçesini harcayıp hangi dilin daha iyi olduğunu gerçekten düzgün biçimde tasarlayarak test edecek birinin çıkıp çıkmayacağı bile belirsiz...
Ben de bunun sınırlamaları çok olan bir deney olduğunu düşündüm ama en azından böyle bir denemenin yapılmış olmasını görmek yine de iyi geldi..^^
Lanet olası Ruby
Ruby’nin yazarı test ettiğine göre Ruby’nin iyi olduğunu söyler tabii
Ama Ruby'nin doğası gereği token tüketiminin düşük olması kaçınılmaz. Kodu kısa yazmaya elverişli olduğu için, çıktı token sayısı gibi kalemlerde de token tüketimi azalıyor.
Haha, Ruby dili komiteri olduğu için biraz önyargılı olabileceğini kabul ederek okumak gerekir.
"En çok hangi dildeki implementasyona güvenirsin?" diye sorulsa… hahahaha