AI kodlama iddialarının yanılsaması: Neden 'shovelware' patlaması görünmüyor?

• Son dönemde AI kodlama araçlarının üretkenliği artırdığı yönündeki iddialar verilerle incelendiğinde, gerçekte hızda ya da çıktı miktarında kayda değer bir artış olmadığı görülüyor
• METR araştırmasına göre geliştiriciler AI kodlama araçlarının üretkenliği %20 artırdığına inanıyordu, ancak gerçekte %19 düşüş yaşandı
• Sayısız reklam söylemi ile şirketlerin ve geliştiricilerin abartılı 10 kat üretkenlik iddiaları, piyasa gerçeklerine ya da yeni yazılım sürümlerine yansımıyor
• Shovelware (seri üretilmiş uygulamalar, düşük kaliteli yazılımlar) artışı gibi bir olgu gözlemlenmiyor; yani görünür bir değişim yok
• GitHub, Copilot, Cursor, Google, OpenAI gibi şirketler ile bazı geliştiricilerin üretkenlik abartısı, yatırım, yeniden yapılanma ve maaş belirleme süreçlerinde kötüye kullanılıyor
• Ana sonuç: “Gerçekte daha fazla yazılım üretilmediği sürece, AI kodlamanın geliştiricileri 10 kat verimli yaptığı iddiası bir kurgudur”; bu nedenle geliştiriciler baskıya boyun eğmemeli ve verilerle yanıt vermelidir

---

Giriş: Yazılım geliştiriciler AI kodlamaya öfkeli

• Uzun yıllardır yazılım geliştiricisi olarak yaşayan yazar, programlamayla ilgili güçlü bir gurur ve kimlik duygusuna sahip
• AI tabanlı kodlama araçları ilk çıktığında umutluydu, ancak son araştırmalar (METR) nedeniyle artık şüphe duyuyor
  • Kendisi AI kodlamanın onu yaklaşık %25 daha hızlı yaptığını düşünüyordu, ancak METR araştırması tam tersine %19 yavaşlattığını gösterdi
• İlgili araştırma, geliştiricilerin AI araçlarının verimliliğine dair öznel algısıyla ölçülen gerçek verilerin tamamen zıt olduğunu ortaya koyuyor
• Kendi yaptığı deneylerde de AI kullanımının gerçek programlama süresine olumlu etki etmediğini hissettiğini aktarıyor

Doğrudan doğrulama: AI ile rastgele karşılaştırmalı deney

• İş bazında AI kullanıldığında ve kullanılmadığında oluşan zaman farkını (Delta) ölçen bir deney yöntemi uygulandı
• 6 haftalık deneyden elde edilen veriler, istatistiksel olarak anlamlı bir fark ortaya koymadı
• Küçük örnekleme rağmen, AI kullanımının gerçekte %21 daha yavaş olma eğilimi gösterdiği görüldü (METR araştırmasıyla aynı oran)
• Eğer gerçekten 2 kat ya da 10 katlık bir iyileşme olsaydı, bunun verilerde açıkça görünmesi gerekirdi
• Bugünkü AI kodlama hayali gerçekleşmiyor; pratikte kayda değer bir değişim yok

Beklenti ve gerçeklik: Neden shovelware patlaması yok?

• AI kodlamadaki üretkenlik devrimi gerçek olsaydı, her türden uygulama, servis ve oyun patlama yaşamalıydı
• Pek çok AI kodlama aracının pazarlama mesajı (“Built to make you extraordinarily productive” vb.) ortalığı kaplamış durumda
• Google, OpenAI, GitHub Copilot gibi şirketler de geliştiriciler için %25 hız artışı ya da 10 kat üretkenlik iddiasında bulunuyor
• Ancak gerçek yeni yazılım sürümü verilerinde (GH Archive, BigQuery vb.) dik bir büyüme ya da patlama görülmüyor
• 2022 sonrası AI kodlama araçlarının yaygınlaşmasına rağmen, dünya genelindeki yeni sürüm ve proje sayılarında büyük bir değişiklik yok

Pazar etkisi ve geliştirici gerçeği

• AI-First stratejileri, FOMO, toplu işten çıkarmalar ve geliştirici maaşlarının düşürülmesi gibi sektör içinde toplumsal etkiler bile ortaya çıkmış durumda
• Gerçek geliştirme ortamlarında AI araçları bir üretkenlik devrimi sunamıyor
• Öğrenme eğrisi ya da araç uzmanlığı da mutlak üretkenlik farkını açıklamaya yetmiyor

Sonuç: Soğukkanlı, veri temelli değerlendirmeye ihtiyaç var

• Şu ana kadar yeni yazılım sevkiyatında bir değişim olmadığını verilerle doğrulamak temel nokta
• AI ile 10 kat geliştirici olunduğu iddiasını destekleyen bir kanıt yok
• Geliştiriciler baskıya teslim olmamalı ve araç seçimlerini bizzat doğruladıkları verilere göre yapmalı

Sık gelen itirazlara yanıtlar

1. "Prompt tekniğini düzgün öğrenirsen 10 kat geliştirici olursun"

   • Gerçekten 10 kat üretkenliğe ulaşanlar olsaydı, dünya çapındaki yeni yazılım üretimi iki katın çok üstüne çıkmış olurdu
   • İddialardan çok nesnel çıktılar (uygulamalar, projeler vb.) önemli kanıttır

2. "Daha çok erken, zamana ihtiyacı var"

   • Milyarlarca dolar yatırım yapıldı ve araçlar gerçek iş ortamında zaten kullanılıyor
   • Bugün alınan kararlar insanların hayatını doğrudan etkiliyor

3. "Şimdi benimsemezsen geride kalırsın"

   • GitHub Copilot verilerinde bile uzmanlık arttıkça görülen gerçek üretkenlik artışı son derece sınırlı (%29 → %34 kabul oranı)

4. "Miktar aynı kaldı ama kalite arttı"

   • Sektör genelinde kalite aslında geriliyor ve testler de azalıyor
   • Gerçekten 10 kat geliştirici aracı olsaydı, shovelware seli yaşanması gerekirdi

5. "Her şey artık web sitesi merkezli; bugünlerde alan adları kimsenin umurunda değil. Vercel gibi yerlerin alt alan adları her şey oldu"

   • Hâlâ bağımsız alan adını tercih eden çok sayıda kullanıcı var

6. ".ai alan adlarındaki patlama (bu yıl %47) = gerçek artış"

   • Yeni alan adı artışı sadece AI girişimlerinin pivot etmesinden kaynaklanıyor; genel yeni alan adı sayısında bir patlama yok
   • Toplam alan adı sayısı açısından tablo böyle değil

7. "Geliştirmenin özü kod dışındaki işlerdir"

   • Büyük şirketler dışındaki bireysel/küçük ölçekli geliştirici ortamlarında kod gerçekten merkezde yer alıyor
   • Hâlâ küçük kodlama isteklerini tatmin eden yeni projelerde dikkat çekici bir artış görünmüyor

Kapanış

• Geliştiriciler gerçekte daha fazla ürün yayımlamıyor
• AI kodlamanın 10 kat üretkenlik sağladığı iddiası verilerle çürütülebilir
• Sektördeki FOMO ve pazarlama anlatılarının etkisine kapılmak yerine, gerçek çıktılar üzerinden değerlendirme yapılmalı
• Yazarın mesajı: “Baskı hissediyorsanız veri ve grafikleri gösterin. 10 kat üretkenlik iddiası için kanıt isteyin.”