Yüksek Becerili İşlerde Gen AI’ın Etkisi: Yazılım Geliştiricilerle Yapılan Bir Deney

Özet

• Araştırmaya genel bakış
  • Bu çalışma, Microsoft, Accenture ve adı açıklanmayan bir Fortune 100 elektronik üretim şirketinde yürütülen üç rastgele kontrollü deney aracılığıyla üretken yapay zekanın yazılım geliştiricilerin üretkenliği üzerindeki etkisini değerlendirmektedir.
  • Deneyler, her şirketin günlük iş akışının bir parçası olarak yürütüldü ve rastgele seçilen geliştiricilere GitHub Copilot adlı yapay zeka destekli bir kodlama yardımcısı sağlandı.
  • Toplam 4.867 yazılım geliştiricisini kapsayan bu çalışma, yapay zeka araçlarını kullanan geliştiricilerin tamamladığı görev sayısının %26,08 arttığını ortaya koydu (standart hata: %10,3).
  • Özellikle daha az deneyimli geliştiriciler daha yüksek benimseme oranı ve üretkenlik artışı gösterdi.

GN⁺ özeti

• Bu çalışma, üretken yapay zekanın yazılım geliştiricilerin üretkenliğini önemli ölçüde artırabileceğini gösteriyor.
• Özellikle daha az deneyimli geliştiriciler için faydalı olması, yapay zeka araçlarının öğrenme eğrisini yumuşatmaya yardımcı olabileceğine işaret ediyor.
• GitHub Copilot gibi yapay zeka araçları, yazılım geliştirme verimliliğini artırmada önemli bir rol oynayabilir.
• Benzer işlevlere sahip diğer projeler arasında TabNine ve Kite yer alıyor.

[GN⁺]

Hacker News yorumu

• Deneyimli mühendislerin görüşü

  • Copilot, deneyimli mühendisler için aksine dikkat dağıtıcı bir unsur
  • Kodlama öncesi aşamada yapay zeka çok faydalı
  • Deneyimli geliştiriciler yapay zekayı iyi kullanırsa daha büyük fayda elde edebilir

• BT iş gücünün niteliğindeki düşüşe dair endişe

  • Şirketler personel azaltmak için daha fazla rolü tek kişiye veriyor
  • DevOps ve DevSecOps devreye alındıkça personel azaltımı yapıldı
  • Yeni geliştiricilerin karmaşık ortamlarda birçok rolü öğrenmesi zor
  • ChatGPT kullanılması kaçınılmaz bir sonuç

• Daha az deneyimli geliştiricilerin yapay zeka kullanımından doğan teknik borç

  • Daha az deneyimli geliştiricilerin yapay zeka kullanımı sonucu oluşan teknik borcu deneyimli geliştiricilerin çözmesi gerekiyor
  • Teknolojiye çok büyük ilgi duymayan geliştiriciler yapay zekaya daha fazla ilgi gösteriyor

• Araştırma sonuçlarının yetersiz özeti

  • Araştırma sonuçları fazla basit özetlenmiş
  • Sonuçlar şirkete ve geliştiricilerin kariyer düzeyine göre büyük ölçüde değişiyor
  • Microsoft'ta istatistiksel olarak anlamlı bir sonuç çıkmıyor

• LLM'nin geliştirici gelişimine etkisi

  • LLM, geliştiricilerin gelişimini engelleyebilir
  • Junior geliştiriciler LLM kullandığında öğrenme süreci ikame ediliyor
  • Fiili beceri, prompt ayarlamak haline geliyor

• Deneyimli geliştiriciler ile junior geliştiriciler arasındaki üretkenlik farkı

  • Deneyimli geliştiriciler Copilot kullansa da üretkenlik artışı büyük olmuyor
  • Junior geliştiricilerin üretkenlik artışı, deneyimli geliştiricilerin üretkenlik kaybına yol açabilir

• Yeni teknoloji öğrenirken yapay zekanın yardımı

  • Yeni bir teknoloji öğrenirken yapay zeka daha fazla yardımcı oluyor

• Copilot güncellemesi

  • Copilot, GPT-3.5 tabanlı çalışıyor
  • GPT-4'e güncellenen Copilot Chat, 30 Kasım 2023'te yayımlandı

• PR sayısındaki artışın anlamı

  • Önemli olan PR sayısının artması değil
  • Önemli olan, yapay zekanın QA'den geçen öğe sayısını artırıp artırmadığı ve bug'ları azaltıp azaltmadığı gibi noktalar
  • Sadece PR sayısını saymak faydalı değil

• Şirketin yapay zeka kullanımının sonuçları

  • Şirkette yapay zeka kullanımı sonucunda verimsiz geliştiriciler işten çıkarıldı