Stack Overflow’un Çöküşü

• Son bir buçuk yılda Stack Overflow’un trafiğinin yaklaşık %35 azaldığını zaman serisi verileriyle izleyen bir Observable veri not defteri; veri kaynağı stackoverflow.com/site-analytics
• Başta düşüş yaklaşık %50 olarak ölçülmüştü, ancak gözlemlenen kaybın yaklaşık %15’inin Mayıs 2022 civarındaki Google Analytics çerez yeniden sınıflandırmasıyla ilişkili olduğu görülüyor; bu nedenle grafikler yalnızca bu değişiklikten sonraki verileri içerecek şekilde düzeltildi
• Trafik düşüşü, soru-cevap sayısında yaklaşık %50 azalma ve gönderilerin aldığı oy sayısındaki düşüşle de aynı şekilde yansıyor
• Grafikler kullanımı 49 günlük hareketli ortalama olarak gösteriyor; veri kümesi aralığı 2008-07-31’den 2023-07-23’e kadar
• Metin çok sayıda grafik hücresinden oluştuğu için sağlanan metinde grafikler render edilmiyor; yalnızca traffic / posts / votes adlı üç veri kümesinin ham tablo değerleri görülebiliyor

---

Temel değişikliklerin özeti

• Son bir buçuk yılda Stack Overflow’un trafiği yaklaşık %35 azaldı
  • İlk ölçüm yaklaşık %50 düşüştü, ancak düzeltildi
  • Gözlemlenen kaybın yaklaşık %15’inin Mayıs 2022 civarındaki Google Analytics çerez yeniden sınıflandırmasıyla (strictly necessary olarak tanımlanıp saklanma değişikliği) ilişkili olduğu görülüyor
  • Grafikler yalnızca bu değişiklikten sonraki verileri içerecek şekilde güncellendi
• Trafik düşüşü site kullanım metriklerine de aynı şekilde yansıyor
  • Soru-cevap sayısında yaklaşık %50 azalma
  • İlgili gönderilerin aldığı oy sayısında da düşüş
• Grafiklerdeki kullanım 49 günlük hareketli ortalama olarak ifade ediliyor
• Veri kaynağı stackoverflow.com/site-analytics

Trafik verileri (traffic)

• traffic_2008Jul31_2023Jul23 veri kümesi, 418 satır büyüklüğünde
• Tarih ve üç tam sayı metriğinden oluşuyor; değer aralığı yaklaşık 3M–22M / 1,5M–9,5M / 120k–520k
• Gösterilen aralık 2022-06-01 tarihinden başlayan günlük değerler
  • 2022-06-01 → 18.524.758 / 7.945.523 / 351.184
  • 2022-06-14 → 20.002.931 / 8.485.223 / 390.082
  • 2022-06-04 gibi bazı tarihler hafta içi günlere kıyasla 6.346.105 seviyesinde daha düşük değerler kaydetti

Gönderi verileri (posts)

• posts_2008Jul31_2023Jul23 veri kümesi, 1.992 satır büyüklüğünde
• Tarih ve üç tam sayı sütunundan oluşuyor; değer aralığı yaklaşık 4k–23k / 2k–12k / 1,5k–12k
• Gösterilen aralık 2018-02-08 tarihinden başlayan günlük değerler
  • 2018-02-08 → 21.397 / 10.148 / 11.249
  • 2018-02-22 → 21.631 / 10.356 / 11.275

Oy verileri (votes)

• votes_2008Jul31_2023Jul23 veri kümesi, 1.991 satır büyüklüğünde
• Tarih ve dört tam sayı sütunundan oluşuyor; değer aralığı yaklaşık 400–3.600 / 10k–75k / 10k–65k / 2.000–9.500
• Gösterilen aralık 2018-02-08 tarihinden başlayan günlük değerler
  • 2018-02-08 → 3.347 / 65.834 / 57.278 / 8.556
  • 2018-02-21 → 3.206 / 66.063 / 57.693 / 8.370

[GN⁺]

Hacker News görüşleri

• Bu rakamlar, 2022 Mayıs’ında birkaç gün içinde trafiğin ani ve kalıcı biçimde düştüğünü gösteriyor. Günlük yeni ziyaretler yaklaşık 1 milyondan 300 bine, günlük toplam sayfa görüntülemeleri yaklaşık 20 milyondan 14 milyona, günlük oturumlar ise yaklaşık 9,4 milyondan 6,1 milyona indi.
  Ancak aynı dönemde gönderi ya da oy sayılarında buna karşılık gelen bir düşüş yoktu; ikisi de 2023 Şubat’ında sert düşmeden önce mevsimsel dalgalanmalar dışında nispeten sabit kalmıştı. Trafik verileri Google Analytics’ten, gönderi/oy verileri ise StackOverflow’un iç hesaplamalarından geldiği için, 2022 Mayıs’ındaki ani düşüş Google Analytics’in trafik/ziyaretçi izleme biçimini aniden değiştirmesinden kaynaklanan bir ölçüm ürünü gibi de görünüyor.
  https://i.imgur.com/qMj7Lge.png
  https://news.ycombinator.com/item?id=36856249

  • Bu yanıtın yorumlarına https://meta.stackexchange.com/a/391625/136010 bakıldığında, çalışanların da 2022 Mayıs’ındaki değişimin düzgün bir çerez onay formu yayımlanmasının etkisi olduğu açıklamasına katıldığı görülüyor. Performans çerezleri olmadan SO analiz verilerini doğru düzgün çıkaramıyor.
    Çalışan Catija da “2022 Nisan ile Mayıs arasında ‘trafik’ rakamları haftada 40 milyon azaldı ve o sırada çerez takibi değişti. Sonrasında Aralık’a kadar yeniden normale döndü. Çerez değişikliğinden önce trafik haftada yaklaşık 140 milyon–150 milyondu. Ancak bunu biliyoruz ve ‘düzeltme’ yapıyoruz” diye yanıtlamış.
  • Böyle ani düşüşler genellikle bot izleme biçimi, Google algoritması değişikliği ya da büyük bir iç tasarım değişikliğinden kaynaklanır.
  • Mantıklı. “Yeni ziyaretler” ilk kez gelen kullanıcılar; muhtemelen arama motorunda yanıt arayan genç geliştiriciler. Stack Overflow’da istediklerini bulup reklam tıklayabilen ya da öylece ayrılan kişiler.
    Bunların çok oy verme ya da gönderi paylaşma ihtimali düşük olduğundan, ani düşüş organik arama trafiği tarafında çok kötü bir şey olduğu anlamına gelebilir. Google değişiklikleri, berbat bir yeni arama motoru optimizasyonu stratejisi, reklam satın almanın durdurulması gibi şeyler. Yeni içerik oranı uzun zamandır kasvetli biçimde istikrarlı bir hızla düşüyordu ama 2023’ün başındaki birkaç ay özellikle ağırdı.
  • Ya da StackOverflow’u kazıyan siteler, yalnızca hızlı çözüm arayan kullanıcıları kapmış; SO hesabı olan kişiler ise hâlâ gönderi paylaşmaya ve oy vermeye devam etmiş olabilir.
  • O ay GitHub Copilot benimsenmesinin zirvesi de olabilir. Yanlış hatırlamıyorsam VS Code eklentisi Mart sonunda çıkmıştı.

• SO’da hâlihazırda bulunmayan sorularda bana en çok yardımcı olan şey, aslında onların katılığıydı. Minimal yeniden üretilebilir örnek, net düşünce süreci ve daha önce denenenleri içeren kaliteli bir soru yazma sürecinde, çoğu sorun daha paylaşmadan kendi kendine çözülüyordu.

  • Lastik ördek hata ayıklaması.
    https://en.m.wikipedia.org/wiki/Rubber_duck_debugging
  • Yine de gönderip kendi yanıtını yazmış olmanı umarım.

• SO hesabım neredeyse 12 yıllık ve itibar puanım 2 binin biraz üzerinde ama pek umursamıyorum. Hâlâ mobil geliştirme etiketlerindeki temel sorulara bir ölçüde yanıt veriyorum; SO’da tek şikâyetim, yüksek itibarlı bazı moderatörlerin düşmanca tavrı.
  Bazıları bundan eğleniyor gibi ve itibarın uzmanlık anlamına gelmediğini unutmuşlar. 12 yılda bu sorunu çözemediler. Yeni bir kullanıcının gayet geçerli bir soru sorup sonra bir daha yanıt vermediğini her gün görüyorum. Eskiden basit ve temel sorulara bile cömertçe olumlu oy verilirdi; artık öyle değil.

  • Push bildirimleri arttıkça insanların artık bildirimleri kontrol etmek için siteye doğrudan gitmediği anlaşılıyor. Yeni kullanıcılar SO’ya geri dönüp katılma alışkanlığı edinmemiş olabilir.
    Forumların gerilemesi de bununla bağlantılı görünüyor. Reddit, uygulaması günde 200 bildirim gönderdiği için hâlâ çalışıyor; bu olmasaydı bugün olduğu kadar popüler olmazdı. SO, uzman değilsen katılım için düşmanca bir yer; başlangıç seviyesindeki biri için soru sormak ya da sessizce okumak dışında yapacak pek bir şey yok. Kendini yetkin hissetmiyorsun.
  • Yüksek itibarlı insanların kendilerini jonskeet sanması komik. Stack Overflow’da itibar artık anlamsız ve şişmiş durumda.
    JavaScript, Python, pandas, Git gibi temel soruları sorarak ya da yanıtlayarak 100 binin üzerinde itibar puanı olan çok kişi oldu.

• SO’ya ya da başka SE sitelerine ne zaman bir şey yazsam, her zaman “A’nın iyi bir fikir olmayabileceğini ve B’nin daha iyi bir çözüm olabileceğini biliyorum ama benim özel durumumda gerçekten A’yı yapmak istiyorum” diye açıkça yazmak zorunda kaldım.
  Buna rağmen insanlar soruyu B’nin kopyası diye kapatmaya çalışıyor.

  • Kopya olmadığını doğrulamak için kullandığım arama terimlerini bile yazdığım oldu. Başka zamanlarda da neden açıkça kopya olmadığını açıkladım. Yine de kopya diye kapatıldı.
  • İnsanlar o kısmı sadece atlıyor. Akış şu: başlığı oku, kod örneğine göz gezdir, yanıtı yaz.
    Sonra yazdıklarımı tamamen görmezden geldiklerini söylediğimde, aksine beni yanlış yönlendirmekle suçlayıp eksi oy veriyorlar. SO usulü bu.

• Sorun, Google’ın spam gönderenlerle mücadelesini kaybediyor olması gibi görünüyor. Kazınmış içerik sitelerinden kaçınmak için arama sorgusuna stackoverflow eklemek zorunda kalalı epey oldu.

  • Google hiçbir mücadeleyi “kaybetmiyor”. Google, spam’in gelişmesine bilerek izin veriyor.
    Bu spam’in içinde Google Ads/Analytics bulunabiliyor; kullanıcı spam’e tıklayıp arama sonuçları sayfasına geri dönerek başka bir şey denediğinde etkileşim artıyor. Bunlardan biri reklam sonucu da olabilir. Tüm bunlar Google’ın gelirine katkı sağlıyor.
  • Ben de öyle görüyorum. Google, SO trafiğinin ezici çoğunluğunu gönderiyor olmalı.
    Birkaç yıl önce programlamayla ilgili arama yaptığınızda Stack Overflow birinci ya da ikinci sonuç olurdu. Şimdi ise en üstteki 2-3 sırada çok sık spam niteliğinde çöp çıkıyor.
  • Kazınmış içerik siteleri arasında özellikle YouTube bağlantıları berbat. Ne yazık ki bu insanların sırf Google arama sonuçları sayesinde “içerik üreticisi” olup reklamlardan epey gelir elde ediyor olmasına şaşırmam.
  • Benim deneyimime göre bu tür scraping siteleri çoğu zaman özgün kaynaktan daha üst sırada yer alıyor.
  • Google’ın artık arama yapmadığını, bir öneri motoruna dönüştüğünü düşününce her şey çok daha anlamlı oluyor. Üzücü ama böyle.

• Eskiden benzer bir soruya yanıt vermiştim ama hatırlamadım; 2 dakikada yeni bir yanıt yazdım ve eksi oy yağmuruna tutulunca SO’dan ayrıldım. Eski yanıtımı aramak, yeni yanıt yazmaktan çok daha uzun sürecekti.
  Yinelenenleri bulma sorumluluğunun yanıt verende değil, soruyu soranda olduğunu söylediğimde, yine de zaman harcamam gerektiği, yoksa yanıt vermemem söylendi.

  • Özellikle aynı şeyi daha önce yanıtladığını biliyorsan, asıl yanıtı bulman gerekir.
    Her kullanıcı bir moderatördür. Açıkça moderatör olanlar da var, ama onlar sık sık kapatma ya da eksi oy verme işinden çok başka sorunlarla ilgilenir. Küçük sitelerde yaptıkları, normal kullanıcı yetkileriyle oy vermek ve kapatmak düzeyindedir.
  • Bu yüzden çoğu geliştirici artık ChatGPT’yi tercih ediyor. Çok daha hızlı ve kullanışlı. Çok akıllı bir arama motoru gibi.
    SO, henüz görmediği problemler için bir kütüphane olarak kalacak; zaten asıl rolüne de iyi uyuyor.

• Bu yazı bana ChatGPT’nin yükselişi hakkında gibi görünüyor, ama aşırı moderasyonun büyük bir sorun olduğuna da katılıyorum.
  gamedev StackExchange’te OpenGL öğrenirken takıldığımda zor bir deneyim yaşamıştım. Bir moderatör, OpenGL ES hakkındaki benzer bir soruya dayanarak sorumu hemen yinelenen olarak işaretledi; oysa OpenGL ES ilişkili olsa da farklı bir API. İtiraz etmeye çalıştım ama dikkate alınmadım. Çok geçmeden birkaç yıldır üzerinde çalıştığım oyunu bıraktım; o moderatörün kararı da bunda etkili oldu. Yanıta giden yolun önünde bir duvar varmış gibi hissettirdi. Aşırı moderasyon basit bir rahatsızlık değil; kullanıcıların işlerini gerçekleştirme becerisini gerçekten zedeleyebilir.

  • Yazıdaki grafik, trafik düşüşünün ChatGPT’nin halka açılmasından birkaç ay önce, Mayıs 2022 civarında başladığını gösteriyor. Nedenin Google algoritma değişikliği olması daha olası görünüyor.
    Stack Overflow’a gittiğim çoğu durumda da sebep, soruyu bir arama motoruna yazmış olmam.
  • Deneyimli tarafta da aynı sorun var. Bazen SO’da ileri seviye bir soru sorup diğer deneyimli kişilerle etkileşime girmek istiyorum; ama sorumu açık tutmak için sorumu açıkça anlamayan moderatörlerle savaşmam gerekiyor.

• 2013 civarında frontend geliştirmeyi öğrenmeye çalıştığımı ve responsive web design ile Twitter Bootstrap’e hayran kaldığımı hatırlıyorum. O siteye birkaç soru gönderdim; amatörce sorular olduğu söylenerek birkaç kez alaya alındım, sonra o siteyi bir daha kullanmadım ve sonunda frontend de öğrenmedim.

  • Ben ters problemi yaşadım. Aslında oldukça iyi bildiğim bir alan vardı, ama sorulara yanıt verecek kadar karma puanım olmadığı için hiç yanıt veremedim.
  • Biraz giriş bariyeri var. Benden çok daha az deneyimli bir geliştirici arkadaşım, SO’nun kendisi denebilecek teknikte benden çok daha iyiydi. Ben sadece okuyup kendi sorunumu kendim çözüyorum.
  • Gittiğim üniversite, pratikte bilgisayar bilimi kılavuzunu önümüze atıp RTFM demişti. Neredeyse kalıyordum ama sonunda öğrendim.
    SO’da yalnızca iyi deneyimler yaşadım; yine de ortalamanın altındaki beceriksiz insanlar yüzünden hevesinizin kırılmamasını umarım.

• Moderasyon cehennemi de vardı, ama SO sorularını yanıtlamayı bırakmamın ana nedeni şuydu: İyi bir yanıt yazmak zaman alıyor; hızlı kopyala-yapıştır yanıtlar yanlış olsa bile oy alıyor; birçok yanıt arasından kabul edilen yanıtı seçen kişi de genellikle bunu değerlendirecek bilgiye sahip olmayan soru sahibi oluyor.
  Üstelik soru sahibi artık ilgilenmiyormuş gibi, yanıtların kabul edilmediği de sık oluyor. SO puan yarışını oyunlaştıran eski yazılara karşı güçlü bir tepki olmuştu, ama SO bozuk sistemi düzeltmeye çalışmak yerine olduğu gibi kaldı. SO nasıl Experts Exchange vb.’den kopuşu temsil eden bir hareket olduysa, şimdi de topluluğun SO sonrası Q&A sitesi başlatması için iyi bir zaman.

  • Popüler bir JS framework’ü hakkında aptalca bir soru sorarsan yüzlerce oy alırsın.
    Buna karşılık, dokümantasyonu neredeyse olmayan bir yazılımın zor bir kısmına, örneğin düşük seviyeli bir alana yanıt verirsen en fazla birkaç oy alırsın. Kabul edilirse şanslısındır. Zor ve muğlak SO etiketlerinde adı bilinmeyen birkaç kahraman var. Çok zaman harcıyorlar ama karşılığı neredeyse yok. SO’dan sonra gelecek şeyin bunu düzeltmenin bir yolunu bulması gerekiyor.

• Stack Overflow’da hissettiğim sorunları birkaç maddeye indirgemek zor ama kabaca şöyle. Eskiden Google, SO’nun çok alakalı sonuçlarını iyi gösterirdi; bir noktadan sonra bunu yapmamaya başladı ve SO’nun moderasyonu giderek daha berbat hale geldi.
  Aradığım tam da o tuhaf soruyu bulup, cevap olabilecek tek şeyin bir yorum olduğu; moderatörün de “konu dışı” gibi bir gerekçeyle agresifçe kapattığı durumların sayısını unuttum. Sonuçta doğru cevap yorumların içinde gömülü kalıyor ve çoğu zaman olumsuz tepki alıyor. Bunlar üst üste binince, istenen bilgiyi gürültünün içinden süzmek giderek zorlaştı; çözümü GitHub yorumlarında ya da rastgele bir blogda bulmak daha kolay hale geldi.

  • İlki en önemlisi gibi görünüyor. SO bugün berbat olabilir ama birkaç yıl öncesinden kalma iyi cevaplar yıllarca birikmiş durumda. Peki neden artık görünmüyorlar?
    Google’ın bugünlerde w3schools’u ya da daha kötüsü geeks4geeks gibi içerik çiftliklerini önermesi, Stack Overflow’dan her zaman daha kötü. Algoritmanın ne yaptığını bilmiyorum ama Google aramayı olabildiğince hızlı öldürmeye çalıştığı kesin gibi. “[dil] [sembol]” diye arayınca bile dokümantasyon yerine bu içerik çiftliklerine göndermesi de şaka gibi. Bugünlerde Google ile işe yarar bir şey bulmak gerçekten zor.
  • Ben de “X nasıl yapılır?” diye ararken, bunu soran bir SO sorusuna sık sık rastladım. Ama cevap verenler, X’i neden yapmak istediğinizi açıklayana kadar cevap vermiyor; sonunda da aslında Y yapmanız gerektiğini güzelce anlatıyorlar.
    Oysa benim gerçekten X’e ihtiyacım var, bu yüzden o cevaplar işe yaramıyor. Sonra X’in nasıl yapılacağını soran başka bir soru bulunca, moderatörler önceki sorunun kopyası diyerek kapatıyor. Soruyu soran kişi “Benim gerçekten X’e ihtiyacım var, bu yüzden o sorunun kopyası değil” diye açıkça belirtse bile kapatılıyor.
  • Tipik bir SO başlığı şöyle olur. Soru sahibi: “Y ile X nasıl yapılır?” En çok oy alan cevap: “Ben Y ile X yapmazdım. Onun yerine Z’yi düşünün. Z, Y ile X’in yaptığı her şeyi yapar, ayrıca şunları da yapar.”
    En çok oy alan cevabın gömülmüş alt yorumu: “Soru bu değil. Y ile X yapmak için şöyle yapabilirsiniz.” Ve soruyu gerçekten cevaplayan kişi, en çok oy alan cevaptaki yöntemi izlemediği için 10 yorum boyunca saldırıya uğrar.
  • Kişisel olarak bunda iyi resmi dokümantasyonun artmasının etkisi büyük. 12-13 yıl önce SharePoint 2013 çıktığı sırada SharePoint 2010 için bir şey geliştirmem gerekiyordu.
    SharePoint geliştiricisi değildim ve ilk deneyimimdi; ama sistemi anlamak için kılavuz ya da spesifikasyon okuma gibi eski usul yöntemlere alışkındım. Bitmap formatları, güneş enerjisi invertörleri, gömülü inşaat yazılımları gibi şeylerle uğraşmıştım; dolayısıyla SharePoint’in de kolay olması gerekirdi ama StackOverflow olmadan yapamazdım. 2023’te tekrar SharePoint işi gerektiğinde ise resmi dokümantasyon o kadar iyiydi ki başka hiçbir şeye ihtiyaç kalmadı. Bu izole bir örnek ama bugün uğraştığım neredeyse her şeyde benzerini görüyorum. 10 yıl daha deneyim kazanmış olmamın da payı var, ama sektörün resmi kanalları çok daha iyi yönetir hale gelmesinin de etkisi büyük bence. Bir sorun çıktığında artık StackOverflow’a mı gidiyoruz, yoksa GitHub issue’ları gibi yerlere mi?
  • Birçok biçimde tekrar tekrar gördüğüm tipik bir kalıp var. Soru başlığı çok net: “X bağlamında F”; gövdede de “Y bağlamındaki F’yi sormuyorum; standart U’ya göre alınabilen libT’yi de sormuyorum. X bağlamında libS için F çalışıyor mu?” yazıyor.
    Ama 100’den fazla oy alan, 50 ödüllü ve otomatik kabul edilmiş A1, “çalışır” deyip Y bağlamında libS için, bağlamı çıkarılmış F’nin yalnızca bir kısmını uzun uzun açıklıyor. Yorumlarda “doğru cevap değil, A15’e bakın” deniyor; başka bir yorum da A15’in U ile ilgili dayanağının ikincil bir site olduğunu ve güvenilir olmadığını söylüyor. A2-A7, A1’in tekrarından ibaret; A8, Y bağlamındaki sorunun bağlantısını verip bunun kopya olduğunu söylüyor; A9-A14 ise farklı davranan libT örnekleri verip “çalışır” diyor. Yalnızca A15, “Soru X bağlamında libS için F’yi soruyor ve Y olmadığını açıkça belirtiyor; libS’in X bağlamında bakarsak çalışmaz. Nedeni foo” deyip libS dokümantasyonuna, kaynak koduna ya da örneklere bağlantı veriyor. Daha sonra libS vN+1’de X bağlamında F eklenince, yıllar sonra bir yorum “bu cevap artık geçersiz” diyor. Ardından rastgele cevaplar devam ediyor.