Birden Fazla GitHub Hizmetinde Kesinti Olayı

 (githubstatus.com)
2 puan yazan GN⁺ 5 일 전 | 1 yorum | WhatsApp'ta paylaş
  • Webhooks, Actions, Copilot dahil olmak üzere birden fazla GitHub hizmetinde hem erişilebilirlik düşüşü hem de hizmet kesintisi yaşandı
  • İlk aşamada Copilot ve Webhooks tarafındaki erişilebilirlik düşüşü incelendi, ardından soruşturmanın kapsamı birden fazla hizmetteki kesintileri kapsayacak şekilde genişletildi
  • Actions ayrı olarak performans düşüşü yaşadı ve temel sorun tespit edildikten sonra hafifletme çalışmaları yürütüldü
  • Actions ve Copilot tarafındaki düşüş hafifletildikten sonra kararlılık izleme ve kalan hizmetlere yönelik doğrulama çalışmaları sürdü; Webhooks da normal çalışmaya geri döndü
  • Bu kesinti nihayetinde tamamen çözüldü durumuyla kapatıldı ve ayrıntılı root cause analysis hazır olur olmaz paylaşılacak

Kesinti Süreci

  • GitHub'da birden fazla hizmet kesintisi yaşandı ve etkilenen kapsamda Webhooks, Actions, Copilot yer aldı
  • İlk olarak Copilot ve Webhooks'taki erişilebilirlik düşüşü incelenmeye başlandı
  • Ardından birden fazla hizmet kullanılamaz duruma geçince soruşturmanın kapsamı genişletildi
  • Actions ayrıca performans düşüşü yaşadı ve nedenin tespiti için çalışmalar sürdü
  • Temel sorun belirlendikten sonra hafifletme çalışmaları yürütüldü
  • Actions ve Copilot'u etkileyen düşüş hafifletildi ve kararlılığın korunması için izleme devam etti
  • Birçok hizmet için hafifletme uygulandıktan sonra kalan hizmetler için doğrulama çalışmaları da sürdü
  • Webhooks da normal çalışmaya geri döndü
  • Sonuç olarak bu kesinti tamamen çözüldü durumuyla kapatıldı ve ayrıntılı root cause analysis hazır olduğunda paylaşılacak

Referans Bağlantıları

İlgili okumalar

1 yorum

 
GN⁺ 5 일 전
Hacker News yorumları

  • Evde self-hosting ile şunu bunu taşımakla uğraşıyordum ve dün sonunda evde Forgejo instance’ımı tamamladım
    Linux ve Windows’u VM olarak, macOS’u ise bir Mac Mini ile kurup CI/CD runner’a kadar bağladım; artık kaynak kodu, Actions ve gerçek altyapının hepsi gerçekten evin içinde
    Genelde self-hosting’e geçtikten sonra bunun iyi bir karar olduğunu hissetmem bir iki ay sürer ama bu kez migration biter bitmez ertesi gün bu seçimin doğru olduğuna iyice emin oldum, o yüzden keyfim oldukça yerindeydi

    • homelab fikri hep cazip geliyor ama gerçekten kurmaya başlayınca çabuk yoruluyorum
      Bütün gün işte bozuk sistemleri düzelttikten sonra eve gelip bir de kendi kişisel sysadmin rolümü üstlenmek istemiyorum
      Noel’de aldığım, gayet iyi ve performanslı bir Minisforum masanın üstünde duruyor ama hâlâ fişini bile takmadım
    • Self-hosting’e başlayınca modern web’in ne kadar yavaş olduğunu hemen fark ediyorsun
      Forgejo’yu bir NUC ve Proxmox üzerindeki çeşitli servislerle birlikte çalıştırıyorum, sayfa yükleme süresi yaklaşık 6ms
      Immich o kadar hızlı değil ama yine de Google Photos’tan çok daha hızlı
    • Bir süredir kişisel Forgejo işletiyorum ve özel yan projelerimin hepsini oraya koyuyorum
      Arayüz genel olarak benzer olsa da GitHub’dan çok daha akıcı. Sebep olarak uptime’ın %90’ı geçmesini söylemek bile yeterli
      Son zamanlarda GitHub kaynaklı sorunları fazla sık yaşıyorum; siteyi sadece gezinmek bile çoğu zaman yavaş oluyor ya da tamamen takılıyor
    • Ben de yakın zamanda böyle taşındım; beni en çok şaşırtan şey Actions hızının GitHub’dan çok daha iyi olmasıydı
      Linux ve macOS’u Mac Mini ile Claude’un oluşturduğu bir Ansible task file kullanarak kurdum ama Windows VM yapılandırması oldukça sancılı görünüyordu
      Acaba deployment sürecini basitleştirmenin bir yolunu buldun mu diye merak ediyorum
    • Dün burada gitea ile ilgili bir şey okuyup biraz araştırdıktan sonra ben de hemen self-hosting’e geçip tüm kişisel projelerimi Forgejo’ya taşıdım
      Ama herkese açık projeleri iş piyasası ve GitHub’ın network effect’i yüzünden taşımak zor
      Şu an ihtiyaçlarım için yaklaşık 20 kadar yerel servis çalıştırırken kendimi sistem yöneticiliği oyunu oynuyormuş gibi hissediyorum; en önemlisi de artık veri kaybını önleme sorumluluğu bende olduğu için düzenli yedekleme şart

  • https://mrshu.github.io/github-statuses/ verilerine göre uptime %88.15 seviyesine kadar düşmüş
    Tek tek bileşenlere bakınca da en yükseği %99.78, yani ancak two nines seviyesinde

    • Yönetmeleri gereken büyüme ölçeği akıl almaz derecede büyük
      2025’te 1 milyar commit vardı, şimdi haftada 275 milyon commit işleniyor; yalnızca doğrusal büyüme varsayılsa bile bu yıl 14 milyar commit hızına denk geliyor
      GitHub Actions da 2023’te haftada 500 milyon dakikadan 2025’te 1 milyar dakikaya çıktı; bu hafta ise şu ana kadar 2.1 milyar dakika deniyor
      Kaynak, GitHub COO’sunun 2026-04-03 tarihli gönderisi: https://x.com/kdaigle/status/2040164759836778878
    • Bunun, GitHub’ın Azure migration işini önceliklendirmesiyle bir korelasyonu olup olmadığını merak ediyorum
      https://thenewstack.io/github-will-prioritize-migrating-to-azure-over-feature-development/
    • Microsoft’un dayattığı AI, self-hoster’lar ve Linux meraklıları için gerçekten büyük bir iyilik yapmış oluyor

  • Bu arızalar tekrar tekrar yaşanırken GitHub’ın gerçekten anlamlı bir iş kaybı yaşayıp yaşamadığını merak ediyorum
    Sektörde uzun süre güvenilirlik ve marka değerinin kilit olduğu söylenirdi ama artık buna neredeyse hiç önem verilmiyormuş gibi görünüyor
    Eğer algım yanlışsa memnuniyetle düzeltilmek isterim

    • Daha 2-3 yıl önce bile yazılımı istikrarlı ve güvenli biçimde dağıtmak için repeatable builds, doğrulanmış chain of custody ve denetlenebilir bill of materials’ın şart olduğu konusunda neredeyse herkes hemfikirdi
      Ama LLM’ler biraz iyileşince sanki bütün bu konuşma tamamen ortadan kayboldu
    • GitHub artık fazla yerleşik bir platform, bu yüzden bu tür arızalar iş yapmanın maliyeti gibi görülüyor
      Büyük şirketler bir ölçüde kendi internal instance’larıyla korunuyor; geri kalanlarınsa bunu gerçekten kritik görmediği, ya da kendi çözümlerini kuracak veya taşınacak kaynağa sahip olmadığı anlaşılıyor
    • GitHub’dan GitLab’a geçmek, tavadan çıkıp ateşe düşmek gibi olabilir
      Büyük ölçekte kullananlar için gerçekten iyi bir alternatif olsa keşke

  • 90 günlük rolling dönem baz alındığında two nines altına düşmek için yaklaşık 16 saat daha ek kesinti gerekebilir gibi görünüyor

  • Sanırım endişelenecek bir şey yok; status page hâlâ her şeyin yeşil, %100 normal olduğunu söylüyor
    Üstelik tek bir statik sayfaya bile erişilemezken

  • Artık GitHub servislerinde sorun olmayan bir gün yaşandığında HN’de başlık açılması gereken noktaya geldik
    Yoksa bu zaten normal durum demek oluyor

  • Eskiden Bitbucket tarafında birden fazla repo genelinde bir günlük git history’yi kaybettikleri olmuştu
    Bu bir outage’dan çok onların veri problemiydi; yerel clone’lar sayesinde çoğunu kurtardık ama o zaman dilimindeki issue ve PR’lar tamamen kayboldu
    Bu yüzden yan proje olarak gitbacker yapmaya başlamıştım
    Repo’nun kendisini yedeklemek kolay; asıl ilginç kısım metadata yedekleme

  • Bugün bir de gerçekten çok ciddi bir olay yaşandı: https://www.githubstatus.com/incidents/zsg1lk7w13cf
    Merge queue’nun squash merge veya rebase ile birlikte kullanıldığında ortaya çıkan bir regression yüzünden, 2026-04-23 16:05-20:43 UTC arasında bazı PR’lar yanlış merge edilmiş
    Bizim tarafta o zaman aralığında varsayılan branch’te yaklaşık 8 commit tamamen geri alınmış
    GitHub incident’ları arasında ilk kez bu kadar ciddi bir şey görüyorum

    • Downtime bir tür sorun ama varsayılan branch’teki commit’leri sessizce geri almak tamamen başka düzeyde bir başarısızlık
    • Bizde de benzerdi
      Normalde merge conflict’i önlemesi gereken aracın tam tersine mainline branch’e bozuk commit’leri doğrudan yazıyor olması ironikti
    • Bizde de main’de birkaç commit kayboldu, ama PR durumu merged olarak kalmaya devam etti
      Gerçekten çok stresliydi
    • Bizde de birden fazla repo’da PR’lar geri alınmıştı
      Downtime kötü ama PR’ları geri almak bir seviye daha ağır bir başarısızlık
    • Bize de etkilenen commit listesi ve kurtarma yöntemini içeren PDF ekli bir e-posta geldi
      Gerçekten tam bir keşmekeşti

  • Bizim ihtiyaçlarımız git repos + actions düzeyinde oldukça basit ve ara sıra yaşanan downtime da sürekli commit atıp deployment yapan bir ekip olmadığımız için tamamen yıkıcı değil
    Yine de artık alternatiflere ciddi ciddi bakıyoruz
    Tam da alternatif arayanlar akın etti herhalde, SourceHut da çöktü. Yazıyı yazarken kapalıydı, şimdi geri gelmiş
    https://sr.ht/

    • Acaba tangled.org nasıl olur?

  • Sadece bugün bile üç ayrı incident yaşandı; her biri neredeyse 1 saatten uzundu ama günlük durumun tamamı yeşil görünüyor ve kayıtlı downtime yok deniyor
    Eskiden kırmızı çubuk çıkan incident’lardan özünde farklı da görünmüyor, yalnızca süreleri birkaç saat değildi o kadar
    O zaman o yeşil çubuğun tam olarak neyi ifade ettiğini anlamıyorum
    İnsanlar yeterince şikâyet ederse sonradan yeşil dışı bir renge mi dönüyor, yoksa aynı gün yaşanan incident’lar sadece tooltip’te kısa süre görünüp sonra sessizce unutuluyor mu diye şüpheleniyorum
    Şimdiye kadarki yeşil tarihlerde tooltip’te hiç incident görünmezken yalnızca bugün birkaç tane görünmesi, hangi açıklama doğru olursa olsun bunun bilerek yanıltıcı bir gösterim gibi hissettirdiğini düşündürüyor