7 Mart 2024'te yaşanan Tailscale.com kesinti olayı

Tailscale.com'da 7 Mart 2024 hizmet kesintisi hakkında

• 7 Mart 2024'te Tailscale.com'a, TLS sertifikasının süresinin dolması nedeniyle yaklaşık 90 dakika boyunca erişilemedi.
• Bu sorun hızlıca tespit edilip çözüldü ve esas olarak pazarlama materyalleri ile dokümantasyonu etkiledi.
• Beklenmeyen hizmet kesintileri bir sorundur; bu nedenle neyin yaşandığını, etkilerini ve tekrarını önlemek için alınacak önlemleri açıklamak istiyoruz.

Ne oldu

• Aralık 2023'te, yeni bir hosting sağlayıcısına geçişi de içeren büyük bir web sitesi yenilemesi yapıldı.
• Hosting sağlayıcısı varsayılan olarak IPv6 desteklemediği için, IPv6 isteklerini işlemek üzere ayrı bir proxy çalıştırıldı.
• Bu yapılandırma hosting sağlayıcısı tarafından 'yanlış yapılandırma' olarak değerlendirildi ve uyarı alındı; ancak bunun otomatik sertifika yenilemeyi engelleyeceği fark edilmedi.
• Sertifika süresinin dolduğunu kontrol eden bir probe vardı, ancak yalnızca IPv6 üzerinden kontrol yaptığı için sadece proxy'nin yönettiği geçerli sertifikayı doğruladı ve yaklaşan süre sonunu tespit edemedi.

Etki

• Tailscale işlemlerinin çoğu ana web sitesine erişim gerektirmediğinden, birçok kullanıcı normal kullanımda aksama yaşamadı.
• Dokümantasyon, blog ve diğer referans materyallerine erişilemedi; yönetim konsolu ve ayar sayfaları etkilenmedi, ancak doğrudan erişim yöntemini bilmeyen kullanıcılar bunların da çevrimdışı olduğunu düşünebilirdi.
• Hızlı kurulum script'ine erişilememesi bazı kurulumları, otomatik kurulumlar dahil, aksattı.
• Tailscale paketlerini sunan alan adı erişilebilir durumdaydı ve Go'nun go get mekanizması üzerinden çözümleme önbellekleme sayesinde asgari düzeyde etkilendi.

Çözüm için alınan önlemler

• Sorun tespit edildikten sonra, ek AAAA kaydı geçici olarak kaldırıldı ve ilgili sertifika elle yenilendi.
• IPv6 üzerinden site ve servis erişilebilirliğini korumak için kayıt geri yüklendi.
• Kısa vadede, birden fazla yedek takvim hatırlatıcısı ve manuel yenileme için belirlenmiş zamanlar oluşturulması planlanıyor.
• Probe altyapısı güncellenerek IPv4 ve IPv6 endpoint'lerinin ayrı ayrı kontrol edilmesi sağlanacak.
• Web sitesi altyapısında IPv6'nın daha doğrudan desteklenmesiyle proxy'nin gereksiz hale getirilmesi umuluyor.
• Tailscale'in tasarımı sayesinde, bu kesinti kullanıcıların çoğunu kullanım senaryolarının büyük bölümünde etkilemedi.

GN⁺ görüşü

• Tailscale'in hizmet kesintisi örneği, IT altyapı yönetiminin önemini vurguluyor. Özellikle sertifika yenileme gibi temel bakım işlerinin ne kadar kritik olduğunu gösteriyor.
• Bu olay, IPv6 desteğinin önemini ve aynı zamanda mevcut altyapıyla uyumluluk sorunlarını çözmek için yaratıcı yaklaşımlara ihtiyaç duyulduğunu düşündürüyor.
• Benzer işlevler sunan diğer hizmetler arasında Cloudflare ve Let's Encrypt bulunuyor; bunlar otomatik sertifika yenileme özelliği sunarak benzer sorunları önleyebilir.
• Teknoloji benimsenirken altyapı uyumluluğu, otomasyon olasılığı ve bakım kolaylığı dikkate alınmalı. Bu tür olaylar, teknoloji seçiminde artı ve eksilerin neden dikkatle değerlendirilmesi gerektiğini gösteriyor.
• Bu yazı, kullanıcıların ve yöneticilerin sertifika süresinin dolması gibi temel sistem yönetimi işlerine karşı farkındalık kazanmasına yardımcı olabilir.

[GN⁺]

Hacker News yorumları

• Süresi dolan sertifika sorunu

  Süresi dolan sertifikaların yeni DNS kesintilerinin nedeni olduğu belirtiliyor. Tailscale kullanarak her yerden güvenli şekilde çalışabilme deneyimi paylaşılıyor. Tailscale üzerinden şirket içi sunuculara ve AWS prodüksiyon kurulumuna erişildiği, yerel Wi‑Fi yavaş olsa bile başka bir konumdan SSH ile sorunun çözülebildiği anlatılıyor. Tailscale, ağ erişim izinlerini kolayca verme ve geri alma imkanı sunuyor.

• Sertifika süresinin dolmasından kaynaklanan sorun

  Sertifika süresi dolma sorununun yeniden yaşandığı belirtiliyor. Postmortem’in bir parçası olarak pazarlama sitesi ile müşteri operasyonlarının kritik yolunun ayrılması öneriliyor. GitHub veya Zendesk gibi sitelerde kesinti yaşanmasının sanıldığından daha yaygın olduğuna dikkat çekiliyor.

• Pazarlama sitesi ile uygulama arasındaki bağlantı sorunu

  Pazarlama sitesine uygulama giriş sayfası bağlantısı koyulduğunda yaşanan bir sorun paylaşılıyor. Pazarlama sitesi çöktüğünde kullanıcıların uygulamanın da çöktüğünü sanabildiği fark edilmiş. Kullanıcılar kendilerine sunulan yolu izliyor ve çoğu zaman başka yolların varlığını bilmiyor.

• Fiyatlandırma politikasına yönelik memnuniyetsizlik

  Tailscale hizmeti beğenilse de, VPN için uygun erişim kontrolünün aylık 18 dolar gibi yüksek bir fiyatla gelmesinin bunu yönetime satmayı zorlaştırdığı belirtiliyor. Daha düşük seviye hizmetlerin erişim kontrolü olmadan satılmasının da zor olduğu söyleniyor.

• Web sitesi sağlayıcısına dair soru işaretleri

  Web sitesinin sağlayıcısının kim olduğu ve IPv6 desteği olmadığı için neden karmaşık prosedürlerden geçilmesi gerektiği sorgulanıyor.

• Mühendislik kültürüne övgü

  Aralık ayında büyük bir güncellemenin, güvenilir CI/CD ve izleme süreçleriyle yapılmış olmasının kıskanılacak bir şey olduğu ifade ediliyor. Ancak IPv6 yapılandırma sorunu yüzünden sertifika yenilemenin neden başarısız olduğu, sorunun çözümünün neden 90 dakika sürdüğü ve neden IPv6 destekleyen bir DNS sağlayıcısına geçilmediği gibi yanıtsız sorular olduğu belirtiliyor.

• Neden TLS termination gerektiğine dair soru

  Proxy’nin TLS termination yapmasının gerçekten gerekli olup olmadığı, basit bir TCP proxy’nin yeterli olup olmayacağı soruluyor. TCP proxy kullanılırsa otomatik yenilemenin mümkün olabileceği belirtiliyor.

• Takvim hatırlatıcılarına dair alaycı gönderme

  Atalarımız gibi birden fazla yedekli takvim hatırlatıcısı kurmaya dair esprili ifadeyi beğendiği söyleniyor.

• Güvenliğe dair endişe

  Tailscale güvenlikle ilgili küçük bir hata bile yapsa, biraz paranoyak kişiler için bunun fazla riskli olabileceği belirtiliyor. Bunun için daha iyi bir çözüme ihtiyaç olduğu söyleniyor.

• Altyapı izleme ve otomatik yenileme önerisi

  Altyapı izlemesinin bulunması gerektiği, tüm genel alan adları için hem IPv4 hem IPv6’ya bağlanıp sertifika bitimine 19 gün kala uyarı veren kod eklenmesinin faydalı olacağı öneriliyor. Otomatik yenilemenin bitime 20 gün kala ayarlanmasının SSL kaynaklı kesintileri önleyebileceği belirtiliyor.