- Perşembe günü ABD’de yaşanan AT&T kablosuz kesintisi, arama, mesajlaşma ve bazı 911 acil çağrılarını aksattı; AT&T, Doğu saatiyle 15:00’ten kısa süre sonra etkilenen tüm müşterilerin hizmetinin geri yüklendiğini bildirdi
- İlk incelemeye göre nedenin siber saldırı değil, ağ genişletme sürecinde hatalı bir sürecin uygulanması ve yürütülmesi olduğu belirlendi; AT&T ek değerlendirmeleri sürdürecek
- Downdetector bildirimleri Doğu saatiyle 04:00 civarında artmaya başladı ve 08:30’da yaklaşık 74.000 ile zirveye ulaştı; öğle saatlerinde de yaklaşık 58.000 bildirim yapıldı
- Kesintiden etkilenen cihazlarda sinyal çubukları kayboldu veya SOS göstergesi göründü; müşteriler Wi-Fi calling’i açtıklarında arama yapabildi
- Verizon ve T-Mobile için de ayrı ayrı binlerce bildirim geldi, ancak iki şirket bunun büyük olasılıkla diğer ağların kullanıcılarına bağlanmaya çalışırken yaşanan sorunları yansıttığını düşünüyor
AT&T kesintisi ve toparlanma durumu
- Perşembe günü ABD genelinde binlerce AT&T kullanıcısı hücresel kesinti yaşadı ve arama ile kısa mesaj kullanımında aksaklıklarla karşılaştı
- AT&T, Doğu saatiyle 15:00’ten kısa süre sonra etkilenen tüm müşterilerin hizmetinin geri yüklendiğini duyurdu
- Şirket, müşterilerin bağlantıda kalmasının en büyük öncelik olduğunu ve müşterilerin aynı şeyi tekrar yaşamaması için önlem aldığını söyledi
- AT&T, system updates adlı bir web sitesi oluşturdu, ancak Perşembe günkü kesintiden etkilenen müşteri sayısını açıklamadı
Kesintinin nedeni ve düzenleyici kurumların tepkisi
- AT&T’nin Perşembe gecesi yaptığı ilk incelemeye göre kesintinin nedeni, ağ genişletme sürecinde kullanılan hatalı bir sürecin uygulanması ve yürütülmesiydi
- Aynı açıklamada bu kesintinin siber saldırı olmadığı da doğrulandı
- FCC, X üzerinden olayla ilgili soruşturma yürüttüğünü ve AT&T ile kamu güvenliği yetkilileriyle temas halinde olduğunu açıkladı
- AT&T, kesinti değerlendirmesini sürdürmeyi planlıyor
Downdetector bildirim eğilimi ve hisse fiyatı
- Downdetector.com verilerine göre kesinti bildirimleri Doğu saatiyle 04:00 civarında artmaya başladı
- Bildirim sayısı 08:30 civarında yaklaşık 74.000 ile zirve yaptı
- Öğle saatlerinde yaklaşık 58.000 kesinti bildirimi raporlandı
- AT&T hisseleri Perşembe gününü %2,41 düşüşle kapattı
Cihaz göstergesi ve 911 etkisi
- Kesintiden etkilenen telefonların ekranının sağ üst köşesinde sinyal çubukları görünmüyordu veya SOS ibaresi yer alıyordu
- Müşteriler Wi-Fi calling özelliğini etkinleştirince arama yapabildi
- San Francisco Fire Department, X paylaşımında AT&T kablosuz müşterilerinin arama yapamadığını veya alamadığını, buna 911 çağrılarının da dahil olduğunu duyurdu
- Atlanta Belediye Başkanı Andre Dickens, kentin 911 çağrılarını alıp yapabildiğini, ancak bölgedeki AT&T müşterilerinin telefonlarının SOS modunda olduğunu bildirdiğini söyledi
- Massachusetts State Police, cep telefonu 911 hizmetinin çalışıp çalışmadığını kontrol etmeye yönelik çağrıların 911 merkezlerine yığıldığını belirterek bunun yapılmamasını istedi
- Acil olmayan bir aramayı normal bir numaraya başarıyla yapabiliyorsanız 911 hizmetinin de çalıştığı belirtildi
Verizon ve T-Mobile bildirimleri
- Downdetector verilerine göre Doğu saatiyle 10:00 itibarıyla Verizon ve T-Mobile kullanıcıları da ayrı ayrı binlerce kesinti bildirimi yaptı
- İki şirket, bu bildirimlerin büyük olasılıkla diğer ağlardaki kullanıcılara bağlanmaya çalışırken yaşanan zorlukları yansıttığını düşünüyor
- T-Mobile, e-postayla gönderdiği açıklamada Downdetector’un büyük olasılıkla müşterilerin diğer ağ kullanıcılarına bağlanmaya çalışırken yaşadığı sorunları yansıttığını söyledi
1 yorum
Hacker News yorumları
Bu ciddi bir mimari kusur
Bell System'in elektromekanik santral geçmişinin tamamına bakıldığında, doğal afetler ya da NYC'deki büyük bir yangın dışında hiçbir merkez santral 30 dakikadan uzun süre hizmet dışı kalmamıştı
1960'lar ve 70'lerde AT&T Long Lines sistemi, 10 bölgesel merkezin tamamının bağımsız ve sıkı biçimde birbirine bağlı olduğu bir yapıdaydı; Bedminster, NJ'deki kontrol merkezi ise yalnızca izleme ve 15 dakikalık aralıklarla yönlendirme güncellemelerinden sorumluydu
Gerekirse tüm santraller varsayılan yönlendirmeye geri dönebiliyordu; yük yüksek olduğunda bazı aramalar başarısız olsa da çoğu çalışmaya devam ediyordu
Nedeni, yönlendirmeyi işleyen C kodunda bir
breakifadesinincontinueifadesiyle değiştirilmesiydi ve zincirleme etki yarattıAncak yalnızca şehirlerarası telefon hizmetini etkiledi
Bunun sadece bir hayal mi yoksa gerçek mi olduğunu; gerçekse ne anlama geldiğini merak ediyorum
502'nin kaynağı Azure'du ve bu bir bulut mimarisi sorunu gibi görünüyor
Burada pek tartışılmayan bir şey var: Bu kesintinin zincirleme etkileri, özellikle de sürücüler üzerindeki etkisi nasıldı?
Binaların içindeki birçok kişi Wi-Fi üzerinden geçici çözüm bulabilmiş olabilir, ancak sürücüler için etkisi epey geniş olmuş gibi geliyor
Örneğin telefonlarındaki harita uygulamalarına bağımlı UPS, FedEx, Amazon ve kamyon sürücülerinin teslimat gecikmeleri; Uber/Lyft/taksi şoförlerinin yolcu alma-bırakma rotalarını görememesi; rota optimizasyonu ya da hedef yönlendirmesi alamadıkları için kötüleşen trafik gibi şeyler akla geliyor
Büyük şirketler kendi altyapıları ya da özel GPS cihazları gibi yedekli yapılara sahip olabilir, ama gerçekten böyle etkiler oldu mu ya da bir geçici çözüm var mı merak ediyorum
Sürücülerden bağımsız olarak, telefon edilemediği için acil durumlarda tedaviye ulaşamama riskinin de artmış olabileceğini düşünüyorum; acil aramaların bundan nasıl etkilendiği de net değil
Toronto'da sinyal zamanlaması değişiklikleri için tüm trafik ışıklarının dörtte biri Rogers hücresel ağına bağlıydı; belediye binalarındaki yangın alarmları ve sprinkler sistemlerinin uzaktan izlenmesinde de Rogers GSM ağı kullanılıyordu
Kamusal otopark ödemeleri ve kamu bisiklet hizmeti de kullanılamıyordu
https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
Yaz olduğu için çocuklara yönelik bazı park programlarının da iptal edildiğini hatırlıyorum. Bunun nedeni, personelin 9-1-1'i arayabilecek bir cep telefonuna sahip olması gerekmesiydi; en azından o aramanın kendisi burada çalışıyor gibi görünüyordu
Cep telefonuna bağımlılığımı bilerek azalttığım için herhangi bir kesinti olduğundan bile haberim yoktu. Eskiden çok kısa yolculuklarda bile Google Maps'i otomatik olarak açardım, ancak bir şirketin konumumu takip edip bana talimat vermesine tamamen bağımlı olursam kendi başıma yol bulma becerimi kaybedeceğimi fark ettim ve Google'dan uzaklaşma sürecinde Organic Maps'e geçtim
Yine de mümkün oldukça GPS yardımı olmadan kendi başıma yolumu bulmaya çalışıyorum; yol bulma pratik yapılmazsa gerçekten kaybedilebilecek bir beceri gibi geliyor
Bu sabah şehir merkezini çapraz geçip bir işimi hallettikten sonra, bildiğim en büyük ana artere geri dönmeye çalıştım ve batı yönünde en az 1 mil uzanan tam bir tıkanıklığa hemen yakalandım. Kaza mı var diye baktım ama hiçbir şey görünmüyordu; herkes öylece durmuştu
Hemen U dönüşü yapıp 0,75 mil kuzeydeki başka bir batı yönlü yola gittim; orada hiç araç yoktu ve hız sınırında eve kadar gidebildim
Yaygın kullanılan navigasyon uygulamaları sıkışıklık olduğunda alternatif rota önerir; peki 1 mil bile uzakta olmayan paralel yol boşken neden herkes o sıkışıklıkta oturuyordu? Telefonları başka yoldan gitmelerini söyleyemeyince, telefon yönlendirmelerine fazla alışmış insanların yarattığı zincirleme bir etki olabilir
Otomatik yerel harita özelliği de var gibi
Çoğu sürücü bildiği rotaları kullanır ve elektronik araçlarla yol tarifi almaz
Daha iyi soru, otonom araçlara ne olduğudur. Hücresel kapsama olmadan yol bulamayacakları için yol kenarına mı çekilmişlerdi
Temel nedeni tahmin etmeye çalışanlara söylemek gerekirse, şu ana kadarki yorumlardan çıkan bilgilerle bir sonuca varmak için yeterli değil
Bir operatörde çalışırken Kanada çapında hücresel sorunlarla birkaç kez uğraştım; ülke geneline yayılan etkiler gerçekten çok farklı nedenlerden kaynaklanabiliyor
Ağa yeni bir route enjekte edildiğinde belirli hücresel ekipmanların routing engine'lerinin ülke genelinde çöktüğü olmuştu; sonuçta ülkedeki hücresel cihazların yalnızca internet erişimi kesilmişti. Neyse ki saat 02.00 bakım penceresindeydi ve mesai saatinden önce fark edilip geri alındı, bu yüzden çoğu kişi bilmedi
Bir teknisyen yeni bir router'ı takınca mevcut core router'ların çöküp yeniden başladığı da olmuştu. Haber olacak düzeydeki etki yaklaşık 20 dakikalık bölgesel bir kesintiydi, ama sonraki 12 saat boyunca Pasifik'ten Atlantik kıyısına kadar bug'lar ve yan etkiler bulduk
Bu yüzden “x konumunda etkilendi” verisi, o bölgenin tamamının mı çöktüğünü, çok sayıda kişinin mi sorun yaşadığını, yoksa bir iki kişinin başka bölgelere yayılan bir sorundan mı etkilendiğini ayırt etmeyi zorlaştırıyor; belirli bir konumda çalışıyor/çalışmıyor bilgisinin değeri sınırlı
Mesajlaşma rölesinin ayarlanmış hız sınırına takıldığı ve protokol yeniden denemeleri yüzünden mesaj oranının daha da yükselerek belirli bir protokolde fiilen tıkanıklık çöküşü yaşandığı da olmuştu. Durum aktarımındaki tıkanıklık sorunu olduğu için ülke genelinde etkisi vardı, ama yine de mesaj akışı x% olasılıkla tamamlanıyor ve hizmet çalışıyordu
Ünlü Rogers kesintisinde de tüm temel nedeni kabul edip etmediklerini hatırlamıyorum. Routing ağı değişikliği veya yükseltmesi yaparken sorunun yan etkisi olarak teknisyenlerin bile ağdan atıldığına dair tahminler vardı. Ulusal ağ çökünce ve çalışanlar da aynı ağı kullandığı için koordinasyon zorlaşınca toparlamak güçleşmişti
İncelediğim CRTC başvuru belgelerinde işe yarar bilgilerin tamamı karartılmıştı, bu yüzden öğrenilecek pek bir şey yoktu. Tahmin yürütmek eğlenceli, ama bu kez AT&T'nin Kanadalı operatörlerden daha şeffaf olup sektörün bir şeyler öğrenebilmesini umuyorum
Bir başka dev organizasyonun, şirketi bozabilecek bir değişiklik için geri alma ya da başarısızlık planı bulundurmamasını görmek ilginçti. Temel IT 101 bile yoktu ya da çok sınırlıydı
Olumlu olarak öğrendiğimiz şey, büyük üçlüden, aslında fiilen iki operatörden, kendi ağları çöktüğünde kritik çalışanlara diğer ağ için acil yedek SIM sağlamanın iyi fikir olduğunu düşünmüş olmalarıydı. Bunu ancak 2015'te yaptılar ama geç olması hiç olmamasından iyidir
Rogers kablosuz ve kablolu bağlantılar için aynı core'u kullandığından, Rogers üzerinde çalışan üçüncü taraf internet sağlayıcılarını kullananlar bile tamamen karanlıkta kaldı. Web siteleri, kurumsal hatlar, neredeyse her şey çöktü ve Rogers'ın iletişimi de fiilen yoktu
Neyse ki bizim organizasyon çoklu hat yapılandırmasına sahipti; sabah 06.00'da hattı değiştirdik ve sahalar çoğunlukla sorunsuz devam etti
İlginç olan bir başka nokta da baz istasyonlarının telefonların bağlanabileceği kadar açık kalıp hiçbir şey yapamaz durumda olmasıydı; bu yüzden 9-1-1 aramaları başka ağa devrolmayıp doğrudan başarısız oluyordu. GSM spesifikasyonundaki ya da Rogers SIM programlamasındaki bir kusur gibi görünüyor; düzeltilip düzeltilmediğini bilmiyorum
https://en.m.wikipedia.org/wiki/2022_Rogers_Communications_o...
Çok kaba genelleyince, bilim tarafındaki kişi güneş patlamasını tahmin ediyor, sağcı arkadaşım uluslararası hacker'ları tahmin etti, ben başarısız bir yazılım dağıtımını tahmin ettim ve bu yazıdaki biri de asker arkadaşının depoyu doldurmasını söylediğini yazmış
Ama herkes gibi ben de kendi tahminimin muhtemelen doğru olduğunu içtenlikle hissediyorum
Aynı evdeki altı kişinin hepsinin AT&T kullandığı, ama içlerinden yalnızca birinin sorun yaşadığına dair çok sayıda rapor var
Yarı uygulanmış bir yükseltme ya da zamanlamaya bakılırsa yarı uygulanmış bir rollback gibi duruyor
Verizon ve T-Mobile, ikisi de kendi taraflarında kesinti olmadığını; sorunun kendi müşterilerinin AT&T müşterilerini arayamaması olduğunu açıkladı
Ancak ABD'deki AT&T ağının büyük bölümü çökmüş görünüyor
Aynı anda kaydolmaya çalışan cihazlardaki patlama, bu ağların bazı bölümlerini aşırı yüklemiş olabilir
Büyük olasılıkla ilgisiz, ama AT&T'nin Kaliforniya'nın bazı bölgelerinde sabit hat telefon hizmetini sonlandırmak için başvuruda bulunduğu döneme denk geldiği için zamanlama kötü
https://www.wired.com/story/att-landline-california-complain...
Kesinti sona erdi
Durum: Geri yüklendi
AT&T FINAL, Service Degradation, Global Smart Messaging Suite
AT&T Global Smart Messaging Suite
Olay açıklaması: FINAL, Service Degradation
Etkilenen hizmet: MMS MT
Başlangıç: 2024-02-21 Doğu 22:00, Orta 21:00, Pasifik 19:00
Bitiş: 2024-02-22 Doğu 11:00, Orta 10:00, Pasifik 08:00
Kesinti süresi: 780 dakika
Değerli müşterimiz, Global Smart Messaging Suite'in şu anda kullanılabilir hale geldiğini bildirmek isteriz. MMS MT hizmeti geri yüklendi ve ekibimiz tarafından izleniyor
AT&T Business Solutions
Kind Regards,
The AT&T SMS Service Administrator
Belki fazla anlam yüklüyorum, ama bunun eksik olması kafama takılıyor
Yakın zamandaki durum sayfası tartışması aklıma geldi: https://news.ycombinator.com/item?id=39099980
Durum sayfalarının doğru olması gerekir, ama AT&T’nin durumu her şeyin normal olduğunu iddia ediyor
Kablosuz hizmetim çöktü ve DownDetector’da on binlerce bildirim var; yani açıkça her şey normal değil
Ya otomatik testlerle güncelleniyorlar ya da elle güncelleniyorlar
Otomatikse neredeyse her zaman iç kullanım içindir, kamuya açık değildir; elle ise neredeyse her zaman geç kalır ve zaten kesinti HN’ye düştükten sonra güncellenir
Pazarlama departmanının durum sayfasını ele geçirip meşhur yeşil tikleri ve küçük “i” simgesini göstermesi gerçekten sinir bozucu
“Service Alert: Some of our customers are experiencing wireless service interruptions this morning. We are working urgently to restore service to them. We will provide updates as they are available.”
https://www.att.com/outages/
Henüz NANOG’da bilgi yok, ama önümüzdeki birkaç saat içinde bu başlığa bir şeyler düşecek gibi: https://mailman.nanog.org/pipermail/nanog/2024-February/2250...
https://mailman.nanog.org/pipermail/nanog/2024-February/2250...
myATT uygulamasını kullansam bile kablosuz hesabım hiç görünmüyor
Aile hesabının tamamı hizmet olarak bile görünmüyor. Bir hack ya da hesabı silen dahili bir sorun gibi duruyor
Başkaları da hesaplarının görünüp görünmediğini kontrol edebilir mi?
SIM’ler ağ kimlik doğrulamasını kaybetmiş ve bu yüzden hepsi ağdan düşmüş durumda. Öyleyse başarısız bir yazılım dağıtımı olma ihtimali yüksek görünüyor
Çevrimiçi hesaplar da bu bilgiyi bir şekilde çekeceği için portalın neden bozulduğunu da açıklayabilir
Ön ödemeli hotspot sorunsuz çalışıyor, ama “aile planı” kapsamındaki aylık sözleşmeli telefonların hiçbiri çalışmıyor
Fiziksel SIM ile eSIM farkının “yeni” modellerin neden çalıştığını açıklayıp açıklayamayacağını da merak ediyorum
Telefonun çalışmadığını görünce ilk yaptığım şey, acaba faturayı ödemedim mi diye giriş yapıp faturayı ödemek olmuştu
Biraz ek trafiğin bile bunları devirmiş olma ihtimalini göz ardı etmem. Korelasyon nedensellik değildir
Kesinti haritası diye bir şey var[1]. Ama işe yaramıyor
Sadece ABD’de insanların yoğun yaşadığı yerleri gösteren bir harita
[1] https://www.cbsnews.com/news/outage-map-att-where-cell-phone...