CrowdStrike kesintisinin havacılık sektörüne etkisi

• 19 Temmuz 2024 04:09 UTC’de dağıtılan CrowdStrike’ın Windows için sensör yapılandırma güncellemesi, yaklaşık 8,5 milyon bilgisayarda mavi ekrana yol açtı ve havayolu operasyonlarını da etkiledi
• ABD genelindeki hava trafiğinde, itfaiye, polis, askeri ve genel havacılık dahil edildiğinde 19 Temmuz 04:00 sonrası kümülatif kalkış sayısı bir önceki haftanın cuma gününe göre %2,6 daha fazlaydı, ancak 08:00~09:00 arasında 378 uçuştan 261’e inerek %31 azaldı
• ABD’nin en büyük 4 havayolunda etki büyük ölçüde farklılaştı; Delta için -1.087 uçuş (-%46), United için -596 (-%36), American için -376 (-%16), Southwest için +101 (+%3) olarak hesaplandı
• Delta günler boyunca binlerce uçuşu iptal ederek daha uzun sürede toparlandı; ABC News’e göre Southwest ise CrowdStrike kullanmadığı için etkilenmedi
• Analiz, ADS-B Exchange’in ham ADS-B verilerinden kalkışları tespit edip bunları uçuşa yakın bir karşılık olarak kabul etti; mutlak sayıların düşük kalabilse de dönemler arası oran karşılaştırmaları için geçerli olduğu varsayıldı

---

19 Temmuz 2024 CrowdStrike kesintisinin başlangıç noktası

• 19 Temmuz 2024 04:09 UTC’de CrowdStrike, Windows sistemlerine sensör yapılandırma güncellemesi dağıttı
• Bunun ardından yaklaşık 8,5 milyon bilgisayar mavi ekran yaşadı ve hastaneler, bankalar, 911 sistemleri gibi birçok alan etkilendi
• Linux, Mac ve cep telefonları bu kesintiden doğrudan etkilenen platformlar arasında anılmadı
• Gmail, Facebook, Twitter gibi servisler çalışmaya devam etti, ancak rezervasyon, hesap açma, polis sevki gibi gerçek işleri yürüten Windows makinelerinde arıza yaşanmasıyla belirgin bir karşıtlık ortaya çıktı
• Havayolu sistemleri de Windows tabanlı bu operasyon alanının içindeydi

Odak, iptal sayılarından çok gerçek hava trafiği karşılaştırmasında

• Sadece havayolu iptal sayılarına bakmak yerine, gerçekten havada olan uçak sayısı ile normalde havada olması gereken uçak sayısını karşılaştıran bir yöntem seçildi
• FlightRadar24 tabanlı olarak American Airlines, Delta ve United için 12 saatlik timelapse videolar paylaşıldı, ancak karşılaştırma ölçütü olmadığı için etkinin boyutunu değerlendirmek zordu
• Gece saatlerinde uçak sayısının azalması her gün yaşandığından, aynı haftanın günündeki normal düzenle karşılaştırma yapmak gerekiyor
• Bellingcat’in “OSHIT: Seven Deadly Sins of Bad Open Source Research” yazısında sözü edilen “gözlenen olgu için bağlam eksikliği” sorunu bu vakaya uyuyor

ABD genelinde kalkış sayılarının saatlik değişimi

• CrowdStrike kesintisinin yaşandığı 19 Temmuz ile bir önceki haftanın cuma günü olan 12 Temmuz için ABD içindeki saatlik kalkış sayıları karşılaştırıldı
• Karşılaştırmaya ticari havacılığın yanı sıra yangın söndürme uçakları, polis, askeri ve genel havacılık da dahil edildi
• 18 Temmuz da birlikte incelendi, ancak önceki haftanın cumasına çok benzediği için ana karşılaştırma ölçütü olarak 12 Temmuz korundu
• Yaklaşık 06:00~13:00 arasında uçuş sayısı hafif düştü, sonrasında ise hafif arttı
• 04:00 sonrası kümülatif ölçümde, 19 Temmuz’daki uçuş sayısı bir önceki haftanın cuma günündeki aynı döneme göre %2,6 arttı
• En büyük düşüş 08:00~09:00 aralığında görüldü; bir önceki haftanın cuma günündeki 378 uçuşa karşılık 261 uçuş ile %31 azalma yaşandı

Etki havayolları arasında büyük ölçüde ayrıştı

• ABD’nin en büyük 4 havayolundaki değişim birbirinden oldukça farklıydı
  • Delta Air Lines: -1.087 uçuş, -%46
  • United Airlines: -596 uçuş, -%36
  • American Airlines: -376 uçuş, -%16
  • Southwest Airlines: +101 uçuş, +%3
• En büyük etkiyi Delta gördü, onu United izledi; American’daki düşüş daha sınırlı kaldı
• Southwest ise hesaplamalara göre etkilenmemiş göründü
• Southwest’in hâlâ Windows 3.1 kullandığı için etkilenmediği iddiası TechRadar haberinde yer aldı, ancak OSNews bunu yanlış olarak ele aldı
• ABC News haberi, Southwest’in CrowdStrike kullanmadığı için etkilenmediğini aktarıyor

Delta’nın toparlanma gecikmesine dair açıklamalar ve sınırlamalar

• Delta Air Lines, CrowdStrike güncellemesinin ardından günler boyunca binlerce uçuşu iptal ederek normale dönmekte uzun süre zorlandı
• ABC News haberi, kesintiye müdahale için her bilgisayar sisteminde manuel düzeltme gerektiğini; düzeltmenin kendisinin 10 dakikadan kısa sürede yapılabildiğini, ancak Delta’nın çok sayıda dijital terminali olduğu için ciddi insan gücü gerektiğini aktardı
• Ancak bu açıklama tek başına Delta ile diğer havayolları arasındaki farkı yeterince açıklamıyor
• Bir Reddit yorumu, Delta’nın uygun bir felaket kurtarma planı ve BT iş sürekliliği planına sahip olmadığını; United, American ve Frontier’ın ise planlarını hemen devreye alıp hızla toparlandığını öne süren doğrulanmamış bir açıklama sundu
  • Bu yorum, United ve American’ın da Delta kadar Windows bağımlılığına sahip olduğunu savunuyor
  • Ayrıca American’ın cuma gününün sonuna kadar toparlanarak cumartesi normal operasyona döndüğü, United’ın ise cumartesi sabah sorunu çözüp cumartesi öğleden sonra normal tarifesine geri geçtiği de belirtiliyor
  • Söz konusu açıklama kaynaksız bir Reddit yorumu ve yanlış olabilir uyarısı da içeriyor

ADS-B verisine dayalı analiz yöntemi

• Analizde ADS-B Exchange tarafından sağlanan ham ADS-B verisi kullanıldı
• Özel yazılmış kod ile uçak kalkışları tespit edildi ve her kalkış kabaca bir uçuşa karşılık geliyor kabul edildi
• Kalkış sayısı ile uçuş sayısı tamamen aynı değil, ancak bu amaç için yeterince yakın olduğu varsayıldı
• ADS-B Exchange kapsaması dışındaki meydanlardan kalkan uçaklar gibi bazı durumlar eksik sayılmış olabilir
• Bu eksik sayım sistematik gerçekleştiği için dönemler arası karşılaştırmalarda kullanılabilir; mutlak uçuş sayıları düşük çıkabilse de yüzdesel değişimin doğru olduğu kabul edildi
• Kalkış tespit kodu zaten mevcut olduğundan, havadaki uçak sayısını yeniden saymak yerine kalkış sayıları kullanıldı

[GN⁺]

Hacker News yorumları

• Delta'nın uçuş ekibi takip yazılımının ciddi şekilde etkilendiğini ve toparlanmanın zaman aldığını okudum
  Kaynak: https://news.delta.com/update-delta-customers-ceo-ed-bastian
  Şöyle bir ifade var: “Özellikle uçuş ekibi takibiyle ilgili bir araç etkilendi ve sistem kesintisinin tetiklediği eşi benzeri görülmemiş sayıdaki değişikliği etkili biçimde işleyemedi.”

  • Durumu daha da kötüleştiren bir başka unsur, Delta'nın genel merkezinin ve başlıca operasyon düzeninin Doğu Kıyısında olmasıydı. CrowdStrike havayollarını neredeyse aynı anda vurduğu için Delta'nın sabah zirve uçuşlarına girmeden önce tepki vermek için kabaca 1-2 saat daha az zamanı vardı
    Sabah yoğunluğunda sistemlere ihtiyaç duyulduğu ana kadar hazır değillerdi; bu yüzden iş sürekliliği stratejisi olan manuel işleme geçmiş olmaları muhtemel. Bu yöntemin işlem kapasitesi ve toparlanma süresi açısından dezavantajları var; bu durum ne kadar uzarsa doğal olarak o kadar kötüleşir
    Southwest olayı ve bu Delta olayında görünen şey, büyük havayollarının iş sürekliliği moduna geçtiklerinde bunu kaldıracak yeterli personel ya da takvim esnekliğine sahip olmadıkları gibi. Araştırılması gerekiyor; para cezalarının davranış değişikliği yaratmasını umuyorum ama bunu zaman gösterecek
  • Delta sadece “ağır” darbe almaktan ziyade, Delta'nın kullandığı hub-and-spoke modelinde cuma günü planlama yönetimi azıcık bile aksadığında ve buna FAA çalışma süresi sınırları eklendiğinde uçuşları yeniden görevlendirmenin zorluğu üstel biçimde artıyor
    Daha basit söylemek gerekirse, cuma sabahı planlama yazılımı 4 saat kapalı kaldığı için geç kalan ya da hasta olan çalışanların yerine farklı yerlerden personel “ödünç” almak zorunda kalınıyor. Bu da sonraki uçuşların uygun personel durumunu bozuyor; o noktada sistemin geri gelmesini umuyorsunuz ama gelmezse akşam uçuşları için yine ödünç almak gerekiyor
    Bu arada geciken/iptal edilen uçuşlar, normalde görevlendirilebilecek çalışanların kalan mesai sürelerini de etkiliyor. Böyle zincirleme devam edip hafta sonuna girildiğinde, önce her uçuş ekibi üyesinin gerçekte kaç saat yazdığını netleştirmek gerekiyor; onları zamanında asıl yerlerine nasıl döndüreceğiniz de belirsizleşiyor
  • Radyoda duyduğuma göre sorun bilgisayarların kendisinden çok Delta'nın müdahale biçimiymiş
    Diğer havayolları uçuşları geciktirirken Delta'nın doğrudan iptal ettiği, bunun sonucunda da daha fazla insanın ve uçağın yanlış yerlerde kaldığı ve toparlanmanın zorlaştığı söyleniyordu

• Sağlam, güncel ve yeterince prova edilmiş bir felaket kurtarma planının gerçekten birilerini kurtarıp kurtarmadığını merak ediyorum. Yoksa IT'nin yedekleme ve kurtarmaya para harcayıp harcamamasından bağımsız olarak herkesin çıplak elle mi çalıştığını bilmek istiyorum

  • Bizim sistemlerimiz iyiydi. Çünkü SentinelOne, CrowdStrike gibi yazılımlar dahil bir şeylerin arızalanacağını varsayıp, aksayarak da olsa çalışmaya devam edebilecek felaket kurtarma sistemleri kurmuştuk
    Thames Barrier'ın arızalanıp Docklands'in yok olması gibi başka senaryolarda da çalışacak kurtarma sistemlerimiz var. Ne yazık ki bazı dış kaynak tedarikçilerde bu yaklaşım yoktu
  • Kesinlikle faydası oluyor. Bir noktada fiber kablo yanlışlıkla çıkarıldığında HSRP ve VRRP ile diğer SD-WAN özellikleri fark yarattı. Veri merkezi teknisyeni büyük bir hata yapıp bizi ve en az bir başka müşteriyi daha birlikte devre dışı bıraktı
    Elbette anlık bir kesinti oldu; yaklaşık 10 dakika boyunca sayfa zaman aşımı ya da süreç yeniden başlatma gibi sorunlar yaşandı ama genel olarak siteler failover yapıp nedenini araştırırken aksayarak da olsa dayanabildi
    Veri merkezi 19 dolar mı 21 dolar mı ne kadar bir hizmet kredisi ve özür verdi. CEO dava açacağım diye çok sinirlendi ama fiilen devamı gelmedi; IT altyapı direktörü ise büyük ölçüde çalışan failover'ı önceden hazırladığımız için bize sessizce minnettar kaldı
  • Tabii felaket kurtarma altyapısı hazırdı herhalde. Tüm felaket kurtarma sunucularında CrowdStrike önceden kurulu halde
  • Bizzat görmedim. Elbette örneklem yanlılığı vardır ama başarı hikâyeleri duymak isterim
  • Ben bunu yazdıktan hemen sonra biri şunu paylaştı: https://news.ycombinator.com/item?id=41103486
    Bu yüzden Delta'nın bu kadar dağılmasının nedeni gerçekten felaket kurtarma eksikliği gibi görünüyor

• Bu grafiklerde anlamadığım nokta, CrowdStrike güncellemesi dağıtılmadan biraz önce kalkış sayısının görece artmış olması
  Genel grafikte de United, American ve özellikle Delta grafiklerinde de görünüyor. Aklıma bir neden gelmiyor; sadece rastgele gürültü olabilir ya da önceki hafta aynı saatte alışılmadık bir şey yaşanmış olabilir

  • Mutlak uçuş sayısını ve yüzde değişimi birlikte grafiğe koymamın nedenlerinden biri daha büyük bağlamı anlamaktı. Bu göreli artışlar CrowdStrike patlamadan hemen önce, yani ABD Doğu saatiyle gece yarısı civarında gerçekleşti; o sırada trafik zaten çok düşüktü
    Bu yüzden %25 artış denmesi, ABD genelinde bir saatte kalkan uçak sayısının yalnızca 12 adet daha fazla olması anlamına gelebilir. Gürültü kesinlikle çok; mutlak değerleri ve yüzde değişimleri birlikte görmek ne olduğunu anlamaya yardımcı oluyor
    İki günlük veri, CrowdStrike etkisinin ana akışını görmek için yeterli olabilir ama tüm dalgalanmaları açıklamak için yetersiz
  • Uzun zamandır görülen en yoğun seyahat günü olduğu yaygın biçimde haberleştirildi ve bu da sorunu daha da büyüttü
  • Dalgalanma aralığı hakkında fikir edinmek için bile birkaç haftalık veriyi daha eklemek o kadar zor olmazdı gibi geliyor

• Delta'nın Microsoft ve CrowdStrike'a karşı açmayı düşündüğü davanın nasıl gelişeceği en ilginç konu olacak gibi
  https://www.marketwatch.com/story/delta-hires-law-firm-seeking-damages-from-crowdstrike-microsoft-after-massive-tech-outage-report-a882328a

• Dahil edilen bağlantının içeriği: https://www.techradar.com/pro/security/southwest-airlines-avoided-crowdstrike-microsoft-outage-because-its-still-running-windows-31-fourth-largest-us-airline-remained-free-of-bsod-errors-because-its-os-hasnt-been-updated-in-decades
  İçeriği şu yönde: “Bu işletim sisteminin ne kadar eski olduğuna dair fikir vermek gerekirse, Windows 3.1 ilk olarak 1992’de yayımlandı; Microsoft, gömülü sürüm hariç desteği 31 Aralık 2001’de sonlandırdı, gömülü sürümün desteği de 2008’de resmen sona erdi.”
  Windows 3.1 hikâyesinin sürekli tekrarlandığını duyuyorum. TechRadar’da çıktığına, üstelik adında “Pro” da olduğuna göre uydurmuş olamazlar, değil mi? Yine de tamamen inanamıyorum. Southwest’te çalışan biri ana çizelgeleme sisteminin Windows 3.1 üzerinde çalışıp çalışmadığını doğrulayabilir mi?

  • Bu yanlış [1] ve medya kuruluşlarının iddiayı bağımsız olarak doğrulayıp doğrulamadığını ayıran bir turnusol kâğıdı hâline geldi
    “Southwest’in şirket içinde geliştirdiği SkySolver ve Crew Web Access, ‘tarihsel olarak Windows 95’te tasarlanmış gibi görünüyor’” ifadesi, “Windows 3.1’de çalışıyor” diye çarpıtılmış
    [1] https://www.osnews.com/story/140301/no-southwest-airlines-is-not-still-using-windows-3-1/
  • TechRadar, Tom's Hardware’ı alıntıladı; Tom's Hardware da tek bir tweet’i alıntıladı
    Southwest’in tweet’i de değil, Southwest’te çalıştığını söyleyen birinin tweet’i de değil. Sadece bir tweet
  • Bunu ilk başlatan kişi bunun sadece bir “trol tweet” olduğunu söyledi
    https://x.com/ArtemR/status/1815408553131426179
  • “Southwest Windows 3.1 kullanıyor” iddiası yanlış ve bir bakıma, “güvenilir” sayılabilecek kuruluşlar yanlış bir söylentiyi tekrarladığında internette saçmalığın nasıl yayıldığını gösteren iyi bir örnek
    https://kotaku.com/southwest-airlines-windows-3-1-blue-screen-crowdstrike-1851603013
  • 2000’lerin sonlarında SITA’da (https://en.wikipedia.org/wiki/SITA_(business_services_company)) çalıştım. Dünyadaki havayollarını birbirine bağlayan devasa bir X.25 seri ağı vardı
    Bazı müşteriler veri merkezindeki eski AT sistemlerinde hâlâ Windows 3.11 çalıştırıyordu ve arıza durumunda kullanacak donanım bulabilmek için craigslist ve eBay’den eski bilgisayarlar satın alıyorlardı. Böyle sistemler bugün hâlâ kullanılıyor olsa şaşırmam

• Berlin Brandenburg ağır darbe aldı. BER’den çok şikâyetçi bir kullanıcı olarak, oranın en kötü sonuçları yaşayan yerlerden biri olmasına hiç şaşırmadım

  • Almanya IT’si bu tür işlerde sık sık ağır darbe alıyor. Tabii hâlâ kâğıtla yürütülen durumlar hariç
    Yine de web sitesinin en üstündeki banner ile hemen duyurması daha iyiydi. Göçmenlik dairesinin randevu sistemi bir aydan uzun süre kapalıydı ve bunu kabul etmeleri bile 3 hafta sürdü
  • Brandenburg’un gerçekten açılmış olması hâlâ beni şaşırtıyor

• Davalar açılacak gibi görünüyor. Delta şimdiden hazırlanıyor gibi
  https://finance.yahoo.com/news/delta-air-lines-seek-compensation-211908080.html

  • “Microsoft ve CrowdStrike’tan tazminat talep etmek için bir hukuk bürosu tuttu” deniyor; burada Microsoft’u hedef almak yanlış yöne gitmek gibi görünüyor
    Kendi IT departmanlarının kurduğu üçüncü taraf bir sürücüyle Microsoft’un ne ilgisi var?

• Minneapolis-St Paul’un diğer ABD havalimanlarından çok daha erken iptal dalgası yaşamaya neden başladığını bilen var mı?

• Batmamanın yolu: Southwest, CrowdStrike kullanmadığı için etkilenmedi

• Sosyal medyam daha iyi yedekleme ve altyapıya sahipken, dünya çapında kullanılan işletim sistemi tarafının neden böyle olmadığını gerçekten anlayamıyorum

  • Çünkü IT, sosyal medya şirketlerinin asıl işi. IT’yi en ince ayrıntısına kadar bilirler; nelerin ters gidebileceğini ve bunların nasıl hafifletileceğini anlarlar.
    Buna karşılık havayollarının asıl işi uçakları uçurmak; bunu da çok iyi yapıyorlar. Ama IT, dışarıdan satın alınan bir araca daha yakın ve sosyal medya şirketleri kadar aynı şekilde kavrayamıyorlar.
    Bu yüzden işi düzgün yapacak dış yüklenicilere dayanıyorlar; o yükleniciler de çoğu zaman en ucuz olanlar ya da alıcıyı kendi hizmetlerinin “sektörün en iyi uygulaması” olduğuna ikna edip işi alanlar oluyor.
  • FAANG’in dünyayı durdurabilecek bir yapılandırma güncellemesine karşı bağışık olduğunu abartmazdım. Facebook da 2021’de, mühendislerin veri merkezine erişimi de dahil olmak üzere, her şeyin birkaç saatliğine çöktüğü bir olay yaşamıştı.
    https://news.ycombinator.com/item?id=28750894
    Ayrıca “işletim sistemiyle karşılaştırılan altyapı” ifadesi açısından, Microsoft altyapısının kalitesinin burada ilgili olmadığını düşünüyorum.
  • Sosyal medya şirketlerindeki teknik pozisyonlarla banka ve havayolu gibi büyük geleneksel şirketlerdeki teknik pozisyonların sunduğu maaş, çalışma koşulları ve statü karşılaştırılsa yeter.
    İlkinde ücretler iyi ve belli ölçüde statü ile kurumsal/siyasi sermaye var. İkincisinde ise düşük ücret var; statü ya da kurumsal/siyasi sermaye çoğu zaman temizlik personeliyle benzer düzeyde.
  • Meta dünyanın en değerli şirketlerinden biri ve her şeyin en üst seviyesini satın alacak kaynaklara sahip. 1,28 trilyon dolar piyasa değeriyle American, Delta ve United’ın toplamından 30 kat büyük.
    Geçen yılki kârı da 39 milyar dolardı; bu, tüm ABD havayollarının 7,8 milyar dolarıyla karşılaştırılıyor. Elbette daha iyi sistemlere sahip.
  • Çünkü biri kontrol edilebilir veri merkezlerinin içinde, diğeri ise kontrol edilemeyen, kullanıcıya ait donanımlara dağıtılıyor.