CrowdStrike’ın birkaç ay önce Debian ve Rocky Linux’u da bozduğu olay

 (neowin.net)
1 puan yazan GN⁺ 2024-07-22 | 3 yorum | WhatsApp'ta paylaş
  • Windows’taki büyük çaplı BSOD kesintisinden ayrı olarak, CrowdStrike güncellemesinin daha önce Debian ve Rocky Linux ortamlarında da sunucu kesintilerine yol açtığı örnekler vardı
  • Nisan ayında bir civic tech lab’de, güncellemeden hemen sonra tüm Debian Linux sunucuları aynı anda çöktü ve açılmayı reddetti; sistemler ancak CrowdStrike kaldırıldıktan sonra kurtarılabildi
  • Söz konusu Debian yapılandırmasının destek kapsamında olduğu düşünülüyordu, ancak en güncel kararlı Debian sürümüyle uyumlu değildi; kök neden analizinde test matrisinde eksik olduğu doğrulandı
  • Rocky Linux kullanıcıları da RockyLinux 9.4 yükseltmesinden sonra CrowdStrike kullanan sunucuların bir kernel bug nedeniyle çöktüğünü bildirdi; CrowdStrike destek ekibi de sorunu kabul etti
  • CrowdStrike’a bağımlı kuruluşlar güncellemeleri daha dikkatli ele almalı ve kesintilere karşı acil durum planı bulundurmalı

Windows kesintisinden önceki Linux kesinti vakaları

  • Windows PC’lerde yaşanan yaygın Blue Screen of Death sorunu havayolları, bankalar, sağlık hizmeti sağlayıcıları gibi birçok sektörde operasyonları aksattı
    • Bunun nedeni, CrowdStrike’ın güncelleme ile ilettiği sorunlu bir kanal dosyası (channel file) idi
    • CrowdStrike, bu çökmenin Mac veya Linux PC’leri etkilemediğini doğruladı
  • Ancak Debian ve Rocky Linux kullanıcıları da CrowdStrike güncellemesi nedeniyle kayda değer kesintiler yaşadı; bu da güncelleme ve test süreçleri hakkında endişelere yol açtı
    • CrowdStrike ürünlerine her gün bağımlı olan müşteriler için potansiyel bir risk olabilir

Debian ve Rocky Linux’ta doğrulanan sorunlar

  • Debian sunucularının eş zamanlı çökmesi

    • Nisan ayında bir civic tech lab’de CrowdStrike güncellemesi tüm Debian Linux sunucularını aynı anda çökertti ve açılmaz hale getirdi
    • Bu güncelleme en güncel kararlı Debian sürümüyle uyumlu değildi, ancak söz konusu Linux yapılandırmasının destek kapsamında olduğu düşünülüyordu
    • BT ekibi, CrowdStrike kaldırıldığında makinelerin açıldığını doğruladı ve olayı bildirdi

  • Yanıt gecikmesi ve test eksikliği

    • Olaya dahil olan bir ekip üyesi, CrowdStrike’ın geç yanıt vermesinden duyduğu memnuniyetsizliği dile getirdi
    • CrowdStrike sorunu bir gün sonra kabul etti, ancak kök neden analizi sunması birkaç hafta sürdü
    • Analiz sonucunda Debian Linux yapılandırmasının CrowdStrike’ın test matrisine dahil edilmediği ortaya çıktı
    • Ekip üyesi, “Crowdstrike’ın modeli, acil olup olmadığına ve test edilip edilmediğine bakılmaksızın, biz ne zaman istersek makinelerinize yazılım göndeririz gibi görünüyor” diye eleştirdi

  • Rocky Linux 9.4 yükseltmesinden sonra çökme

    • Rocky Linux kullanıcıları, RockyLinux 9.4 yükseltmesinden sonra CrowdStrike kullanan sunucuların bir kernel bug nedeniyle çöktüğünü bildirdi
    • CrowdStrike destek ekibi bu sorunu kabul etti
    • Farklı işletim sistemlerinde uyumluluk sorunlarının tekrarlanması, test eksikliği ve yeterli özen gösterilmeme örüntüsünü ortaya koyuyor

Kuruluşların hazırlanması gereken noktalar

  • Gelecekte benzer sorunları azaltmak için CrowdStrike, desteklenen tüm yapılandırmalar için daha sıkı testlere öncelik vermeli
  • Kuruluşlar CrowdStrike güncellemelerini dikkatle uygulamalı ve olası kesintileri hafifletecek acil durum planı hazırlamalı
  • İlgili kaynaklar

İlgili okumalar

3 yorum

 
click 2024-07-22

Görünüşe göre yapay zeka metnin kendisini değil, reklamı özetlemiş.
 
xguru 2024-07-22

Neowin sitesinin HTML yapısı garip olduğu için üst çubuktaki tüm reklamlar gövde metni olarak algılanıyor. Düzelttim.
 
GN⁺ 2024-07-22
Hacker News yorumları

  • OSS/Linux ekosisteminde bağımsız ve gevşek biçimde koordine olan grupların ücretsiz olarak birbirine eklediği kod yığınları çok olsa da, çoğu zaman milyarlarca dolarlık şirketlerin yaptığı yazılımlardan daha sağlam olması şaşırtıcı
    Bunun nedenlerinden biri, OSS sistem programcılarının kirli çamaşırlarını herkesin önünde yıkaması olabilir. “Çok göz olunca böcekler sığlaşır”dan ziyade “biri sadece baksa bile kötü kod utandırır”a daha yakın
    Ticari bir projeyi açık kaynak olarak yayımlamaya çalışıyorum; kaynak kodu açmadan önce dokümantasyonu iyileştirme, TODO/FIXME temizleme, yorumları doğrulama gibi epey bakım yapmak gerekiyor. Ama kapalı ticari kod tabanlarının içinde bundan çok daha kötülerini de çok gördüm; çoğu kurumsal yazılımın da benzer seviyede olduğunu düşünüyorum

    • OSS yazılımlarında kâr motivasyonu neredeyse yoktur; bu yüzden bir şeyi “satmak”tan çok “çalışır hale getirmek” için yazılırlar
      Zaman baskısı da daha azdır; sürüm gecikse bile çeyrek dönem sonuçlarını etkilemez. Ticari yazılımı mühendislik işinden çok pazarlama işine daha yakın görüyorum
    • Linus muhtemelen buna katılmazdı ve çekirdeğin her zaman devasa bariyerler koymasının bir nedeni var. Kullanıcı alanı kodlarının çoğunu haklı olarak reddederdi
      Çekirdeğin dışındaki şeylerin çalışıyor olması başlı başına bir mucize; dağıtım güncellemelerinde ne kadar sık bozulduklarına ve yeniden çalıştırmak için ne kadar sık her şeyi baştan derlemek gerektiğine bakınca bu görülüyor. Prodüksiyonda güncelleme yapmak inanılmaz stresli bir süreç
      Ses ve videoyu daha saymadım bile; buna bir de Wayland eklenince bambaşka bir kabus oluyor. Bu yüzden birçok açıdan Windows'un standarda daha yakın olduğunu düşünüyorum. Her yönden sertçe zorlanmasına rağmen sayısız makinede her gün kritik işler yapıyor
      Para alıp almamak önemli değil; Raymond Chen ve benzerlerinin yazılarında görülen karar verme derinliği OSS dünyasında bile çok nadir
    • Para karşılığı yapılan ama son kararları MBA'lerin verdiği şeyler, hobi ya da tutku projelerine kıyasla çoğu zaman berbat oluyor
      Bunun yalnızca benim başıma gelen bir durum olmadığını sanıyorum; faydalı şeyler ve kendi kontrol edebilecekleri araçlar yapmak istedikleri için üreten toplulukların var olmaya devam etmesini umuyorum
    • Son teslim tarihleri de büyük bir etken olabilir. Pek çok OSS geliştiricisi projelerini boş zamanlarında kendileri ve başkaları için yapıyor; bir tutku projesiyse insan kendi işiyle daha çok gurur duyabiliyor
      Ticari yazılım ise çoğu zaman yöneticinin son teslim tarihine yetişmek için koli bandıyla tutturulmuş gibi hissettiriyor; sonunda “ne fark eder ki” noktasına geliniyor ve sadece bitirmiş olmakla yetiniliyor
    • Kodu yazan insanlara amatör demenin iyi bir tanım olmadığını düşünüyorum. Çoğu muhtemelen deneyimli, çok teknik kişiler; “gevşek biçimde koordine” olmak birçok şirket için de geçerli
      Açık kaynakta kod yazan insanların bunu ilgi duydukları için yapması önemli. Bir şeyi iyi, düzgün çalışan ve zekice yapmak istiyorsanız, bunu sadece para aldığınız için ya da utanmaktan kaçınmak için yaptığınız duruma göre başarı şansınız daha yüksek olur

  • Dün CrowdStrike ile ilgili büyük başlıktaki ilgili yorum: “CrowdStrike 19 Nisan'da prodüksiyon Linux filomuza bunu yaptı ve o zamandan beri sürekli rant etmek istiyordum” [1]
    Ardından birkaç paragraf süren rant geliyor
    [1] https://news.ycombinator.com/item?id=41005936

    • Birkaç hafta sonra çıkan kök neden analizinde bile bizim kullandığımız senaryo test matrisinde yoktu. Debian stable üzerinde n-1 sürümünü çalıştıran desteklenen bir yapılandırma gibi görünmesine rağmen böyleydi
      Kendi olay sonrası analizlerinde de aynı şeyin tekrar yaşanmasını önleyecek gerçekçi bir yol yoktu. Çünkü yapı “acil olsun olmasın, test etmeden, istediğimiz zaman makinelerinize yazılım iteriz” şeklindeydi
    • Bu sadece ilgili bir yorum değil; bu HN başlığı makalede ana kaynak olarak kullanılmış gibi görünüyor

  • Bu alanda çalışırken aklımda hep “bunlar gerçekten işe yarıyor mu?” sorusu vardı
    Yanıtlaması zor bir soru ama CrowdStrike gibi ürünlerin etkisini doğrulayan üçüncü taraf araştırmalar var mı merak ediyorum. Yoksa herkes güvenlik tiyatrosu uğruna hayatı daha kötü hale mi getiriyor, bilmiyorum

    • Antivirüs etkinliğini incelemeye çalışmaya benziyor. Yine de yanıtı zaten söylemiş oldun. Yönetim ekibinin sindirebileceği metrikler üretebildiğin sürece değerli sayılıyor
      Bu kadar istilacı bir şeyi eklemenin nasıl mantıklı olduğu ise soru işareti. 90'larda antivirüs şirketleri virüs de üretirdi; kendi yaptıkları şeyi ağa yayarken abonelerine de sihirli biçimde enfeksiyonu engelliyormuş gibi görünürlerdi
    • Gerçekten bir şeyi engellediğini gören var mı merak ediyorum. O aracı yapan şirket de doğal olarak kendi ürününü kullanıyor olmalı
      Tüm web'e “gören var mı?” diye sorarsan elbette biri çıkar; ama bu tür araçlar yüzünden güvenlik açığı yaşayanların sayısı çok fazla, kararlılık ve erişilebilirlik sorunu yaşayanların sayısı ise fiilen o aracı kullanan kişi sayısına yakın

  • Ürün kalitesi uçaklardan yazılıma kadar serbest düşüş halinde. Bugünlerde herkes sadece ek gelire odaklandığı için QA eksikliği varsayılan hale geldi

    • Ekonomimizi kâr için min-maks optimize ettik ve şimdi bunun hasat dönemine girmişiz gibi görünüyor
      Ukrayna'ya gönderecek kadar top mermisi üretemememizin, çip üretimini ülke içine taşıyamamamızın, gemi inşa edemememizin nedeni de aynı
    • Teknik olmayan insanların karar alması, hatta teknik programlar geliştirmesi bile giderek artan bir başka neden
      15 yıl önce sektördeki insanların çoğu gerçekten orada olmak istiyordu; istisnalar azdı. Şimdi başka herhangi bir meslek gibi oldu: geliştiricilerin büyük çoğunluğu çıktıyla pek ilgilenmiyor ve sonuçta ortaya çıkan ürün de berbat oluyor
      Son birkaç yılda kendi çöp kodunu gerçekten test eden kıdemli altı geliştiriciye neredeyse hiç rastlamadım
    • Hata yapmanın ekonomik bedeli, elde edilen kârdan daha küçük. Bu değişmeden hiçbir şey değişmeyecek
    • Bu sadece bir ürün kalitesi meselesi değil
      Pazarlama kokan influencer'ların ne yaptıklarını bilmeden, tedarikçilerin tetiklediği paranoyayı uyumluluk onay kutularıyla örtmeye çalışan insanlara çöp satması gibi bir düzen bu. Bu kişiler tehdit modellemesini de bilmiyor, işletim sistemlerinin nasıl çalıştığını da
      CIA üçlüsü açısından bakarsak erişilebilirlikten tamamen vazgeçmiş durumdalar; sistemdeki her hareketi bir bulut şirketine göndererek gizliliğin bir kısmını da feda ediyorlar ve tedarikçinin bile garanti etmediği bütünlük konusunda sahte bir güven hissi edinmeye çalışıyorlar. Düzgün katmanlandırılmış bir güvenlik mimarisinde bu ürünün gerçekten bir şey yaptığına dair neredeyse hiç kanıt görmedim
      Bu, güvenlik önermesinin tam tersi. Yalan ve beceriksizlik üzerine kurulmuş bir iskambil şatosu ve kelimenin tam anlamıyla kötü amaçlı yazılım tanımına yakın. Denetleyemediğiniz verileri dışarı çıkarıyor, uzaktan komut-kontrol işleviyle sistemleri çökertebiliyor ve ring 0'da tamamen rastgele kod çalıştırıyor
      Mart 2023'te bu bütünü ciddi bir iş riski olarak işaret etmiştim ama yukarıdaki insanlar bunu dayattı. İtirazlarımı kayda almıştım; şimdi bunları kullanarak karşılığını vermeyi düşünüyorum
      İnsanlar satın aldığı sürece çöp gibi yapılması sorun olmaktan çıkıyor. Ama gerçekten de çöp gibi yapılmış
    • Üzücü bir durum. Şirketten şirkete değişiyor ve kişisel olarak yazılım mühendisliğinde en sevdiğim alanlardan biri, ama birçok büyük şirket fırsat bulur bulmaz QA ekiplerini kesti

  • CrowdStrike'ın hatalı bir DLL'i Windows uygulamalarına enjekte ettiği ve uygulamanın kendisinde bir sorun olmasa bile çökmesine yol açabildiğine dair raporlar da vardı
    https://x.com/molecularmusing/status/1808756095860543916

    • Bu tamamen farklı bir mesele. Enjekte edilen DLL, varsayılan olarak kapalı olan isteğe bağlı bir özellik ve yöneticilere dağıtımdan önce filoyla uyumluluğu doğrulamaları gerektiği açıkça bildiriliyor
      Uygulanabilecek hook düzeyleri dört kademeye ayrılıyor ve giderek daha kararsız hale geliyor; UI ve belgelerde tekrar tekrar uyarılar var. Örneğin XUMD, çalışan süreçlere bir kitaplık yükleyip çeşitli kullanıcı modu API'lerini hook ederek sensörün bilgileri izlemesini sağlıyor
      Bazı endpoint telemetrileri yalnızca kullanıcı modu hook'larıyla toplanabiliyor. XUMD, bir sürecin hangi API'lerden yararlandığına dair bilgi sağlıyor ve bu bilgi, gözlemlenen kümülatif davranışa dayanarak sensörün çeşitli önleme mekanizmalarında kullanılıyor
      AUMD'nin aksine bulut, sensör güncellemesi olmadan XUMD görünürlüğünü dinamik olarak değiştirebiliyor. Ayarlar Disabled, Cautious, Moderate, Aggressive, Extra Aggressive şeklinde; sona doğru gidildikçe performans veya uygulama uyumluluğu sorunları arttığı için production ortamlar için önerilmiyor
      XUMD, başlangıçta birlikte geliştirilmediği kullanıcı süreçlerine yüklendiğinden, özellikle başka güvenlik ürünlerinin kurulu olduğu ortamlarda çökme, başlatma hatası veya performans düşüşü yaşanabilir. Hangi sürecin XUMD DLL'ini yüklediğini görmek için komut satırında tasklist /m csxumd* çalıştırılabilir

  • Tüm bunlar, şirketlerin dolaylı zarar sorumluluğunu sözleşmeyle bertaraf edebilmesinden kaynaklanıyor
    Can kaybına ilişkin sonuç sorumluluğunun sözleşmeyle dışlanmasına izin verilmediği gibi, bu tür maddeler de uygulanamaz hale getirilmeli ya da en azından sınırlandırılmalı

    • Avrupa'nın siber güvenlik direktifinin yapmaya çalıştığı şey bu değil miydi? Herkesin öfkelendiği ve sonra FOSS istisnasının eklendiği direktif yani

  • “Güncelleme Debian'ın en yeni stable sürümüyle uyumlu değildi, ancak ilgili Linux yapılandırmasının desteklendiği belirtiliyordu” ve “analiz sonucunda Debian Linux yapılandırmasının test matrisinde olmadığı görüldü” ifadeleri fiili dolandırıcılığa epey yakın görünüyor
    Yapılandırma X'i desteklediğinizi ilan edip gerçekte yapılandırma X'i hiç test etmiyorsunuz demektir. Bir arabada emniyet kemeri olduğunu söyleyip üretim sürecinin hiçbir yerinde emniyet kemerinin takılıp çalıştığını kontrol etmemek gibi
    Bir otomobil şirketi bunu yapsaydı muhtemelen hakkında dava açılırdı; CrowdStrike için neden böyle olmadığını bilmiyorum. Belirli bir Linux sürümünü desteklememeyi anlayabilirim, ama desteklediğinizi reklam ederken test bile etmiyorsanız bu en azından kasıtlı ihmal, belki de açıkça dolandırıcılıktır

  • “Kimse fark etmedi” sözü, CrowdStrike'ın basının fark etmemesi için konuyu bastırdığını söylemenin sevimli bir yolu gibi geliyor. Hatanın yaşandığı gün HN'deki yazıda, insanların aylardır sorunu bildirmeye çalıştığına dair yorumlar vardı
    Makalenin kendisi bile insanların sorunu fark ettiğini yazıyor. O halde fark etmeyen kimdi? Yoksa bu sorunlar görmezden gelinemeyecek kadar ünlü değil miydi?

    • CrowdStrike'ın basın haberlerini bastırdığını mı düşünüyorsun? NY Times'a, WaPo'ya, büyük yayın kuruluşlarına çek mi gönderdiler sanıyorsun, merak ediyorum
      Basın, uçuşların durması gibi gerçek dünyada gözle görülür bir etki olmadığı sürece birkaç sunucunun ölmesiyle ilgilenmez
    • O dönemde bir şeyler gördüğümü hatırlıyorum, ama Linux'a böyle bir yazılım kuran kişinin çok az olacağını düşünmüştüm. Gerçekten de bunu yapan şirket sayısı çok az
      Patlama yarıçapı küçüktü; muhtemelen kötü bir Nvidia sürücüsünden bile daha küçüktü

  • Burada CrowdStrike kullanan biri varsa, bunun tam olarak ne yaptığını merak ediyorum. “Antivirüs” diye adlandırıldığını görüyorum ama iş dizüstü bilgisayarına kurulu haline bakınca keylogger ve etkinlik izleyicisi gibi duruyor
    “Saklayacak bir şeyim yok” denebilir ama şirketin süper kullanıcılarının beni izlemesi yine de rahatsız edici

    • Güvenlik, uyumluluk ve hukuk ekiplerinden onay damgası almayı sağlıyor
    • Antivirüs/EDR çözümlerine kötü amaçlı yazılım ya da casus yazılım demekten daha iyi bir çözüm var: iş cihazlarını özel işler için kullanmamak
      O cihaz şirketin mülkü ve şirket ortamına erişmek için kullanıldığı için, gerçekten kötü amaçlı yazılım bulaşırsa zarar doğurabilecek bir sorumluluk noktası. Gizliliğe ihtiyacınız varsa ayrı bir cihaz kullanmak daha doğru

  • Bazı şirketlerde CrowdStrike’ın tüm uç noktalara dağıtıldığı söyleniyor; ama birileri bunu yalnızca kaynakları kısıtlanmış bir sanal makine içinde çalıştırınca kimsenin ses etmeden geçiştirdiğini söylüyor. O dönemlerde sanal makinenin başarısız olduğunu da gördüklerini belirtiyorlar
    Başka bir büyük şirketteki eski bir iş arkadaşımdan da IT’nin Linux uç noktalarında uyumluluğu zorlamaktan tamamen vazgeçtiğini duydum. Bazı IT yöneticileri fiilen “sorma, söyleme” politikası izliyor gibi
    Alternatif yığını kendi başınıza kuruyor, ortalığı karıştırmıyor ya da yalan söylemiyorsanız, “ne haliniz varsa görün” yaklaşımı. Zorlama motivasyonunun çoğu kutucuk işaretleme uyumluluğu ise bu gayet mantıklı
    Bu tür bir kötü niyetli uyumun ne kadar yaygın olduğunu ve Nisan’daki olayın daha büyük haber olmamasına ne kadar katkıda bulunduğunu merak ediyorum