Cloudflare, 24 saat içinde 120 bin dolar talep ettikten sonra web sitesini kapatmakla tartışma yarattı
(robindev.substack.com)- 2018'den beri aylık 250 dolarlık Cloudflare Business planını kullanan bir online casino, yıllık 120 bin dolarlık Enterprise ön ödemesi talep edildikten sonra alan adlarının silinmesi nedeniyle kritik hizmetlerinde ve iç sistemlerinde kesinti yaşadı
- Şirket, yaklaşık 4 milyon aylık aktif kullanıcıya sahip olduğunu; Cloudflare'i CDN statik içerik önbellekleme ve DDoS koruması için kullandığını ve trafiğin büyük kısmının ana alan adında oluştuğunu söyledi
- Cloudflare, birden fazla alan adının “rotation” içinde olduğunu ve kullanım koşullarıyla ilgili sorunlar bulunduğunu belirtti, ancak etkilenen alan adını ya da çözüm koşullarını somut biçimde açıklamadan yalnızca aylık 10 bin dolarlık bir Enterprise sözleşmesi sundu
- Şirket, Fastly ile de görüştüğünü açıkladıktan birkaç saat sonra DNS kayıtları, önbellekleme ayarları, rate limit, whitelist ve Cloudflare Access kimlik doğrulama ayarları dahil alan adı yapılandırmaları silindi
- Sonrasında Fastly'ye acil geçiş yapıldı, ancak NS değişikliklerinin yayılması 1 ila 48 saat sürebildiğinden kullanıcı tarafındaki kesinti ve iç kimlik doğrulama altyapısını yeniden kurma yükü devam etti
Business planından Enterprise baskısına uzanan süreç
- Şirket, 2018'den beri aylık 250 dolarlık Cloudflare Business planını kullanıyordu
- Başlıca kullanım alanları CDN, statik içerik önbellekleme ve DDoS korumasıydı
- Şirket kendisini yaklaşık 4 milyon aylık aktif kullanıcıya sahip bir online casino olarak tanımladı
- Cloudflare'in ilk e-postası, web sitesinde ciddi bir sorun varmış gibi bir tona sahipti, ancak yapılan görüşme “Business Development” yerine Sales ekibiyle gerçekleşti
- Sales ekibi ciddi sorunun ne olduğunu somut biçimde söylemeden Enterprise'a geçiş isteyip istemediklerini sordu
- Şirket, e-postanın tonunu kafa karıştırıcı buldu ancak geçişi nazikçe reddetti
- İki hafta sonra Cloudflare, birden fazla alan adının ana alan adının aynası gibi çalıştığını öne sürerek itiraz dile getirdi
- Şirket, farklı ülkelerdeki düzenleyici gereklilikler, sunulan oyun kapsamı, sosyal özellikler, sportsbook ve iş ortaklığı takibi gibi nedenlerle birden fazla alan adı kullandığını söyledi
- Bazı ülkeler ana alan adını DNS düzeyinde engelleyebildiğinden, yardımcı alan adları erişim yolu işlevi görebiliyordu
- Şirket, bu yapının Cloudflare kullanım koşullarının ihlali olarak yorumlanabileceğini düşündü
- Toplam trafiğin %95'ten fazlası ana alan adında oluşuyordu ve şirket, sorunlu yardımcı alan adlarını Cloudflare'den kaldırmanın da mümkün olabileceğini değerlendirdi
Trust and Safety meselesinin Sales sözleşme talebine dönüşmesi
- Şirket, alan adı bilgilerini Cloudflare'e gönderip sorunun kapsamını ve hangi iç ekiplerin sürece dahil olması gerektiğini sordu, ancak görüşme tarihi dışında somut yanıt alamadı
- “Trust and Safety” ekibiyle yapılacağı sanılan toplantı da gerçekte yine Sales ekibiyle yapıldı
- Sales ekibi aylık 10 bin dolarlık bir Enterprise sözleşmesi önerdi
- Şirket, kullanım koşulları sorunu ile Enterprise sözleşme talebi arasında nasıl bir bağ olduğunu sordu
- Hangi alan adlarının “rotation” endişesi kapsamında görüldüğünü sordu, ancak yanıt alamadı
- Hangi Enterprise özelliklerinin zorunlu olduğu da net değildi
- Cloudflare, aylık 10 bin dolarlık sözleşme dışında bir çözüme ilgi göstermedi ve 24 saat içinde sözleşme imzalanırsa ancak o zaman “Trust & Safety” ekibine yanıt verebileceklerini söyledi
- Şirket aylık ödeme talep etti, ancak Cloudflare 1 yıllık taahhüt ve peşin tam ödeme istedi
- E-postada aylık ödemenin mümkün olabileceği izlenimi vardı, ancak netleştirme istendiğinde 1 yıllık ücretin peşin ödenmesi gerektiği yanıtı geldi
- Şirket, BYOIP'yi alan adıyla ilgili sorumluluğu azaltabilecek bir yöntem olarak görebileceğini, ancak diğer özelliklerin çoğunun ya gerekli olmadığını ya da sadece olsa iyi olacağını düşündüğünü söyledi
Fastly değerlendirmesinin hemen ardından gelen alan adı silme işlemi
- CEO ve CTO da görüşmelere dahil olurken şirket, Cloudflare ile doğrudan konuşarak yaklaşık bir haftalık süre kazandı
- Cloudflare başka sözleşme seçenekleri ya da yalnızca sorunu çözmeye dönük basit bir yol sunmadı
- Sales ekibinin verdiği 80TB trafik rakamının doğruluğunu şirket teyit edemedi
- Bunun nedeninin Cloudflare'in geçmiş analizlere erişimi kaldırmış olması olduğunu söyledi
- Şirket, Hacker News gönderilerine bakıldığında 80TB trafik için makul fiyatın aylık 150 ila 2.000 dolar olabileceğini düşündü, ancak bunun dış paylaşımlarla yapılan bir tahmin olduğunu belirtti
- Alternatif olarak bir Fastly test alan adı kuruldu ve ilgili görüşmeler planlandı
- Müzakere görüşmesinde CEO, Cloudflare Sales ekibine rakiplerle de görüştüklerini söyledikten birkaç saat sonra Cloudflare şirketin tüm alan adlarını sildi
- DNS kayıtları, önbellekleme ayarları, rate limit ve whitelist ortadan kalktı
- Herkese açık web sitesi ve müşteri destek e-postaları dahil incoming email durdu
- İç altyapı ve Cloudflare Access kimlik doğrulama ayarları da devre dışı kaldı
- Cloudflare'in e-postasında “mevcut hizmetlerde bir etki yok” ifadesi yer alsa da gerçekte kesinti yaşandı ve destek talebine de hemen yanıt verilmedi
Fastly'ye acil geçiş ve toparlanma yükü
- Şirket, SysOps ekibini toplayarak ana siteyi Fastly'ye acil olarak taşıdı
- Birkaç saat içinde temel işleyiş geri kazanıldı, ancak NS DNS girdilerindeki değişikliğin yayılma süresi öngörülemezdi
- Yayılma süresi 1 saat ile 48 saat arasında sürebiliyordu
- Çoğu kullanıcı için yaklaşık 3 ila 24 saat kesinti yaşandığı belirtildi
- Cloudflare daha sonra destek talebine yanıt verdi, ancak şirkete göre “Trust and Safety” doğrudan iletişime geçmedi ve hesap kilitli kaldı
- Silmenin etkisi yalnızca herkese açık hizmetlerle sınırlı kalmadı, iç sistemlere de yayıldı
- Cloudflare Access tabanlı iç kimlik doğrulama yapılandırması durdu
- Şirket, iç ürünler için kimlik doğrulama altyapısını sıfırdan yeniden kurmak zorunda kaldı ve büyük çaplı kesinti yaşadı
Cloudflare bağımlılığının yarattığı operasyonel risk
- Cloudflare'in Business müşterilerini ne zaman özel fiyatlı Enterprise'a geçirmek istediğine dair açık bir ölçüt bulunmaması temel risk olarak kaldı
- Şirket, trafik sınırları ya da Enterprise fiyatlaması için açık ölçütler bulmanın zor olduğunu düşünüyor
- Birden fazla alan adı gibi unsurlar Enterprise'a geçiş baskısının gerekçesi haline gelebiliyor
- Şirkete göre fiyat, ölçülebilir metriklere ya da özellik setine göre değil, daha çok müşterinin ödeyebileceği düşünülen tutara göre belirleniyor gibiydi
- Trafik azalırsa fiyatın nasıl değişeceğini sordu, ancak Cloudflare 80TB'nin dahil olduğu dışında yanıt vermedi
- Dahil edilen 14 özelliğin çoğuna ihtiyaç duymadıklarını söyledi, ancak Cloudflare yalnızca bu özelliklerin pakete dahil olduğunu belirtti
- İç alan adlarının tamamı için Enterprise gerekmediğini söylediler, ancak Cloudflare tüm hesabın Enterprise olması gerektiğini ifade etti
- Sonuç olarak, Cloudflare'den çıkabilmek için 24 saat içinde geçişe hazır olmanın gerekli olduğu vurgulandı
- Alan adlarının doğrudan Cloudflare'e kaydedilmemesi önerildi
- Cloudflare hesabı kapatılırsa alan adlarını makul sürede geri almanın yolunun belirsiz olduğu düşünüldü
- Şirket, yalnızca NS kayıtları Cloudflare'i işaret ettiği için geçiş yapabildi
- Cloudflare'e özel özellikler geçiş maliyetini artırıyor
- Özel önbellek kuralları yerine “Cache: Always” ve “Respect Origin Headers” kullanılmasının, böylece diğer önbellek proxy'lerinde de çalışmanın daha güvenli olduğu önerildi
- Zero Access ya da Workers gibi kapalı ürünlerin kullanımından kaçınılması, üçüncü taraf standartlarla uyumlu teknolojilerin tercih edilmesi tavsiye edildi
- Yapılandırma yedeklerinin de ayrıca tutulması gerekiyor
- SPF, DKIM gibi e-posta gönderimiyle ilgili DNS ayarları
- Site doğrulama DNS girdileri
- IP listeleri
- rate limiting kuralları
- Şirket, Cloudflare'in DDoS korumasının büyük ölçekli saldırılarda etkili olduğunu, ancak CPU'da 100ms tüketen önbelleğe alınmamış ve kimlik doğrulamasız API istekleri gibi zayıf saldırı yüzeylerinde saniyede 10 ila 100 istekle bile çekirdeklerin tüketilebildiğini belirtti
- Ayrıca bazı “DDoS attack as a service” gruplarının Cloudflare tabanlı hizmetlere ve “Under Attack Mode” atlatmaya özel olarak odaklanmış göründüğünü ekledi
2 yorum
Cloudflare'ı Kore hükümetinin alan adı engellemesini aşmamı sağladığı için kullanıyorum; peki Fastly gibi şirketler de alan adı engellemesini aşma hizmeti sunuyor mu?
Hacker News görüşleri
Bu sorun, OP’nin bir casino/kumar sitesi işletiyor olmasından kaynaklanıyor gibi görünüyor.
Kumar tarafında düzenlemeler karmakarışık; her yargı alanı için uyumluluğu kanıtlamak gerekiyor ve internette kusursuz uygulama zor olduğundan bazı ülkeler veya ISP’ler doğrudan engelliyor. Kumar/oyun sitelerini barındıran IP’ler bölgesel olarak engellenebiliyor ya da yasa dışı içerik barındırıyor diye işaretlenebiliyor; bu da IP itibarını etkiliyor ve Cloudflare gibi trafik toplayıcıları için başka müşteri sorunlarına dönüşebiliyor. Özellikle ABD’de kumar düzenlemeleri agresif ve karmaşık olduğundan, Cloudflare’ın ABD’de eyalet bazlı düzenlemeler yüzünden sıkıntı yaşamış olması oldukça olası.
Cloudflare muhtemelen Enterprise planındaki BYOIP’yi kullandırmak istiyordu ve bunları kendi IP’lerinin üzerinde tutmak istemiyordu. Doğru mesaj “Enterprise + BYOIP olmazsa engellenirsiniz, fiyat pazarlığa açık” olmalıydı; ama gerçekte “Enterprise planını beğeneceğinizi düşünüyoruz” gibi iletilmiş, bu da kurumsal iletişim açısından bir felaket olmuş.
İnternet şirketlerinin neredeyse yarısı Cloudflare veya başka çok kiracılı altyapılar kullanıyor; dolayısıyla tek bir IP’yi engelleyerek sadece hedeflenen tarafı vuramayacağınızı herkes biliyor. Benim gördüklerim yalnızca DNS engellemesi veya TLS SNI tabanlı engelleme. Biz de düzenlemeler nedeniyle ABD kullanıcılarını tamamen engelliyoruz. Asıl sorun, “uyumluluk” ile satışı birbirine karıştırıp net bilgi ya da seçenek sunmayan amatör iletişim ve görüşmeler sürerken hesabın uyarı yapılmadan kaldırılması.
BYOIP sadece pahalı olmakla kalmaz; içerik IP itibarı açısından kötüyse, paylaşımlı IP’ye kıyasla BYOIP’de çok daha hızlı işaretlenebilir. Çünkü seyreltme etkisi daha azdır. Sürekli IP döndürme veya kiralama meselesine girilirse daha da karmaşık hale gelir. Yine de ortada yalnızca satış e-postaları varsa Cloudflare’ın iletişimi açıkça beceriksiz ve amatörceymiş.
Enterprise planı üzerinden BYOIP gerektiğini duymuşlar ve görünüşe göre sadece ücretini ödemek istememişler.
random.org’un hepsini ele geçirdiğini sanıyordum.
Cloudflare’ın bu tür durumları ele alma biçimi kimse için ideal değil.
Hizmeti kullanmaya başladığınızda maliyet çok büyük olmadığı için planlarınızı o seviyeye göre yapıyorsunuz; sonra birden satış temsilcisinden “acil” bir e-posta geliyor ve aylık 20 ya da 250 dolardan doğrudan binlerce dolara çıkmanız gereken bir durum oluşuyor. Cloudflare açısından yeterince para ödemeyen müşterileri elde tutmak için bir neden olmayabilir, ama müşterinin önüne bomba bırakıp kovulacakmış hissi yaratınca güven kaybediliyor. Fastly’nin fiyatına denk gelebilirlerdi; farklı davransalardı hem müşteriyi elde tutar, hem daha fazla para alır, hem güveni korur hem de kötü PR’dan kaçınmış olurlardı. HN’de yazan Cloudflare yöneticileri genelde “böyle şeyler olmamalı” dediğine göre, satış temsilcilerinin teşviklerine bakmak gerekebilir.
Cloudflare ile konuşurken rakipten bahsetmek ya da ayrılma ihtimalini ima etmek bile güvenli görünmüyor.
Cloudflare geçmişte önbellek dosyaları üzerinden hassas verilerin sızdığı ve Google tarafından dizine eklendiği şirket değil miydi?
Teknik topluluk büyük çaplı hassas bilgi sızıntısına öfkelendiğinde, CEO’nun buraya gelip Google’ı dizinden yeterince hızlı kaldırmadığı için eleştirdiğini hatırlıyorum. Ucuz ödeme yapınca karşılığında buna uygun sonuç alıyorsunuz.
Böyle büyük bir hatayı unutmak zor ve “hızlı hareket et ve bir şeyleri kır” kültürü olduğuna işaret ediyor. Temel altyapıdan sorumlu bir şirkete uygun bir kültür değil.
Yine de büyük bir sağlayıcı sayfanın önbelleğe alınmış sürümünü sunuyorsa, kötü amaçlı yazılım gibi bir sorun çıktığında o dosyayı kaldırmanın bir yolu olmalı diye düşünüyorum.
Cloudflare’dan daha iyi bir DDoS azaltma sağlayıcısı bulmak zor, ama her şeyi emanet edecek kadar güvenmiyorum. Özellikle de şifresi çözülmüş HTTPS bağlantılarına bakıyor olma ihtimalleri yüksek olduğu için.
Hesabın engellendiği noktada Cloudflare satış ekibi bu işi muhtemelen “6 hafta içinde kapanma ihtimali %60” civarında görüyordu.
O anda Fastly’ye kaptıracaklarından şüphelenmek için bir neden yoktu ve varsayılan kazanan Cloudflare’dı. Haraç olsun ya da olmasın, neredeyse kazanılacak bir anlaşmayı öfkelenip kendi kendine bırakmaları pek akla yatmıyor. Bu yüzden inceleyip hizmet şartlarını ihlal eden bir iş kolu olduğuna karar vermiş olmaları ya da uygulama ekibi ile satış ekibinin devreye girme tetikleyicilerinin çakışmış olması daha olası görünüyor. Cloudflare’ın davranışı berbattı ve bu tür bildirimler ilk kez gelmiyor; “çok cömert ücretsiz katman ve berbat ücretli deneyim” şeklinde bir şöhreti var. Yine de kim kazanacağı bir anlaşmadan öfkeyle vazgeçer? İlgi oluşunca bakıp, şüpheli bir casino ya da ABD yasalarından kaçıyor gibi görünen bir işi desteklemediklerini fark etmiş olabilirler.
Üstelik oyun pazarından sorumlu ayrı bir bölüm var gibi görünüyor.
Belirli bir niş kullanım senaryosu otomatik hizmet şartları kontrolünden geçiyor, ardından alakasız bir destek sorunu üst seviyeye taşınınca manuel hizmet şartları incelemesi tetikleniyor. Yine de Cloudflare gibi büyük ve 120 bin dolarlık faturalarla uğraşan bir şirketin böyle bir şeyin olmasını engellemesi gerekir. Çok amatörce görünüyor.
OP bir kumarhane ve düzenleyici kurumların ilgisinden kaçınmak için alan adı oyunları yapıyor gibi geliyor
Sadece başlığa bakıp tepki vermeden önce yazıyı dikkatle okumayı öneririm. Cloudflare tarafının bakış açısı da ortaya çıksa iyi olurdu
Kumarhanenin düzenlemelerden kaçmaya değil, bunlara uymak için iş yapısını kurmaya çalıştığı görülüyor. Cloudflare’ın daha fazla para almak için müşterinin denetimden kaçmasına yardım etme riskini üstlenmesi için de bir neden görünmüyor. Daha çok, para dönen bir iş olduğunu görüp pay istemiş gibi duruyor
Ya kabul edilebilir bir iş ya da değil; ikisinden biri olmalı, her iki durumda da Cloudflare açısından iyi görünmüyor
Bir kumarhaneye hizmeti kesebiliyorsa, savaş propagandası sitelerini ya da yasa dışı hizmet satan siteleri de kesemez mi? Bu, onun yalnızca teknik sağlayıcı ya da tarafsız bir “internet borusu” değil, editoryal tercihler yapan bir taraf olduğu anlamına gelir. Sonuçta kendi kendine sansür Cloudflare’ın çıkarına olmayabilir ve DMCA güvenli limanını kaybetme riski de doğabilir
Esas nokta, ana alan adı dışındaki tüm alan adlarını kaldırmaya istekli olmaları ve ana alan adının trafiğin %95’inden fazlasını oluşturması. Ancak Cloudflare böyle bir seçenek ya da sorunun ayrıntıları hakkında hiçbir şey sunmamış
Hukuki bir sorun varsa Cloudflare’ın satış ekibi değil, hukuk ekibi devreye girmeliydi
Cloudflare, kotasını tutturamayan bir hesap yöneticisinin işten çıkarılma videosuyla da viral olmuş bir şirket
Enterprise müşterilerle ilişkileri yönetme kültürünün genel olarak pek iyi olmadığına dair bir işaret olabilir
https://m.youtube.com/watch?v=7LuwPdp-_4c
Satış temsilcileri hedefleri tutturamazsa sık sık işten çıkarılır; mühendisler de üretkenlik hedeflerini tutturamazsa işten çıkarılır. İşini iyi yapmıyorsan çalışmaya devam etmeyi beklememelisin. Yanlış hatırlamıyorsam o çalışan henüz tek bir satış bile yapamamış yeni biriydi. Kendini kanıtlamış kıdemli bir satış temsilcisi yerine kanıtlanmamış yeni birini mi tutarsın?
Daha önce Cloudflare Business planına oldukça yüksek bant genişliği kullanan bir site koymuştum
Tamamen yasal bir siteydi ve medya ağırlıklıydı. Cloudflare Enterprise planı önerdi ama bütçemiz yoktu; biraz zaman isteyince sorun olmadığını söylediler. Sonrasında bant genişliği kullanımının önemli bir kısmını birkaç OVH dedicated server’a taşıdık ve ondan sonra hiç iletişime geçmediler
Bu yazı, yazıldığı anda 1 saat içinde 355 puan ve 180 yorum almışken neden ilk sayfada bile değil de 31. sırada, bunu HN algoritması açısından açıklayabilecek var mı?
“Son çare müşteri desteği” türü yaygın ve genellikle HN’e pek uygun değil [1]. Bu hikâyenin istisnai biçimde alakalı ve ilginç olduğunu düşünüyorsanız katılmıyorum; ama belirli durumlarda taviz verebildiğimiz için bu başlıktaki cezayı geri aldım. Bizim açımızdan sorun belirli bir X yazısı ya da Y şirketi değil, sistemik bir sorun. En popüler gönderi türleri, özellikle öfke uyandıran yazılar, varsayılan olarak fazla örneklendiğinden, sitenin hedeflediği entelektüel merak odaklı yazılar için alanı korumak adına dengeleyici mekanizmalara ihtiyaç var [2]
[1] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&query=by%3Adang%20%22last%20resort%22%20support&sort=byDate&type=comment
[2] https://hn.algolia.com/?dateRange=all&page=0&prefix=true&query=by%3Adang%20countervail&sort=byDate&type=comment
https://hnrankings.info/40481808/
Bu açıkça flag sisteminin kötüye kullanımı
[flagged]eşiğinin altındaki flagler görünmez, ama yine de gönderinin ağırlığını düşürme etkisi vardırŞeffaflık eksikliğiyle ilgili bir yazı hakkında şeffaflık talep ediyor olmamız ironik
Kumar işi, isteseniz de istemeseniz de yapısal olarak gölgeli bir iş
Cloudflare’ın elde edeceğine kıyasla riskin daha büyük olduğunu düşünmüş olması mümkün. Aylık 300 dolar, böyle bir işle uğraşırken karşılaşılabilecek olası baş ağrılarına kıyasla çok ucuz. Ayrıca kendi tarafındaki bilgileri ve şirket adını dikkatle gizlerken karşı şirketin yetkilisinin adını ifşa etmesi çok uygunsuz bence. Sonuçta Cloudflare da kiminle iş yapacağını seçebilir ve muhtemelen işinizin kârlılığını, sizinle uğraşmanın ne kadar gürültülü ve sancılı olacağını dikkate alarak talep ettiği fiyatı belirlemiştir. Hoş değil ama SaaS/PaaS’in dezavantajı bu
Binlerce başka müşteriye de aynısını yapmayacağının garantisi yok
Aylık 300 doların ucuz olduğuna katılıyorum ama aylık 10 bin dolar çok pahalı ve Fastly de öyle düşünmüş gibi görünüyor. İsmi paylaşmanın doxxing olduğunu düşünmemiştim ve büyük bir sorun olacağını da beklemiyordum ama ekran görüntülerini güncelleyip yetkilinin adını gizledim. Cloudflare elbette kiminle iş yapacağını seçebilir; ama aynı zamanda kendini tarafsızlık ile konumlandırıyor
Cloudflare’ın 24 saat bile vermesi OP için şans sayılır. Şartları didik didik etmeyeceğim ama banka, kripto para, yetişkin içerik, kumar gibi belirli sektörlerin Enterprise sözleşmesi gerektirmesi muhtemel; bu yüzden satış ekibine yönlendirilmiş olabilir. OP müşteri güvenini kaybetmekten söz ediyor ama Cloudflare OP’nin güvenini istemiyor ya da buna ihtiyaç duymuyor. Aylık 250 dolar böyle bir işi üstlenmek için yeterli değil
Cloudflare CEO’su ve kurucu ortağı Twitter’da[0] oldukça aktif, HN’de[1] de bir ölçüde faal; bu konuya ilişkin bakış açısını duymak ilginç olabilir
[0] https://x.com/eastdakota/
[1] https://news.ycombinator.com/user?id=eastdakota
Müşteri istediğini söyleyebilir ama bir Cloudflare çalışanı ya da CEO’su karşılık verse kendi olay anlatımlarını sunabilirler mi? Hesap ayrıntılarını açıklamak gizlilik kurallarına aykırı olur ve sadece hukuki sorunları büyütür gibi geliyor. Yazarı, tüm ekran görüntülerinde alan adını dikkatle gizlemiş görünüyor
https://x.com/ArtemR/status/1795074047539068991