Hetzner’in Kiwix hesabını iptal etmesi ve tüm sunucuları kapatması
(mastodon.social/@kiwix)- Kiwix, 1 Aralık 2024 Pazar günü saat 00:00’da barındırmanın önceden uyarı olmadan durdurulduğunu ve kütüphane erişimi ile dosya indirmelerinin engellendiğini açıkladı
- Nedeni, Hetzner’in Kiwix hesabını iptal edip tüm sunucuları kapatmasıydı; Kiwix spam klasörü dahil kontrol etti ancak önceden gönderilmiş bir bildirim bulamadı
- Pazartesi sabahı Hetzner ile iletişim kuruldu ancak iptal nedeni öğrenilemedi; Hetzner’in gönderdiğini söylediği e-postanın da yeniden gönderilemeyeceği yanıtı alındı
- Sunucu verileri zaten silindikten sonra Kiwix, etkilenmeyen ayna ve Scaleway’deki yeni makinelerle yaklaşık 8TB veriyi geri yükledi; yeniden çevrimiçi olmak yaklaşık 48 saat sürdü
- Daha sonra paylaşılan iptal e-postasında da bir gerekçe yoktu; Kiwix bu olayın ardından, kaynak kısıtları içinde yeni koruma önlemlerini değerlendireceğini söyledi
Pazar gece yarısında kesilen Kiwix hizmeti
- 1 Aralık 2024 Pazar günü 00:00’da Kiwix sunucularının barındırması önceden haber verilmeden durduruldu
- Kiwix, bu olaya dayanarak Hetzner Online hizmetlerini tavsiye etmediğini açıkladı
- Sunucu bağlantısının kesildiği an pazar gece yarısıydı ve Kiwix bunun Hetzner tarafında planlanmış bir hizmet sonlandırması gibi göründüğünü değerlendirdi
- Ana depolama arka ucu tamamen erişilemez hale geldi
- Genel kullanıcılar kütüphaneye erişemedi veya dosya indiremedi
- Kiwix de nedenini doğrulamak için depolamaya erişemedi
Hesap iptali ve anında silinen sunucu verileri
- Yapılan kontrolde Hetzner’in Kiwix hesabını iptal ettiği ve tüm sunucuları kapattığı ortaya çıktı
- Kiwix önceden uyarı almadığını, spam klasöründe de ilgili bir bildirim bulamadığını söyledi
- Pazar günü ulaşılabilecek kimse yoktu; ancak pazartesi sabahı Hetzner ile iletişim kurulabildi
- İptal nedenine dair sonunda hiçbir açıklama alınamadı
- Hetzner bir e-posta gönderdiklerini söyledi
- Kiwix yeniden gönderilmesini istedi ancak Hetzner bu e-postayı tekrar gönderemeyeceklerini söyledi
- Bu sırada tüm sunucular zaten silinmişti; Kiwix, verileri geri almanın bir yolu kalmadığını belirtti
Aynalar ve Scaleway kullanılarak yapılan kurtarma
- Kiwix’in etkilenmeyen aynaları vardı
- Yeni makineler başka bir sağlayıcı olan Scaleway’den temin edildi
- Ardından veriler hemen yeni Master sunucuya geri aktarılmaya başlandı
- Yaklaşık 8TB verinin yeniden çevrimiçi hale getirilmesi toplamda yaklaşık 48 saat sürdü
Ortaya çıkan operasyonel zayıflıklar ve sonraki adımlar
- Bu olay Kiwix’in bazı zayıf noktaları görmesini sağladı
- Aynı zamanda altyapı sorumlularının durumu görece kısa sürede çevirebildiği de görüldü
- Kiwix, önümüzdeki haftalar veya aylarda kaynak kısıtları içinde yeni koruma önlemlerini nasıl uygulayabileceğini değerlendireceğini söyledi
Sonradan paylaşılan iptal e-postası
- Daha sonra Hetzner iptal e-postasını paylaştı
- E-posta, gelecek ayın sonunda Kiwix hesabının kapatılacağını bildiren basit bir duyuruydu
- Herhangi bir gerekçe yoktu ve ifadelere bakıldığında Kiwix’in Hetzner’in hizmet şartlarını ihlal ettiği izlenimi vermiyordu
- Kiwix, bu e-postayla olayı kapatıp yoluna devam edebildiğini söyledi
- Kiwix, sorunu internette kamuya açık biçimde duyurmanın etkili olduğunu da ekledi
1 yorum
Hacker News yorumları
CTO'ya yedek ya da B planı olup olmadığını sorduğunuzda çoğu zaman “AWS'te duruyor, oraya da yedekliyoruz; AWS diye bir şirketin batması mümkün değil” yanıtını alırsınız.
Bu yüzden hesap kapatılırsa ne yapacaklarını tekrar sorarım. Örneğin Amazon'da sorunlu ürünler satan bir şirketle aynı telefon numarasını kullandığı için hesabın ilişkilendirilmesi ya da birkaç yıl önce GCP'nin Drive'daki bir görseli yanlış sınıflandırıp hesabı kapatması gibi durumlar.
Yedekler farklı bir konumda olmalı ve Terraform da başka bir bulut sağlayıcısında doğrulanmış olmalı. Aksi halde tüm şirketi riske atmış olursunuz.
Ek olarak, bunu Hetzner'ı özellikle suçlamak için söylemiyorum. 20 yılı aşkın süredir kullanıyorum; bu süre içinde tekil sunucuların durdurulduğu oldu ama tüm hesabın iptal edildiği hiç olmadı.
Başta on-premises'ten çıkmamız söylendi ve maliyetin önemli olmadığı belirtildi; sonra bulut açısından tarafsız olmamız gerektiği söylendi, teslim tarihi yaklaşınca da “teknik borç önemli değil, mümkün olduğunca hızlı AWS üzerinde çalışır hale getirin”e dönüldü.
Şimdi AWS maliyetleri yüzünden ortalık karışık; özellik geliştirme ve bakımın üzerine aynı anda hem “bulut tarafsızlığı” hem de “tüm bulutlarda servis maliyetlerini düşürme” yükü bindi. Teknik borç ve bug çok olduğu için ikisi de en az 10 kat yavaşladı.
Bir an önce yeni iş bulmam gerek. Yönetim kurulu ve üst düzey yöneticiler şirketi berbat yönetiyor. Her gün gerçeklikten kopuk ya da işleyişi neredeyse hiç bilmeyen birinin anlık tepkileriyle uğraşıyoruz; gerçek sorunların çözümüne pek katkısı olmayan süreç sorunları durmadan artıyor.
Genelde “Dahili araç bu, neden bozuk olduğunu varsayalım ki?” gibi bir cevap gelir. Sonra aylar ya da yıllar sonra geri yüklemeyi denediğinizde, asıl önemli verinin hiç yedeklenmemiş olduğunu anlarsınız.
Google Cloud'un bu yılın başlarında Avustralya'daki bir emeklilik fonunun tüm bulut dağıtımını yanlışlıkla sildiği bir olay olmuştu. Gerçekten sağlam bir yedek istiyorsanız, bence sonunda bunu nesne depolamaya indirgemek ve başka bir şirketin bulutuna koymak gerekir.
Üstelik test edilmeden bir kenarda bekleyip en çok ihtiyaç duyulduğu anda işe yaramama ihtimali yüksek.
Ben manuel olarak hepsinin yedeğini aldım ama bu gerçekten hiç iyi değil.
Bu konuda gerçeği yansıtmayan haberler yayıldığı için yazıyorum. 30 Ekim 2024’te, şartlara göre tanınan süreyi belirterek e-postayla fesih bildirimi gönderdik.
Ekibimiz bu müşteriyle zaten birkaç kez iletişime geçti ve iletişim iletim kayıtları da elimizde. Hesapları rastgele kapatmıyoruz; bundan emin olabilirsiniz. Hizmetin kötüye kullanımı, şartların ihlali gibi her zaman somut ve haklı bir neden olur.
Bu nedenle lütfen şartlara uyun: https://www.hetzner.com/legal/terms-and-conditions/. --Katie, Hetzner Online
Son birkaç yılda çevrimiçi ortamda Hetzner’ın gerekçe göstermeden hesap kapattığını iddia eden çok kişi oldu. Çoğunun, olayın şart ihlali gibi görünmemesi için bazı kısımları bilerek dışarıda bıraktığını düşünüyorum.
Yine de bir Hetzner müşterisi olarak, küçük bir müşteri olsam da, bu şikâyetlerin temelsiz olduğunu ve bu şirkete hâlâ güvenebileceğimi bilmek isterim.
Adresimiz sizde olmalı ama belki “kaybolmuş” olabilir; bu yüzden 30 Ekim tarihli e-postayı contact @ kiwix.org adresine iletin lütfen.
Aşağıdaki, bizim başladığımız nokta; referans numarasıyla kolayca bulabilirsiniz:
Özellikle de alındı teyidi olmadan ve başka iletişim yolları denenmeden yalnızca e-postayla bildirildiyse. Hizmet kesilir kesilmez verileri kalıcı olarak silmek şirketinizin standart prosedürü mü?
Burada yedekleme asıl mesele değil. Elbette yedekler önemlidir, ancak Hetzner gerçekten uyarı ya da taşıma için ek süre tanımadan üretim verilerini sildiyse, üzerine yapı kurulacak kadar güvenilir bir temel değildir.
Bu nedenle hiç Google Cloud müşterisi olmadım ve Hetzner neyin yanlış gittiğini ve bu hatayı bir daha yapmamak için ne yapacağını açıkça belirtmeden Hetzner’a yeni sunucu dağıtmayacağım.
Hetzner, top artık sizde.
“Top Hetzner’da” kısmı da tam olarak öyle değil. Şartları okursanız sunucularla istedikleri her şeyi yapabileceklerini söylüyor.
Şartlar 2.7’de “Ayrıca haklı bir neden bulunması halinde sözleşme ilişkisini bildirimde bulunmaksızın sona erdirme hakkını saklı tutar” deniyor.
Herhangi bir şirketin herhangi bir sunucusu aynı şeyi yapabilir. Amazon’un da benzer şeyler yaptığına dair çok hikâye var, Google için de öyle.
Kolokasyon değilse ya da donanıma bizzat sahip değilseniz başınıza birçok şekilde iş gelebilir. Dedicated server barındırıcılarına asla güvenmem.
Hetzner’ın birilerinin sunucusunu durdurduğuna dair şikâyetler genelde şartlara aykırı içerik barındırmak ya da benzeri nedenlerle ilgili olurdu.
Ama bu olay, çeşitli biçimlerde “çevrimdışı Wikipedia” sayılabilecek Kiwix ile ilgili görünüyor ve sorun çıkarabilecek içerikle bağlantılı gibi durmuyor.
Sonunda Hetzner tarafının bakış açısı da ortaya çıkar diye düşünüyorum. Genelde karşı taraf kamuya açık şekilde yazmaya başladığında Hetzner da konu hakkında kamuya açık yazmaya başlar.
Kişisel olarak Hetzner’ı yıllardır memnuniyetle kullanıyorum ve kendi hatam olmayan bir sorun yaşamadım. Ama Berlin saatiyle pazar gecesi yarısı sunucuların silindiği, verilerin hemen yok edildiği ve hiçbir telafi yolu olmadığı hikâyesi epey agresif geliyor. Neyse ki hem benim hem de Kiwix’in önemli veriler için aynaları var gibi görünüyor.
Rastgele bir dosya adındaki bir dize yüzünden böyle karar vermiş olabilir; ya da yakın zamanda bir Mastodon instance’ında yaşandığı gibi, sırf kullanıcılar görsel yükleyebiliyor diye Hetzner’ın bunu riskli görmüş olması da mümkün. Bu tür özellikler yaygın; yasa dışı içerik yüklenirse işlem yapacak moderasyon ve strateji de vardı, ama o gün inceleyen çalışan hassastı ve itiraz yolu yoktu.
Kullanıcı önce Kiwix’i ya da tarayıcı uzantısını indiriyor, sonra Kiwix ile çevrimdışı görüntüleme için içeriği indiriyor [1].
“Ana depolama backend’imiz tamamen erişilemez hale geldi. Sıradan kullanıcılar için bu, kütüphaneye erişememek ve dosya indirememeniz anlamına geliyordu; bizim içinse bağlanıp neyin yanlış gittiğini bile görememek demekti” [2].
Muhtemelen Wikimedia’ya birkaç tuhaf fotoğraf yüklendi ve bunlar Hetzner sunucusuna otomatik senkronize olurken alarmı tetiklemiş olabilir.
Hetzner’ın verileri silmiş olmasını değerlendirmek zor, ama Kiwix ekibiyle doğru dürüst iletişime geçmeye çalışmamış olmaları gerçekten korkunç bir tepki. Üstelik dünyada iyi bir şey yapmaya çalışan bir ekip olduklarını biliyor olmaları gerekirdi. Kullanıcının hesabına erişimini tek kelime etmeden engelleyen Google’la ya da güvenlik açığını bildiren araştırmacıya dava açan Alman şirketleriyle aynı sınıftalar.
Hetzner utanmalı.
[0] https://en.wikipedia.org/wiki/Kiwix#Available_content
[1] https://en.wikipedia.org/wiki/Kiwix#Description
[2] https://mastodon.social/@kiwix/113622081750449356
Bir dakika, Hetzner’ın gerçekten uyarı yapmadan tüm verileri sildiği mi söyleniyor?
Bu gerçekten delilik ve bir işletmeyi öldürebilir. Hetzner’ın itibarı için de, müşteri için de ölümcül olabilir.
Ama ucuzlar ve çoğu kişi şirketi araştırmaya çalışsa bile internette şikâyet edenleri bulamayacak; bu yüzden ne yazık ki büyük bir darbe yememiş gibi görünüyor.
Hetzner’ın böyle bir yetkiye sahip olması ve verileri geri getirilemeyecek şekilde silebilmesi gerçeği ürkütücü.
Geçen yıl bir Docker hizmetinin port ayarını yanlış yapmıştım; biri bunu kötüye kullanıp port tarayıcı çalıştırdı. Evde olmadığım bir dönemdi, bu yüzden hizmet kötüye kullanımı e-postasını zamanında görmeseydim birkaç gün sonra döndüğümde tüm verilerimin silindiği ya da çalışma süresi monitörünün ortalığı ayağa kaldırdığı bir durumla karşılaşabilirdim.
Alman şirketlerinin müşteri desteği berbat. AB içinde bile böyle.
Doğrudan yanıt verecek bir Mastodon hesabım olmadığı için, bunu duyması gereken kişiye bırakıyorum
Ben de bir VPS sağlayıcısında içeriğin kaldırılması sorununu yaşamıştım
İşe yarayan yöntem, kamuoyunda pek bilinmeyen bir VPS sağlayıcısı kullanmaktı. Bir süre sınırsız bant genişliği ve Wikipedia ile Julian Assange’ın OVH kullanması nedeniyle OVH kullandım. Hâlâ öyle mi bilmiyorum; sonrasında içeriği ENS ve IPFS’ye taşıdım
Her hâlükârda gerçek içerik nerede barındırılırsa barındırılsın, kendi “gerçek” sunucumu içerik kaynağı yaptım ve dışarıdan görünmeyecek şekilde gizledim. Güvenlik duvarıyla kilitleyip yalnızca 10 satırlık yapılandırma dosyasına sahip, gözden çıkarılabilir Squid proxy sunucularından erişilebilir yaptım
Sonra DNS’i, Cloudflare’i vb. Squid düğümlerine yönlendirdim; o düğümler kapanırsa da umursamadım. Çünkü başka bir yerde birkaç dakika içinde yenilerini dağıtabiliyordum
“Kötü içerik” olduğu için değil; sadece Tonya Harding gibi durmadan saldıran acımasız bir iş rakibim vardı. Sizin içeriğiniz de o kadar saldırgan görünmediği için paylaşıyorum
Ön uç VPS düğümlerine gerçek içerik adresini uzak kaynak olarak koymanız yeterli. Böylece sizden başka kimse konumunu bilmez
Bu durumda barındırma şirketi de dosyaları didiklemediği sürece genelde bunun ne olduğunu bilmez. Eğer didiklerlerse onların da işi biter
Bunu sansürden kaçınma yöntemi olarak aktarabilirsiniz ya da özel bilgiymiş gibi kendinize saklayabilirsiniz. Squid yapılandırma örneği gerekiyorsa söyleyin. Gerçekten en fazla 10 satırdır ve Google’da da bolca örnek var
Gecikme de çok artar, ek bir arıza noktası oluşur ve erişime izin vermek için “ön uç” IP’yi “gerçek” sunucuyla senkronize etmeniz gerekir. Üstelik “gerçek” barındırma ve “ön uç” barındırma için güvenilir iki ayrı sağlayıcı bulmanız gerekir. Aynı sağlayıcıyı kullanırsanız ilk gönderideki sorunla karşılaşırsınız
Sizin için iyi çalışıyorsa güzel, tebrik ederim; ama bunun birçok kişinin sorununu çözdüğünü söylemek zor. Hatta sizin sorununuzu gerçekten çözüp çözmediğinden de şüpheliyim; temelde Cloudflare/Akamai gibi bir şey kullanıp proxy’yi VPS üzerinde elle kurmaya benziyor
Bu ilk kez olmuyor:
Benim de burada olumsuz bir deneyimim var. Birinden telif hakkı ihlali talebi gelirse Hetzner önce müşteriye ulaşmıyor. Sunucuyu hemen indirip yanıt vermenizi istiyor
Elbette bu aklı başında bir süreç değil ve hiçbir üretim sistemi için Hetzner’i öneremem
HN’de Hetzner ile ilgili yazı gördüğüm her seferinde sinirleniyorum. Böyle şirketler reklam değil, kara listeyi hak ediyor
Ayrıca web sitesinin ne hakkında olduğunu da merak ediyorum. Ben de 24 saat içinde yanıt vermem gerektiğini, aksi halde sunucuyu sileceklerini bildiren uyarılar aldım. Ama her zaman yanıt verip uyduğum için sunucum hiç silinmedi
Kaldırmazsanız konu altyapı tarafına iner. Siz gönderiyi kaldırabilirsiniz; ama barındırma şirketi yalnızca gönderiyi kaldıramaz, sunucuyu kapatabilir. Ve bunu yapmak zorundadır. Yapmazsa para cezası ya da hapis riskiyle karşılaşır
Şimdi hikâyenin tamamını bilmek gerekir. Kamuya açık bir DMCA kaldırma talebi bağlantısı var mıydı ve gerçekten talepleri işleme alıyordunuz da şikâyetçi bunu görmezden gelip doğrudan Hetzner’e mi gitti? Yoksa kullanıcı tarafından oluşturulan içerik sunucusu işletip “bir şey olmaz” diye mi geçiştirdiniz?
Hatalı olduğunuzu söylemiyorum; ama hikâyenin çok küçük bir kısmını anlatıyorsunuz
Hetzner, 0,02 euro borcum olduğu gerekçesiyle hesabımı dondurdu
VISA kredi kartı, VISA banka kartı ya da Amex ile ödeme yapamıyordum; banka havalesi istediler. Ama bankam tutar çok düşük olduğu için 0,02 euro havalesine izin vermedi
Sırf inattan kendi veri merkezimi kurdum
Paylaşabileceğin ayrıntılar varsa duymak isterim
İnsanlar duymak istemiyor ama Hetzner desteği berbat
İki yıl boyunca hesabımızı açık tuttuk, birden fazla açık artırma sunucusu kullandık ve destekle birkaç kez iletişime geçmemiz gerekti; her seferinde konuşmaya “bu bizim yardımcı olacağımız bir konu değil” diye başladılar
Sözde yalnızca arıza olduğunda yardımcı oluyorlardı, ancak NVMe’nin neredeyse duracak kadar yavaşlaması ya da geçici ağ sorunları gibi gerçek teknik problemlerde bile mümkün olduğunca “umurumuzda değil” tavrı takındılar
Bu yüzden geçen ay hesabı kapattık
OP’ye yaptıkları gibi tüm verilerimizi uçurmuş olsalardı üzerimize nasıl bir acı çökerdi, hayal bile edemiyorum