- Son dönemde şirketler, buluttan geri dönüp cloud repatriation yapma fikri üzerine artan tartışmalar yürütüyor
- Fastmail, 20 yılı aşkın süredir yalnızca bare metal sunucular kullanarak operasyonlarını optimize ediyor
- Kendi donanımlarını kullanarak buluta kıyasla maliyet optimizasyonu sağlıyor:
- Kullanım desenlerini doğru anlayıp donanım alımını uzun vadede planlamak
- 25 yıllık birikimli donanım ve ağ kurulum/işletim deneyimi
- Donanımı 5-10 yıl boyunca kullanıp maliyeti amorti etmek
Donanım Gelişimi
- İlk IMAP sunucuları, 15k RPM SAS diskler ve 7.2k RPM SATA diskler ile oluşturulmuş RAID kullanıyordu
- E-posta verileri önce yüksek hızlı SAS disklerde saklandı, ardından sunucu yükünün az olduğu saatlerde SATA disklerine taşındı
- Bu sistem Cyrus IMAP ve ayrı bir bölümlendirme aracıyla desteklendi
NVMe SSD'ye Geçiş
- Birkaç yıl önce AMD tabanlı 2U platformlarla ve NVMe SSD ile büyük çaplı bir yükseltme yapıldı
- Performans ve depolama yoğunluğu önemli ölçüde arttı
- RAID denetleyicisi eksikliği nedeniyle ZFS dosya sistemi benimsendi
- ZFS, copy-on-write modeliyle üstün I/O performansı sunuyor
ZFS Sıkıştırma ve İnce Ayar
- Zstandard sıkıştırma ile e-posta verisi alanı yaklaşık %40 azaltıldı
- Sıkıştırma verimliliği, ZFS kayıt boyutu ayarlanarak daha da iyileştirildi:
- Varsayılan olarak 128k kayıt boyutunda yaklaşık %40 tasarruf
- 512k olarak ayarlandığında %42 tasarruf
ZFS Şifreleme ve Birleşik Altyapı
- Mevcut LUKS şifreleme yerine yerleşik ZFS şifrelemesi kullanılınca sistem karmaşıklığı azaldı
- 3 yılda tüm e-posta sunucuları, veritabanları, günlük sunucuları ve yedekleme sunucularına ZFS entegre edildi
SSD Ömrü ve Güvenilirlik
- SSD'nin ömrü ve güvenilirliği doğrulandı:
- Veri merkezlerine özel SSD'ler, 3 yılda çok düşük arıza oranı gösterdi
- HDD'lere göre 10 kat daha güvenilir
Depolama Maliyeti Karşılaştırması
Bulut Depolama
- Amazon S3: Yıllık $252,000
- Backblaze B2: Yıllık $72,000
- Avantajı: Sınırsız depolama, çok sayıda sağlayıcı seçeneği
- Dezavantajı: Uygulama karmaşıklığı, maliyetin sürekli artma potansiyeli
HDD Yükseltmesi
- 24 TB HDD yükseltme maliyeti: yaklaşık $6,000/sunucu
- Avantajı: Mevcut donanımı yeniden kullanma, düşük maliyet
- Dezavantajı: Veri kurtarma süresinin artması, yetersiz I/O performansı
SSD NVMe Sunucusu
- 2U SSD sunucusu: $190,000 (1,220 TB depolama kapasitesi)
- Avantajı: Yüksek I/O performansı, güvenilirlik, alan ve enerji tasarrufu
- Dezavantajı: Yüksek başlangıç maliyeti
Nihai Seçim ve Sonuç
- NVMe SSD tabanlı ZFS sunuculara geçiş:
- Yüksek performans ve güvenilirlik sağlandı
- Mevcut sistemle uyumlu, yeni geliştirme gerektirmiyor
- Veri aktarım hızı: 5GB/s üzerinde
Sonuç
- Kendi donanımı işletmek herkes için uygun olmayabilir, ancak uzun vadede maliyet düşürme ve kontrolü artırma sağlar
- Fastmail, kendi donanımıyla hem kararlılığı hem de maliyet etkinliğini başarmıştır
3 yorum
AZ düzeyinde kullanılabilirliğin sağlanıp sağlanmadığını da merak ediyorum.
Açıkçası bulutsuz olarak çalışıp da bu şekilde sorunsuz giden bir şirketin durumu genelde iki şeyden biridir. Ya şirketin insan kaynağı o kadar iyidir ki gerçekten iyi çalışıyordur, ya da insan kalitesi iyi değildir ve yüksek erişilebilirliği ile güvenliği zayıf bir sistemi çalışıyormuş gibi sanan bir durumdur. Kore'de ikincisi ezici ölçüde yaygındır. Kısıtlı sayıda uzman meslek hariç, Kore’de insanı ikinci plana atan bir kültür var; böyle bir yerde iyi yetenekli çalışan kullanan yabancı bir CSP’ye işi bırakmak daha doğru olur. Ya da gerçekten insan kaynağına iyi biçimde yatırım yapmak gerekir…
Açık söyleyeyim, eşzamanlı bağlantı sayısı sabitse bulutu kullanmamak ucuz gelebilir; ancak yüksek erişilebilirlik ve güvenlikle düzgünce çalıştırmak için firmanın fiziksel sunucuları yönetebilecek yetenekte personele ihtiyacı olur. Bu kişiler yoksa bulutu kullanmak doğru olan şeydir ve böyle bir yeteneği bulma kapasitesi zayıf olan bir startup’ın gereksiz yere bulut kullanması söz konusu değildir.
Bulutta çalışmamak için örnek gösterilen 37signals da maaş alt sınırını belirleyerek yetenek odaklı hareket ediyor; o alt sınır 70 bin dolar ve dolar kuru artınca bu rakam 1 yüz milyon wonu geçiyor. Kore’deki BT çalışanlarının çoğu 37signals’in maaş alt sınırının altında ücret alıyor. Orada yeteneğe ciddi yatırım yapan bir iş gücü maliyeti olduğu için, buna paralel olarak on-premise’i koşturabilecek iyi uzmanlara da sahibiz; yine de bütçeleri bulut tarafına fazla akınca bare-metal’e geri dönmüşler. Üstelik Kamal gibi bir şey de yapmışlar. Peki Kore şirketleri Kamal gibi bir şey yapabilir mi? İnsan kaynağına yatırım yapmak istemiyorlarsa AWS gibi bir CSP kullanmaları daha doğru olur. On-premise kullanmak güvenli olduğu anlamına gelmez; bunu Kadokawa hack olayıyla görüldü.
Hacker News Yorumları
FastMail'in kendi donanımını kullanma nedeni, şirket 1999'da kurulduğunda seçeneklerin sınırlı olmasıydı. Rackspace'in tek bir sunucusunu kullandılar ve o dönemde aylık maliyet 70 dolardı. VPS veya SaaS alternatifleri pratikte yoktu.
Buluta geçiş ilginç. Çoğu insanın donanım yönetmekle ilgilenmek istemediği bir gerçek, ama maliyet açısından kendi sistemleri daha iyi.
Bulut, DevOps'taki sola kaydırma (left shift) ile ilgili. Maliyetleri düşürmek hedefi değil.
FastMail'e güvenmiyorum. Pobox'u satın aldıktan sonra hizmet, e-posta yönlendirmede başarısız oldu. İade de reddedildi.
BareMetalSavings.com sunuluyor. Buluttan çıkış maliyetini tahmin etmeye yardımcı olabilir.
FastMail'ın yaklaşımı ilginç. SSD'ye dair iki ilginç nokta paylaşıyor.
FastMail'in şeffaflığı ve mantıksal karar alması hoşuma gidiyor. E-posta hizmeti için karşılığını veriyor.
Self-hosting'in buluttan daha iyi olduğunu düşünenler çok. Ancak iş uygulamalarını etkili bir şekilde işletmenin nasıl yapılacağına dair yeterli tartışma yok.
Bulutun avantajlarından biri küçük ölçekteki güvenilirliğidir.
FastMail bir zamanların en iyi e-posta sağlayıcılarından biriydi. Arayüzü sezgisel ve tepkisi hızlıydı.