S3 Express İhtiyacınız Olan Her Şey

• AWS'nin yeni "S3 Express One Zone" düşük gecikmeli depolama sınıfı, veri altyapısı topluluğunda dikkat çekiyor
  • Veri erişim hızı 10 kat daha yüksek ve API istek maliyeti %50 daha ucuz. Dakikada milyonlarca isteği işleyebiliyor
• S3 Express depolama sınıfı, mevcut S3 Standard'a kıyasla GiB başına 8 kat daha pahalı olduğu için büyük ölçekli veri sistemlerinde "ana" depolama olarak uygun değil
• API işlem maliyeti %50 daha ucuz olsa da olağanüstü ucuz değil; bu nedenle daha önce S3 API maliyetleri yüzünden pratik olmayan iş yükleri için hâlâ uygun değil
• S3 Express, 512 KiB'yi aşan tüm API işlemleri (yazma + okuma) için GiB başına ücret alıyor
  • Başka bir açıdan bakılırsa, tüm API işlemlerine 512 KiB "ücretsiz" bant genişliği veriliyor ve yalnızca bunun aşılan kısmı için ödeme yapılıyor
• Ancak One Zone depolama sınıfı olduğu için veri sistemlerinin, tek bir AZ'nin arızasına karşı veriyi iki AZ'ye manuel olarak kopyalaması gerekiyor
  • Veriyi iki AZ'ye iki kez yazmanın maliyeti, uygulama katmanında veriyi manuel olarak çoğaltmanın maliyetine benziyor

Modern veri altyapısı için yeni fırsatlar

• Yeni depolama sınıfı, aynı mimari ve kodla düşük gecikme ve yüksek maliyet ile yüksek gecikme ve düşük maliyet arasında ayar yapmaya yönelik yeni fırsatlar sunuyor
• Artık hiçbir modern veri sisteminin yerel disklerin veya blok depolamanın (EBS) kullanılabilirliğine göre tasarlanması gerekmiyor; tamamı nesne depolama temelli olarak inşa edilebilir
• Veriler düşük gecikmeli S3 Express bucket'larında kolayca tutulup ardından eşzamansız olarak S3 Standard bucket'larına taşınabilir; modern veri sistemlerinin çoğunda zaten sıkıştırma bulunduğundan, "depolama katmanlama" fiilen ücretsizdir

GN⁺ görüşü

Bu yazıdaki en önemli nokta, AWS'nin yeni S3 Express One Zone depolama sınıfının veri altyapısında ne tür değişiklikler yaratabileceğine dair öngörüdür. Bu depolama sınıfı, veri sistemlerinin maliyetini ve performansını çarpıcı biçimde iyileştirebilecek yeni fırsatlar sunuyor; bu da veri yönetimi ve depolama biçimlerinde yenilik yaratabilir. Özellikle tüm veri sistemlerini nesne depolama merkezli kurabilme yeteneği, birçok şirket ve geliştirici için cazip bir seçenek olacaktır. Bu değişimin, veri altyapısının geleceğini daha esnek ve maliyet açısından daha verimli hâle getirmesi bekleniyor.

[kuroneko]

Nasıl kullanılacağını merak ediyorum.

[heycalmdown]

Daha dün WarpStream’i tekrar aratmıştım, bu yüzden bağlantıyı ekliyorum
https://tr.news.hada.io/topic?id=10234

[GN⁺]

Hacker News yorumu

• S3 tabanlı çoğu prodüksiyon depolama sistemi/veritabanı, verimli performans elde etmek için SSD/bellek önbellek katmanı kurmaya ciddi emek harcıyor.

  • S3 Express, HDD rastgele okuma hızına yaklaştığı için SSD önbelleği olmadan da prodüksiyon sistemi kurulabilir.
  • Birçok sistem yine de SSD önbelleğini koruyacaktır, ancak artık MVP SSD önbelleği olmadan da kurulabilir ve cold query gecikmesi ciddi biçimde azalır.
  • Şu anda nesne depolama üzerinde bir vektör veritabanı inşa ediyorum, bu yüzden bu teknoloji tam zamanında geldi.

• AWS S3 Express depolama maliyeti, S3 Standard'dan 8 kat yüksek, ancak modern veri depolama sistemleri için bu bir sorun değil.

  • Veriler düşük gecikmeli S3 Express bucket'ında kolayca tutulup eşzamansız olarak sıkıştırılarak S3 Standard bucket'ına taşınabilir.
  • Modern veri sistemlerinin çoğunda zaten sıkıştırma özelliği bulunduğundan, "depolama katmanlama" fiilen ücretsizdir.
  • Çoğu veri yoğun uygulamanın birincil depolama katmanı olarak S3'ü kullandığı bir gelecek öngörüyorum.

• Birkaç hafta önce arama motoru Quickwit'te S3 Express'i test ettim.

  • Performans açısından memnun kaldım ama fiyat konusunda hayal kırıklığına uğradım.
  • Belirli kullanım senaryolarında fiyat makul olabilir, ancak çoğu kullanıcının mevcut S3'e yerel SSD önbelleği eklemesini bekliyorum.

• Ek bağlam olarak, warpstream S3'ü nesne deposu olarak kullanan Kafka uyumlu bir akış sistemi geliştiriyor.

  • Bu sayede ucuz zone transfer maliyetlerinden ve otomatik depolama katmanlamasından yararlanarak sistemi işletme ve bakım maliyetlerini düşürüyor.
  • S3'ün okuma/yazma hızlarından kaynaklanan gecikme sorun yaratıyordu, ancak S3 Express sayesinde artık bu gecikmeye duyarlı uygulamalarda Confluent Kafka'nın yönetilen ürünüyle rekabet edebiliyor.

• Sorunu, dosyaları yerelde S3'e yüklemeden önce Redis'te önbelleğe alarak çözdüm.

  • Kod tabanı dosyayı kullanacağı zaman Redis'i kontrol ediyor; orada yoksa getirip yeniden önbelleğe alıyor.

• EFS, S3'ten çok daha üstün ama neden ilgi görmediğini anlayamıyorum.

  • Sistemler onu bir sürücü olarak mount edebiliyor, sistemler arasında paylaşabiliyor ve zaten çok düşük gecikmeye sahip.
  • EFS zaten varken S3 Express'in pratikte ne kadar faydalı olduğundan emin değilim.

• "X is all you Need" ifadesinin ilk kez "Attention is all you need" makalesinde mi kullanıldığını merak ediyorum.

  • Söz konusu makale Transformer'ı dünyaya tanıttı.

• Eğer bu Rust ile yazılmış düşük gecikmeli bir S3 ise, birkaç yıllık geliştirmenin ardından sonunda yayımlanmış oldu.

• Yeni S3 Express katmanını kullanınca performansı artacak kullanım senaryoları olup olmadığını ve 8 kat ek maliyete değip değmediğini merak ediyorum.

• Birçok S3 uygulaması sadece diske şeffaf indirme yapıyormuş gibi görünüyor, ama gerçekte yapılan şey "ağı disk gibi kullanmak" değil.