SSD'ler çılgınca hızlandı ama bulut bu kurala uymuyor

• Son yıllarda flash tabanlı SSD'ler, depolamanın çoğu kullanımında diski geride bıraktı
• SSD'ler birden fazla bağımsız flaş çipinden oluşur ve bunlara paralel olarak erişilebilir
• SSD'nin verimi büyük ölçüde host ile olan arayüz hızına bağlıdır
• Son 6 yılda SATA'dan PCIe 3.0, ardından PCIe 4.0 ve PCIe 5.0'a hızla geçilmesiyle SSD verimi patlayıcı şekilde arttı
• Aynı zamanda yalnızca performans değil, dolar başına kapasite de yükseldi
• Bu ilerleme NVMe ve PCIe gibi açık standartlar, devasa talep ve rekabetçi tedarikçiler sayesinde mümkün oldu
• Günümüzde PCIe 5.0 veri merkezi SSD'leri en fazla 13 GB/s okuma verimi ve 2,7 milyonun üzerinde rastgele okuma IOPS değeri yakalıyor
• Günümüz sunucuları yaklaşık 100 PCIe hattına sahip olduğundan, tek bir sunucuda birden fazla SSD'yi toplam bant genişliğiyle kullanmak mümkün

Bulutta SSD performansındaki durgunluk

• AWS EC2, 2017'nin başında ilk NVMe SSD'yi içeren i3 örneğini yayınladı
• O dönemde NVMe SSD pahalıydı ve sunucu başına 8 adede sahip olmak dikkat çekiciydi
• Ancak 7 yıl sonra bile SSD başına performans 2 GB/s seviyesinde kaldı
• i3 ve i3en örnekleri hâlâ IO/$ ve SSD kapasite/$ açısından EC2'nin sunduğu en iyi seçeneklerdir
• Bulut sağlayıcılarının sunduğu SSD ile en yeni SSD'ler arasındaki performans farkı okuma verimi, yazma verimi ve IOPS'ta neredeyse 10 kata kadar açıldı
• Buluttaki bu durgunluk, diğer alanlardaki büyük ilerlemelerle zıttır
• Örneğin EC2 ağ bant genişliği 2017'den 2023'e 10 Gbit/s'den 200 Gbit/s'e patlayıcı şekilde çıktı
• Bulut sağlayıcılarının depolama tarafında ilerleme kaydetmemesinin birkaç olası nedeni var
  • EC2'nin cihaz arızalarını önlemek için yazma hızını bilerek 1 GB/s ile sınırladığı yönünde bir teori
  • Hızlı depolamaya talep olmadığından sistemi optimize etme motivasyonunun düşük olduğu olasılığı
  • EC2'nin hızlı ve ucuz NVMe örnek depolaması sunmasının, diğer depolama hizmeti (EBS) için maliyet yapısını bozabileceğine dair bir teori
• Yazar, yakın zamanda 10 GB/s SSD'li bulut örnekleri görmeyi umuyor

GN⁺'nin yorumu

• SSD teknolojisi çok hızlı gelişirken bulut hizmet sağlayıcılarının bu değişimi yakalayamaması, pazarın farklı gereksinimlerini ve teknik sınırlamaları yansıtıyor
• Bulut depolamasındaki performans durgunluğu, maliyet etkinliği ile hizmet kalitesi beklentileri arasında çelişki yaratabilir ve bu durum bulut sektörü içindeki rekabet gücünü etkileyebilir
• Bu yazı, hem bulut bilişim kullanıcılarına hem de sağlayıcılara önemli bir bakış açısı sunar; daha hızlı depolama çözümlerinin talebi ve teknik ilerlemenin gerekliliğini vurgular

[GN⁺]

Hacker News yorumu

• Bulutun teknik sorunlarına dair tartışma

  • Google, bulutun temel bir sorunu üzerinde çalıştı. Bu, insanların teknoloji yönelimini belirleyen önemli bir etken.
  • Bulut SSD'leri ağ üzerinden bağlanır ve bu gereklidir; ancak ağ çok büyük ve yavaştır, bu da yerel SSD performansı sunamaz.
  • Mekanik disklerde sorun yaratmazken, SSD'de ağdan çok daha hızlı oldukları için problem oluyor.

• AWS Nitro SSD mimarisine dair açıklama

  • AWS belgeleri ve blogları, Nitro SSD mimarisini açıklar. Bu mimari PCIe ile sistem anakartına fiziksel olarak bağlı olsa da, müşteri iş yükünü çalıştıran sistemden mantıksal olarak izole edilir.
  • SSD aygıtının ömrünü en üst düzeye çıkarmak için firmware 'wear leveling' adı verilen bir süreci yürütür. Bu süreçte bir tür çöp toplama vardır; standart SSD'ler fazla yazma sırasında öngörülemeyen zamanlarda yavaşlayabilir. AWS, veritabanı uzmanlığından yararlanarak SSD firmware'ine, güç kesintisine dayanıklı son derece sofistike bir journal tabanlı veritabanı entegre etti.

• Bulut örneklerinde IOPS deneyimi

  • Bulut örneklerindeki 'provisioned IOPS' değeri çok düşüktü; bu şaşırtıcıydı. Bu, özellikle sadece bulut örnekleriyle çalışan gençlerin tek ya da iki RU'da fiilen ne kadar performans barındırılabileceğini bilmediklerini gösteriyor.
  • NVMe depolamanın hızı, günümüzün çarpıcı teknolojilerinden biridir.

• OCI'de çalışan birinin görüşü

  • OCI, örneklerde daha hızlı NVMe sürücüleri sunuyor. E4 Dense modeli, Samsung MZWLJ7T6HALA-00AU3 ile ardışık 7000 MB/s okuma ve ardışık 3800 MB/s yazma sağlıyor.
  • AWS'nin şu an daha hızlı NVMe sunmamasının en olası nedeni, talebin somut olmaması. Bu bir spekülasyon, ama genel olarak yeterli talep olmadığında yükseltmeler beklenenden fazla gecikebiliyor.

• Buluttan çıkmak için yapılan sav

  • Modern NVMe ve çekirdek sayısı, buluttan çıkmak için güçlü bir argüman sunuyor. Bu hızlar belleğe yakın olduğu için, verinin diske rahatça sığacağı varsayımıyla karmaşıklık azalıyor.
  • Tek güçlü bir sunucu bile yeterli caching/hesaplama/sunma yapabilir ve bu, birçok iş yükünü basitleştirir.

• Bulut optimizasyonuna yönelik eleştiri

  • Sorun bant genişliği değil, IOPS. Rastgele IO benchmark'ları çalıştırdığımda SSD'den çok büyük bir spinning RAID array'e benzer rastgele IOPs davranışı görüyorum.
  • Bulut optimizasyonunu ciddiye almayı zorlaştıran nedenlerden biri, veritabanı gibi iş yüklerinin iyi optimize edilmemesi nedeniyle maliyetin yükselmesi olabilir.

• AWS'nin NVMe örnek türleri tartışması

  • i4i ve im4gn gibi birçok NVMe instance türü piyasaya sürülmüş olsa da performans artmamış. i3'ün çıkışından 7 yıl geçti ama hâlâ SSD başına 2 GB/s seviyesinde kalıyor.
  • AWS pazarlaması şöyle iddia ediyor:
    • En fazla 800K rastgele yazma IOPS
    • En fazla 1M rastgele okuma IOPS
    • En fazla 5600 MB/sn ardışık yazma
    • En fazla 8000 MB/sn ardışık okuma

• Hibrit SSD kurulumuna dair kişisel seçim

  • 2011 X-25E 64GB ile 2021 PM897 3.7TB'yi bir arada kullanarak, en sağlam çözümü ve en büyük veritabanını en düşük güçle elde ettim.

• Bulut hizmetlerinin performans sınırlaması üzerine spekülasyon

  • Bulut hizmetlerinin düşük performansta kalmasının nedeni talep azlığı olabilir; bu da sanallaştırma katmanında 'hile' kullanılmasına izin verir.

• SSD maliyetleri üzerine düşünceler

  • En hızlı SSD'ler genelde MLC teknolojisini kullanmaya meyillidir ve bu, diğer teknolojilere kıyasla yazma ömrünü çok daha düşük yapar.
  • Veri yoğunluğunu artırmak performansı artırmayı kolaylaştırsa da, bellek blok/hücre düzeyinde yazma yapıldığından tek bir hücrenin bozulması tüm hücrelerin arızalanmasına neden olabilir.
  • Yeni bir teknolojiyi stack'e eklemek ve filoyu uygun maliyetle yükseltmek sorunlu olabilir.