Meta (eski Facebook), dahili olarak kullandığı yüksek performanslı veri sıkıştırma çatısı 'OpenZL'i açık kaynak olarak yayımladı. Özellikle yapay zeka ve makine öğrenimi iş yüklerinde olduğu gibi çok büyük miktarda özel veri kümesinin işlenmesine optimize edilen OpenZL, mevcut genel amaçlı sıkıştırma çözümlerinin sınırlarını aşan yüksek sıkıştırma oranı ve yüksek hızı aynı anda sunuyor.
Özellikler ve işlevler
OpenZL'in en büyük özelliği, veri biçimine optimize edilmiş özel sıkıştırıcılar üreten 'Format-Aware' sıkıştırma yaklaşımıdır. Verinin yapısını analiz ederek en verimli sıkıştırma algoritmasını oluşturduğu için, veri merkezi iş yüklerinin gerektirdiği hızlı işlem hızını korurken genel amaçlı sıkıştırıcılarla mümkün olmayan düzeyde yüksek sıkıştırma oranına ulaşıyor.
Ayrıca üretilen tüm özel sıkıştırıcılar tek bir genel amaçlı açıcı ile uyumludur; bu da sistem bakımını kolaylaştırır. Bunun yanında, 'Trace Visualizer' aracı üzerinden sıkıştırma sürecini görsel olarak analiz etme işlevi de sunar.
Performans verileri (Silesia Compression Corpus SAO verisi baz alınmıştır)
| Kategori | OpenZL | zstd -3 | xz -9 |
|---|---|---|---|
| Sıkıştırma oranı | x2.06 | x1.31 | x1.64 |
| Sıkıştırma hızı | 203 MB/s | 115 MB/s | 3.1 MB/s |
| Açma hızı | 822 MB/s | 890 MB/s | 30 MB/s |
Meta'nın OpenZL'i açık kaynak olarak yayımlamasıyla, büyük ölçekli veri işlemenin zorunlu olduğu yapay zeka ve çeşitli endüstrilerde veri depolama ve aktarım maliyetlerinin azaltılmasına, ayrıca iş verimliliğinin önemli ölçüde artırılmasına katkı sağlaması bekleniyor.
3 yorum
OpenZL: Dosya formatını tanıyabilen açık kaynaklı bir sıkıştırma çerçevesi
Facebook’un tanıtım yazısının yapay zeka tarafından çevrilmiş haline de birlikte göz atın
Sıkıştırma konusunda işi Meta sürüklüyor galiba, vay be.
zstdde büyük bir ilerlemeydi.İçeride zaten iyi şekilde kullanırken... şimdi duyuruyor olmaları...
Daha büyük bir şeyin bir adım daha yaklaştığı anlamına geliyor.