- En yeni donanım (SIMD·GPU) temel alınarak tasarlanmış açık kaynaklı bir kolon odaklı dosya formatı
- Analiz ve yapay zeka iş yüklerinde yüksek aktarım hızı ve düşük gecikmeli veri erişimi hedefler
- Parquet'e kıyasla yaklaşık %40 daha yüksek sıkıştırma oranı, 40 kata kadar daha hızlı kod çözme hızı sunar
- Veri bağımlılıklarını en aza indiren Lane tabanlı yerleşim kullanır; böylece her birim bağımsız olarak decode edilebilir
- SIMD·çok çekirdekli CPU·GPU üzerinde aşırı düzeyde veri paralelliği sağlar
- Açık SIMD kodu yazmadan da otomatik vektörleştirmenin iyi çalışması için tasarlanmıştır
- CPU·GPU önbellek özelliklerini dikkate alan küçük batch birimli erişim yaklaşımı benimsenmiştir
- Sıkıştırmayı tamamen açmadan işleme yapan kısmi açma (partial decompression) desteği sayesinde veri motorları sorguları veriyi sıkıştırılmış haldeyken çalıştırabilir
- Çoklu kolon sıkıştırma (Multi-Column Compression, MCC) ile kolonlar arası korelasyonlardan yararlanır
- Mevcut kolon depolama formatlarının tek kolon sınırını aşan ifade tabanlı bir encoding mekanizması sunar
- Harici kütüphanelere bağlı olmayan zero-dependency yapı ile derleme sürecini basitleştirir
- C++, Python, Rust gibi başlıca diller için binding sağlar
- Yerleşik CSV ↔ FastLanes dönüşüm API'si
read_csv() / to_fls() ile kolay dönüşümread_fls() / to_csv() ile ters dönüşüm desteği
- GPU decode etme, Apache Arrow·DuckDB entegrasyonu gibi yeni nesil veri yığınıyla bütünleşme hedefiyle geliştiriliyor
Henüz yorum yok.