Lance - ML iş akışları için optimize edilmiş modern bir sütunlu veri formatı
(github.com/lancedb)- Parquet'ten 2 satır kodla dönüştürülebilir; 100 kat daha hızlı rastgele erişim, vektör indeksleme/arama ve veri sürümlendirme gibi özellikleri destekler
- pandas, duckdb, polars, pyarrow vb. ile uyumlu
- Sıfır kopya, otomatik sürümlendirme
- En uygun kullanım alanları
- Arama motorları ve feature store oluşturma
- Yüksek performanslı IO ve shuffle gerektiren büyük ML model eğitimi
- Robotik, büyük Blob'lar (görseller, point cloud, ..) gibi karmaşık iç içe verileri depolama/sorgulama/inceleme
Henüz yorum yok.