warc-parquet - WARC'ı Parquet'e dönüştüren CLI

 (github.com/maxcountryman)
8 puan yazan xguru 2022-06-30 | 1 yorum | WhatsApp'ta paylaş
  • Web ARChive (.warc) dosyalarını sütun tabanlı Apache Parquet formatına dönüştürür
  • Parquet'i DuckDB'ye yükleyip kolayca sorgulama yapılabilir
  • Rust açık kaynak projesi

İlgili okumalar

1 yorum

 
xguru 2022-06-30

DuckDB - Gömülü OLAP DB açık kaynak

Kısa süre önce paylaşılan WarcDB - Web crawl data as SQLite DB ile benzer görünüyor.
Ancak Parquet kullanan altyapının zaten bulunduğu yerlerde kullanımı daha kolay olabilir