WarcDB - Web tarama verilerini SQLite DB olarak kullanma

• Web’den taranan verileri SQL ile sorgulamayı kolaylaştıran, SQLite DB tabanlı bir dosya formatı
• wget ve WebRecorder gibi araçlarda kullanılan standart Web ARChive (.warc) dosyaları .warcdb olarak içe aktarılabiliyor
• sqlite-utils komutu aynen kullanılabiliyor

wget --warc-file tselai "https://tselai.com";  
warcdb import archive.warcdb tselai.warc.gz  
  
// tüm response header'larını getirme  
sqlite3 archive.warcdb <<SQL  
select  json_extract(h.value, '$.header') as header,   
        json_extract(h.value, '$.value') as value  
from response,  
     json_each(http_headers) h  
SQL