Git Scraping - Web değişikliklerini Git Repo'suna kaydetmek

 (simonwillison.net)
15 puan yazan xguru 2020-10-12 | 1 yorum | WhatsApp'ta paylaş

  • Sürekli değişen web sitesi verilerini GitHub Actions ile scrape edip kaydederek commit loglarıyla birlikte biriktirmek

  • California Department of Forestry and Fire Protection'ın güncel CA orman yangını verilerini scrape edip kaydeden bir örnek

  • XHR JSON verisini curl ile alıp jq ile ayrıştırarak kaydeden basit bir GitHub Actions workflow YML dosyası oluşturup çalıştırma

  • Yalnızca içerik değiştiğinde commit edecek şekilde ayarlama ve GitHub Cron yapılandırmasıyla saatte yaklaşık 3 kez çalıştırma

  • Yazar, daha önce kasırga bilgileri veya diğer kamu hizmetleri gibi alanlarda da bunu uyguladığı kayıtların tamamını paylaşmıştı

İlgili okumalar

1 yorum

 
xguru 2020-10-12

Yerli kamu kurumlarının web siteleri çoğu zaman API’ye sahip olmuyor ya da verileştirilmemiş oluyor.

Böyle bir yöntem de başka bir deneme olabilir gibi görünüyor.