2022 itibarıyla en iyi web scraping aracı hangisi?

 (news.ycombinator.com)
39 puan yazan xguru 2022-08-15 | 6 yorum | WhatsApp'ta paylaş

HN’deki soruya verilen yanıtlar

  • Playwright : JS çalıştırılması gereken web sayfaları arttığı için tarayıcı otomasyon araçları kullanışlı
  • Beautiful Soup : çeşitli scraping uygulamaları geliştirmeye uygun bir Python paketi
  • Shell’de cURL + pup(markup)/cskit(CSV)/jq(JSON)/psql(DB)
  • Browserflow : web tarayıcısı tabanlı iş otomasyon aracı
  • curl-impersonate : web sitelerini tarayıcı gibi getiren bir fork sürümü
  • Helium : kullanımı daha kolay Selenium-Python
  • undetected_chromedriver : CloudFlare bot kontrolünü geçen özelleştirilmiş Selenium Chromedriver
  • estela : Kubernetes üzerinde çalışan elastic web scraping cluster

İlgili okumalar

6 yorum

 
yangeok 2022-08-24

Puppeteer ekibinin Microsoft tarafından bünyeye katılmasıyla bunun doğrudan Playwright’a dönüştüğünü duydum.
 
youth 2022-08-15

Playwright ve Scrapy gibi araçlar, geliştirici tarafında bakımlarının iyi yapılması sayesinde iyi görünüyor.
Ben de kişisel olarak scrapy-playwright eklentisini çok kullanıyorum.
 
vwjdalsgkv 2022-08-15

Peppeteer görünmediğine göre çoğu kişi Playwright'a geçmiş gibi duruyor.
 
xguru 2022-08-16

Yorumlarda da gerçekten kullanmış olanların çoğu, Playwright'ın iyi olduğunu söylüyor.
 
jjpark78 2022-08-15

Benim oyum Playwright'a.
 
cometkim 2022-08-15

Sıklıkla Cloudflare'in HTMLRewriter'ını kullanıyorum.