NodeJS için Robots.txt ayrıştırıcısı

 (github.com)
4 puan yazan xguru 2022-01-15 | 1 yorum | WhatsApp'ta paylaş

  • IETF Robots Exclusion Protocol taslağıyla uyumlu olmayı hedefleyerek geliştirildi

  • Desteklenen kurallar

→ User-agent, Allow, Disallow, Sitemap, Crawl-delay, Host

→ Path: Wildcard(*) ve EOL($) eşleştirmesi

İlgili okumalar

1 yorum

 
xguru 2022-01-15