Web crawling sırasında bot kontrollerinden kaçınma yöntemleri

Selenium odaklı olsa da başka yerlerde de uygulanabilir

1. Navigator.Webdriver bayrağını kaldırma

2. ChromeDriver / GeckoDriver içindeki belirli dizeleri kaldırma

3. Çözünürlük, User-Agent vb. değerleri değiştirme

4. Gerçek URL akışını kullanma. Görünmeyen bağlantıları ziyaret etmekten kaçınma

5. Proxy kullanarak IP değiştirme

6. Rastgele gecikme değerleri kullanma

7. Headless tarayıcı kullanmama (Notification Permission kontrol edilerek tespit edilebilir)

[xguru]

1. durumda, Puppeteer'da yalnızca true/false ayarlamakla bot olarak tespit edilen yerler olabiliyor.

Bu yüzden, aşağıdaki gibi özelliği tamamen silmenin daha iyi olduğu söyleniyor.

const newProto = navigator.proto;

delete newProto.webdriver;

navigator.proto = newProto;

[louis]

Bu iyi bir nokta :) Kodu değiştirdim