Wikipedia'nın robots.txt Dosyası
(en.wikipedia.org)Yorumlarla dolu olduğu için ilgi çekici bir robots.txt — anormal davranan botlar, kurallara uymayan botlar, captcha botları, Google reklam botları, sorunlu wget recursive modu vb.
Yorumlarla dolu olduğu için ilgi çekici bir robots.txt — anormal davranan botlar, kurallara uymayan botlar, captcha botları, Google reklam botları, sorunlu wget recursive modu vb.
2 yorum
"Zaten robots.txt dosyasını umursamıyor ama..." kısmı komikmiş, haha
robots.txt için tam bir en iyi uygulama örneği sayılır!!
Faydalı bilgi için teşekkürler.