网站禁止爬虫协议robots.txt写法

最近经常查爬虫协议，就随便总结一下，方便自己使用； robots.txt文件放置网站的根目录中，根目录！ 建站之时，我们会禁止所有爬虫，因...

七娃博客2019-01-10 515 次