网站禁止爬虫协议robots.txt写法

最近经常查爬虫协议，就随便总结一下，方便自己使用； robots.txt文件放置网站的根目录中，根目录！ 建站之时，我们会禁止所有爬虫，因为我们的网站此时还没有准备好，所以不能让爬虫爬去进行收录，这时

七娃博客2019-01-10 388 次