百度蜘蛛是来网站挺正常的，每天都来抓取次数也可以，问题是抓取页面都是重复，怎么蜘蛛抓取页面重复率太高，如何引导蜘蛛不要抓取页面重复了？反复抓取页面重复对网站也没有什么好处，大家是怎么解决蜘蛛的问题？
多抓没什么问题吧
抓取是好处呀，
被抓取多次并没有什么问题啊，如果你看的是蜘蛛访问记录抓取多次也可以是某条连接过来的，比如随机随机推荐的链接，或者外部广告。 如果你查的出来源，还是发现多次短时间内同时抓取，那么有可能这个页面当时访问受限，或者打开不流畅，应该考虑优化服务器，或者换个空间，具体原因需要你自己查
没办法，就让抓呗
让更多人参与回答
