网站最近有点不正常，查看日志发现蜘蛛爬取页面很多，可是很多次数都是爬取重复的页面，这样的爬取也没有用，怎么引导蜘蛛正确的爬取方法，让蜘蛛爬取页面正常？
多抓不会有影响的
多抓没影响 放心
又没影响，不用管
说明你的网站没什么新东西
没影响的，蜘蛛重复抓可能是把内容放进数据里了
这不好吗，蜘蛛重复抓可能是把内容放进数据里了，多抓是没影响的
让更多人参与回答
