网站蜘蛛是天天过来抓取，但是抓取的页面都是重复的，重复的页面多次抓取，怎么引导蜘蛛抓取不要重复，重复的抓取次数多了也没有什么用，为什么会反复抓取页面呢？
1、抓取重复页面URL，可以尝试引蜘蛛去爬行新的URL； 2、新站新域名可能存在一直抓取同样URL情况，蜘蛛抓取无异常，做推送提交、外链友链、蜘蛛池、收录宝提交。
匿名用户
没什么问题，不影响网站没权重，哈哈
让更多人参与回答
