网站蜘蛛每次爬取页面，抓取页面都是重复的页面，一次次的抓取页面都是重复的页面，怎么解决蜘蛛抓取问题？引导蜘蛛抓取正常我们怎么解决是哪里不对，才导致蜘蛛抓取页面不正常，每次更新内容也没有重复，咋蜘蛛抓取页面都是重复的？
1、蜘蛛总抓取一个页面URL，这个是多出现在新站新域名上，只首页抓取，这种情况符合搜索预期； 2、持续优化，提升域名信任度和内容质量，做好推送提交URL给百度站长，引蜘蛛去抓取爬行内页。
主动去提交，降低内容的重复率
主动去提交就好了
主动提交，类似文章，最好删除了。
让更多人参与回答
