搜外网>搜外问答>问答页面

蜘蛛爬取页面总是重复怎么解决？

微信

蜘蛛也是正常来网站的，就是抓取页面都是重复的，这样的抓取不被收录没有什么用，为什么反复抓取页面都是重复的，怎么引导蜘蛛抓取页面是正确的？当蜘蛛总是抓取页面重复是什么原因？

举报 本帖由用户发布，如有侵权联系删除 2023-04-10 发布417 次浏览

3 人参与回答

天行健咨询 · 精益生产管理与六西格玛管理咨询，培训机构

想要让蜘蛛去抓取目标页面，首先得把目标页面的地址提交到搜索引擎。另外要注意，搜索引擎对于每个网站都有额定的抓取上限，为了更好的节省蜘蛛抓取份额，对于那些已经被收录的页面，以及蜘蛛重复抓取的页面，可以适当的设置Nofollow标签。

利美医疗 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

多做点内链引导蜘蛛。重复抓取很正常的。

如果你觉得这些被重复抓取的页面没有用，可以设置Nofollow；

其次，及时提交想要被抓取的目标页面（写进Sitemap，主动提交等等都行)；

最后，注意目标页面的链接入口，通过内链和外链等优化，来促进搜索引擎蜘蛛抓取。

收录宝