搜外网>搜外问答>问答页面

蜘蛛抓取页面重复率太高怎么解决？

微信

网站蜘蛛是来的次数正常，但是每次爬取页面都是重复的，如何解决蜘蛛的抓取页面重复，不让蜘蛛反复抓取页面重复，我应该怎么处理蜘蛛这块？感谢解答疑问！

举报 本帖由用户发布，如有侵权联系删除 2022-07-29 发布410 次浏览

广告位出租

广告位出租-排名优化

交换友情链接，就用搜外友链，方便！

3 人参与回答

习惯沉默 · 浙达精益，专注致力于磁致伸缩位移传感器

百度站长后台有个限制蜘蛛抓取频次

无畏向前

百度站长后台有个限制蜘蛛抓取频次