搜外网>搜外问答>问答页面

蜘蛛总是爬取重复的链接页面怎么办？

微信

蜘蛛每次来网站都是爬取重复的页面，我都无语了，别的链接页面也不爬取，怪不得网站不收录内容呢，重复的页面爬取也没有啥用啊！有什么方法阻止蜘蛛爬取重复的页面？谢谢解答。

追加问题
网站不收录
本帖由用户发布，如有侵权联系删除  2020-05-21 发布1,599 次浏览
举报
其他问题
 
    7 人参与回答
用户161619 · 苗木种植知识，seo优化技术，入行时间1年
用户196011 等 1 人赞同该回答

问题不大

5 年前
IP属地：江苏
赞同 1 评论 0
收藏 举报
评论取消
用户123528 · 上海力东科技有限公司是一家致力于各类生化试剂、标准品、小分子抑制剂、液体试剂等相关产品的研发与销售的企业。
用户196011 等 1 人赞同该回答

唉，外链又+1，好慢啊

5 年前
IP属地：上海
赞同 1 评论 0
收藏 举报
评论取消
用户165956
用户196011 等 1 人赞同该回答

页面权重高

5 年前
IP属地：四川
赞同 1 评论 0
收藏 举报
评论取消
用户173486 · 做一个平凡的IT民工！
用户196011 等 1 人赞同该回答

那说明你那个页面权重很高

5 年前
IP属地：安徽
赞同 1 评论 0
收藏 举报
评论取消
用户163010

页面权重高

5 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消
用户173896 · 任你发广告论坛免费发布合法信息

是不是你网站内的锚链接都指向了相同的几个页面，所以总是爬这几个页面，要不改改锚链接，没办法减少爬，可以禁止爬，用Robots.txt文件禁止蜘蛛爬你不想爬的页面，使用方法自己百度！

5 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
用户173299 · →免费关键词优化，上首页才计费+微信360663234

问题不大吧

5 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消

收录宝

nyoud nyoud nyoud nyoud nyoud nyoud nyoud nyoud nyoud nyoud nyoud nyoud nyoud nyoud nyoud nyoud nyoud nyoud nyoud nyoud

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司