搜外网>搜外问答>问答页面

蜘蛛总是爬取重复的链接页面怎么办？

微信

蜘蛛每次来网站都是爬取重复的页面，我都无语了，别的链接页面也不爬取，怪不得网站不收录内容呢，重复的页面爬取也没有啥用啊！有什么方法阻止蜘蛛爬取重复的页面？谢谢解答。

追加问题
网站不收录 举报 本帖由用户发布，如有侵权联系删除  2020-05-21 发布1,421 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    7 人参与回答
橙子
橙子 · 苗木种植知识，seo优化技术，入行时间1年
权重蜘蛛-池出租 等 1 人赞同该回答

问题不大

4 年前
IP属地：江苏
赞同 1 评论 0
收藏 举报
评论取消
plank
plank · 上海力东科技有限公司是一家致力于各类生化试剂、标准品、小分子抑制剂、液体试剂等相关产品的研发与销售的企业。
权重蜘蛛-池出租 等 1 人赞同该回答

唉，外链又+1，好慢啊

4 年前
IP属地：上海
赞同 1 评论 0
收藏 举报
评论取消
apple
apple
权重蜘蛛-池出租 等 1 人赞同该回答

页面权重高

4 年前
IP属地：四川
赞同 1 评论 0
收藏 举报
评论取消
熊猫人
熊猫人 · 做一个平凡的IT民工！
权重蜘蛛-池出租 等 1 人赞同该回答

那说明你那个页面权重很高

4 年前
IP属地：安徽
赞同 1 评论 0
收藏 举报
评论取消
会费的鱼
会费的鱼

页面权重高

4 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消
丁一
丁一 · 任你发广告论坛免费发布合法信息

是不是你网站内的锚链接都指向了相同的几个页面，所以总是爬这几个页面，要不改改锚链接，没办法减少爬，可以禁止爬，用Robots.txt文件禁止蜘蛛爬你不想爬的页面，使用方法自己百度！

4 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
zgqjd
zgqjd · →免费关键词优化，上首页才计费+微信360663234

问题不大吧

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
搜外微信
提供服务
常用链接
产品实验室
©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司