搜外网>搜外问答>问答页面

蜘蛛总是爬取重复的链接页面怎么办？

微信

蜘蛛每次来网站都是爬取重复的页面，我都无语了，别的链接页面也不爬取，怪不得网站不收录内容呢，重复的页面爬取也没有啥用啊！有什么方法阻止蜘蛛爬取重复的页面？谢谢解答。

追加问题
网站不收录 举报 本帖由用户发布，如有侵权联系删除  2020-05-21 发布1,299 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    7 人参与回答
橙子
橙子 · 苗木种植知识，seo优化技术，入行时间1年
权重蜘蛛-池出租 等 1 人赞同该回答

问题不大

3 年前
IP属地：江苏
赞同 1 评论 0
收藏 举报
评论取消
plank
plank · 上海力东科技有限公司是一家致力于各类生化试剂、标准品、小分子抑制剂、液体试剂等相关产品的研发与销售的企业。
权重蜘蛛-池出租 等 1 人赞同该回答

唉，外链又+1，好慢啊

3 年前
IP属地：上海
赞同 1 评论 0
收藏 举报
评论取消
apple
apple
权重蜘蛛-池出租 等 1 人赞同该回答

页面权重高

3 年前
IP属地：四川
赞同 1 评论 0
收藏 举报
评论取消
熊猫人
熊猫人 · 做一个平凡的IT民工！
权重蜘蛛-池出租 等 1 人赞同该回答

那说明你那个页面权重很高

3 年前
IP属地：安徽
赞同 1 评论 0
收藏 举报
评论取消
会费的鱼
会费的鱼

页面权重高

3 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消
丁一
丁一 · 任你发广告论坛免费发布合法信息

是不是你网站内的锚链接都指向了相同的几个页面，所以总是爬这几个页面，要不改改锚链接，没办法减少爬，可以禁止爬，用Robots.txt文件禁止蜘蛛爬你不想爬的页面，使用方法自己百度！

3 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
zgqjd
zgqjd · →免费关键词优化，上首页才计费+微信360663234

问题不大吧

3 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 刚看到有人说个人不能备案论坛，但看到吾爱、无忧都是个人备案的，这是什么原因？
  • 网站收录现在上升还是下降了
  • 因同IP网站互联首页降权
  • 怎么才能干掉同行的网站？
  • 网站快两个星期了为什么还没收录啊？文章每天都发，就是不收录，蜘蛛爬虫每天都来，就是不收录怎么办？
  • 请教，蜘蛛总之爬一些404页面
  • 有么有可以加外链效果不错的网站？
  • 网站被ddos我怎么办？
  • 伪原创工具智媒AI批量写作助手能在线生成原创文章？
  • 百度统计能不能看总访问量？
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司