搜外网>搜外问答>问答页面

蜘蛛反复爬取重复页面多次怎么回事？

微信

蜘蛛就是爬取页面是重复的，经常爬取页面重复性太高了，爬取页面重复对网站也没有好处，为什么蜘蛛一次次的爬取重复的页面，如何引导蜘蛛爬取页面正确？真的不希望蜘蛛这样反复的爬取页面没有用的。

追加问题
举报 本帖由用户发布，如有侵权联系删除  2023-02-07 发布257 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    2 人参与回答
枯藤老树
枯藤老树 · 贴片机代理商，设备，推广，品牌出海，外贸

这个问题不大的，不停的爬就是好事，最怕不爬你的站，哈哈。有些网站内容更新快，不停的爬抓取最新页面是正常的。

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
泳池设备
泳池设备 · 主营泳池循环水泵、过滤砂缸、消毒监控设备、空气能热泵、除湿热泵等泳池水处理设备及其他配套设备。

被抓取多次并没有什么问题啊，如果你看的是蜘蛛访问记录抓取多次也可以是某条连接过来的，比如随机随机推荐的链接，或者外部广告。
如果你查的出来源，还是发现多次短时间内同时抓取，那么有可能这个页面当时访问受限，或者打开不流畅，应该考虑优化服务器，或者换个空间，具体原因需要你自己查。

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 网站流量下降厉害怎么补救过来？
  • 搜外6系统建站，图片上传了，为什么前端页面不显示？
  • 准备用6系统建站，现在哪些行业比较好做？
  • 搜狗排名怎么优化排名靠前？
  • 新站如何第一次提交怎么向百度提交？
  • 火车头采集文章图片水印取消怎么做？
  • seo友情链接怎么交换互动？
  • 近期品牌词突然从第一位跳到第11位，什么情况。。。
  • 索引量越来越少低于收录量怎么办？
  • 如何分析判断网站是否被K？
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司