搜外网>搜外问答>问答页面

网站蜘蛛抓取页面反复重复太多怎么办？

微信

网站蜘蛛每天来网站爬取，爬取页面也是正常的，问题是蜘蛛每次抓取页面都是重复的，没有一次是不重复的，这样反复的无常，怎么处理蜘蛛的问题？各位有什么建议对于蜘蛛问题？

追加问题
举报 本帖由用户发布，如有侵权联系删除  2022-06-07 发布268 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    3 人参与回答
学习网站
学习网站 · 山东美新玻璃 | www . sdmeixinglass . com|

这个 就是没法办 除非屏蔽

1 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
罗凌峰
罗凌峰

蜘蛛重复抓取，可以去通过外链引蜘蛛去抓取其他页面URL

1 年前
IP属地：天津
赞同 0 评论 0
收藏 举报
评论取消
好好学习
好好学习

这个还真没办法，

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 没做移动适配影响优化吗？
  • 有没有做过移动适配的朋友呀，来资讯一下，无论那种方式，链接必须同时在PC端和移动端录入吗
  • 我的网站怎么又掉收录，大家帮我分析一下
  • 百度API自动提交新增内容网址是不是需要会代码的人弄?
  • 节后竞价点击变少了，前几名全被江苏上海的占去了，上海解封影响还是挺大的
  • 新站如何快速获得排名和权重
  • 新站没有原因交换链接怎么办
  • 这个网站的代码怎么会是这样，怪不得首页没有排名呢？
  • 网站快照更新停止更新两星期不动怎么办？
  • 我们在建站的时候，首页导向本站的内页的链接一般是否需要加target='_blank'？
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司