搜外网>搜外问答>问答页面

蜘蛛抓取重复的页面太多怎么解决？

微信

网站每次蜘蛛来网站的次数算正常，每次都会来网站抓取页面，问题是蜘蛛来抓取页面都是重复的太多，怎么让蜘蛛不要继续重复的抓取页面，有什么办法吗？蜘蛛为什么会抓取重复的页面多次？

追加问题
举报 本帖由用户发布，如有侵权联系删除  2022-01-24 发布366 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    3 人参与回答
小米
小米

你先看下日志，然后修改一下吧啊

2 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
LIMS2实验室信息管理系统
LIMS2 · LIMS2实验室信息化管理云平台

robot文件设置下

2 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
素材网
素材网 · 素材网，网站模板，网站素材，视频教程，sucaipro。com

服务器里面应该可以看

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 网站刷流量怎么刷流量比较安全稳定？
  • 哪些平台可以发布外链怎么发布？
  • 一个电影站怎么做好seo优化引流量？
  • 自适应网站，移动端百度抓取到其他地址
  • 网站地图怎么安装生成安装好？
  • 这个网站www.bk28.cn接下来应该怎么优化
  • 关键词密度太高了怎么降低密度最佳？
  • 火车头采集文章怎么进行采集？
  • seo还有前途吗？不知道年过了能干嘛
  • 新站索引量暴涨上千是怎么回事？
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司