搜外网>搜外问答>问答页面

网站蜘蛛抓取重复的页面多次怎么解决？

微信

网站蜘蛛每次来网站总是爬取多次重复的页面内容，无法禁止蜘蛛爬取正常，怎么引导蜘蛛的抓取爬取情况，让蜘蛛不要重复的爬取页面，有什么解决的办法？

追加问题
举报 本帖由用户发布，如有侵权联系删除  2022-02-11 发布430 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    3 人参与回答
素材网
素材网 · 素材网，网站模板，网站素材，视频教程，sucaipro。com

我也来蹲个大佬看看

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
天下爱我她最配
天下爱我她 · 我只是混外链 的

自己把重复的删了

2 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
泳池设备
泳池设备 · 主营泳池循环水泵、过滤砂缸、消毒监控设备、空气能热泵、除湿热泵等泳池水处理设备及其他配套设备。

检查一下内链，是不是太多链接指向重复页面，这是好事，人家都怕蜘蛛不来，在蜘蛛重复爬取这个文章里面放上2-3个内链跳转到其他页面，可以促进其他页面的收录

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
搜外微信
提供服务
常用链接
产品实验室
©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司