搜外网>搜外问答>问答页面

网站蜘蛛反复抓取重复的页面怎么禁止？

微信

网站查看多次，蜘蛛反复无常的抓取页面重复，一次次的抓取就是重复页面很多，导致抓取也没有多大用，怎么才能合理的让蜘蛛不要抓取页面重复，有办法禁止蜘蛛，让蜘蛛合理爬取吗？

追加问题
举报 本帖由用户发布，如有侵权联系删除  2022-05-24 发布451 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    7 人参与回答
简单
简单

你可以Robots写下

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
lubex
lubex · 广州绿百草-实验室综合供应商

Robots屏蔽页面抓取

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
富高家具有限公司www.fugaojiaju.com
富高家具有

可以利用Robots来屏蔽此页面阻止蜘蛛来抓取

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
隔壁老王情妇
隔壁老王情 · 菜鸟一枚,努力学习中......

屏蔽掉这个页面就好了

2 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
三九问答
三九问答 · 专业的有问必答平台

把这个页面屏蔽掉不就行了

2 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消
曾经的你
曾经的你

如果你网站不想被搜索引擎收录可以再Robots中配置相应的蜘蛛禁止抓取，如果你想让他收录，就让他爬取，蜘蛛只有反复的抓取评估页面才有纪律收录，如果不抓取，你的页面基本上被收录的可能性很小，如果觉得这个链接没用，不需要蜘蛛抓取，可以将这条链接屏蔽掉，或者再robots中写明不抓取的链接，就不会抓取了

2 年前
IP属地：重庆
赞同 0 评论 0
收藏 举报
评论取消
搜外微信
提供服务
常用链接
产品实验室
©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司