搜外网>搜外问答>问答页面

如何避免不让蜘蛛重复抓取页面？

微信

蜘蛛每天都来爬取，但是百度蜘蛛总是重复抓取一个页面，一个页面重复多次抓取，我怎么不让蜘蛛抓取了，禁止蜘蛛抓取重复的？

追加问题
百度蜘蛛
本帖由用户发布，如有侵权联系删除  2020-03-30 发布1,306 次浏览
举报
其他问题
 
    3 人参与回答
用户148249 · 行星减速机

蜘蛛协议里写

5 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
用户170161 · 手赚1688网站长

避免不让，双重否定变肯定

5 年前
IP属地：福建
赞同 0 评论 0
收藏 举报
评论取消

收录宝

y/154 y/155 y/156 y/157 y/158 m/pro m/159 m/160 m/161 m/162 m/163 m/164 m/165 m/166 m/167 m/168 oduct oduct 7/187 7/188

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司