搜外网>搜外问答>问答页面

如何避免不让蜘蛛重复抓取页面？

微信

蜘蛛每天都来爬取，但是百度蜘蛛总是重复抓取一个页面，一个页面重复多次抓取，我怎么不让蜘蛛抓取了，禁止蜘蛛抓取重复的？

追加问题
百度蜘蛛 举报 本帖由用户发布，如有侵权联系删除  2020-03-30 发布1,002 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    3 人参与回答
橄榄绿叶
橄榄绿叶 · 行星减速机

蜘蛛协议里写

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
手赚1688网
手赚168 · 手赚1688网站长

避免不让，双重否定变肯定

4 年前
IP属地：福建
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 我需要换会老域名吗？
  • 新站终于收录了，还是熊掌号有作用啊
  • 试管婴儿这个行业如何去做seo 优化 ，常规手法 暂时还没有头绪快速上去
  • 新网站上线3个月了，只收录了首页，内页一直不收录，请各位大神分析什么原因？
  • 网站的流量还行为什么注册用户很少？
  • 想学一下sem，哪个网站的教程比较好呢，最好时间比较新
  • 现在熊掌号还能注册吗
  • 在知乎发的文章，目前目标关键词在PC段前4，在移动端首页
  • 为什么我的网站的关键词词库数量不增加？同行的很少更新内容，但是他的词库的词总是在涨，这是为什么呢？
  • 熊掌号改不了名字什么原因，点账号设置说正在升级，用不了
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司