搜外网>搜外问答>问答页面

如何屏蔽搜索引擎的无用垃圾蜘蛛抓取,来减轻服务器压力?

微信
追加问题
索引 举报 本帖由用户发布，如有侵权联系删除  2023-03-30 发布237 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    3 人参与回答
天行健咨询
天行健咨询 · 精益生产管理与六西格玛管理咨询，培训机构

我们一般都是通过Robots屏蔽这个方法，Robots 协议（也称为爬虫协议、机器人协议等）用来告诉搜索引擎、爬虫哪些页面可以抓取，哪些页面不能抓取。

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
利美医疗
利美医疗 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

直接无用的屏蔽蜘蛛，或设置允许的蜘蛛。

1 年前
IP属地：四川
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 第二次备案是不是比较容易？
  • 蜘蛛爬取页面多次没有被收录怎么回事？
  • 移动端怎么优化排名往上爬？
  • 索引量过高对网站也有不利吗？
  • seo常用工具有哪些查询？
  • 网站有收录并且有有效收录，但是百度站长平台中没有关键词是什么原因？
  • 域名注册时间需要多久
  • 同一个文章中存在相同的关键词指向不同的链接，这样的情况有什么影响？
  • 新安装的宝塔有很多用不了商业功能，是否可以将其屏蔽掉？
  • Essay代写网站被K后还能恢复吗？
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司