搜外网>搜外问答>问答页面

做SEO优化的过程中为什么那么注重robots.txt?

微信

Robots SEO优化举报 本帖由用户发布，如有侵权联系删除 2020-08-04 发布862 次浏览

15 人参与回答

公司注册郭小贺等 1 人赞同该回答

文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取。SEO优化蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是Robots.txt。

钉子谋道

有些东西收录了还不是没什么用直接告诉蜘蛛哪些页面不重要你可以不用来了就是这个意思

三郎 · 南京车位涂鸦

只是优化的一部分，不存在重不重视的问题。

火星

因为Robots可以告诉蜘蛛哪些页面不要抓取，哪些页面可以抓取。

E+ · 亚克力展示制品

文件是一个纯文本文件

孙稳兵 · 智慧消防，智慧用电厂家

什么后台啊啥的就不要让百度收录了

吉他大象

告诉蜘蛛该干啥不该干啥

香港服务器 · 磐石云天海外服务器香港服务器租用美国服务器租用香港站群服务器租用

可以告知蜘蛛引擎去抓取哪些内容比较快捷

阿浪...

Robots告诉搜索引擎，哪些爬取，哪些不爬取。一方面你的网站上有些是不需要爬取的，另一方面，来网站爬取的蜘蛛是非常有限而且很贵的，所以不要浪费在不需要爬取的地方

BLIZZ · 篮球架、硅PU篮球场、网球场等体育场馆集成供应商

那么哪些页面是不需要蜘蛛爬行的呢？我感觉我的网站全需要爬行的

公司注册郭 · 公司注册代理记账资质审批国企挂靠北京车牌保定花店 I3Z-4OII-99I3

这么专业的术语我这个小白都不知道什么意思

。

它可以避免很多不必要的页面给展示出来

收录宝