搜外网>搜外问答>问答页面

做SEO优化的过程中为什么那么注重robots.txt?

微信

Robots SEO优化

本帖由用户发布，如有侵权联系删除 2020-08-04 发布1,001 次浏览

交换友情链接，就用搜外友链，方便！

15 人参与回答

用户179769 等 1 人赞同该回答

文件是一个纯文本文件，可以告诉蜘蛛哪些页面可以爬取（收录），哪些页面不能爬取。SEO优化蜘蛛在爬去网站页面之前，会先去访问网站根目录下面的一个文件，就是Robots.txt。

用户180134

有些东西收录了还不是没什么用直接告诉蜘蛛哪些页面不重要你可以不用来了就是这个意思

用户103266 · 南京车位涂鸦

只是优化的一部分，不存在重不重视的问题。

用户65944

因为Robots可以告诉蜘蛛哪些页面不要抓取，哪些页面可以抓取。

用户175174 · 亚克力展示制品

文件是一个纯文本文件

用户144900 · 智慧消防，智慧用电厂家

什么后台啊啥的就不要让百度收录了

用户116205

告诉蜘蛛该干啥不该干啥

用户148684 · 磐石云天海外服务器香港服务器租用美国服务器租用香港站群服务器租用

可以告知蜘蛛引擎去抓取哪些内容比较快捷

用户179858

Robots告诉搜索引擎，哪些爬取，哪些不爬取。一方面你的网站上有些是不需要爬取的，另一方面，来网站爬取的蜘蛛是非常有限而且很贵的，所以不要浪费在不需要爬取的地方

用户170509 · 篮球架、硅PU篮球场、网球场等体育场馆集成供应商

那么哪些页面是不需要蜘蛛爬行的呢？我感觉我的网站全需要爬行的

用户179769 · 公司注册代理记账资质审批国企挂靠北京车牌保定花店 I3Z-4OII-99I3

这么专业的术语我这个小白都不知道什么意思

用户147013

它可以避免很多不必要的页面给展示出来

收录宝