搜外网>搜外问答>问答页面

robots.txt必须要做吗? 悬赏3元 已结束

网站之前做过robots.txt,但是后来不知什么原因被技术删掉了,现在从百度里面检测显示的是404。请问没有robots.txt行不行?百度官方说:如果您希望搜索引擎收录网站上所有内容,请勿建立robots.txt文件。那么不建立可以吗?会有什么影响吗?

追加问题
    31 人参与回答
最佳回答
超级蜘蛛
超级蜘蛛 · 超级蜘蛛池-超级蜘蛛工具-SEO批量查询工具-蜘蛛池出租平台
权重蜘蛛-池出租 等 1 人赞同该回答

Robots.txt纯文本文件,网站管理员可以在这里声明该网站不想robots访问的部分,所以robots优化直接影响着搜索引擎对网站的收录情况;

②robots.txt必须放置在一个站点的根目录下,并且文件名必须全部小写:;

超级蜘蛛池之robots的优化

③就算你的网站全部内容都可以被搜索引擎收录,那也要写个空的robots.txt;因为有的服务器的设置会使没有robots.txt的时候返回200状态码和相应的错误信息;

yy权重蜘蛛-池出租 等 2 人赞同该回答

没有什么特殊要求外,没必要做

崔家大院
崔家大院 · 网站诊断、建站、快速排名
yy权重蜘蛛-池出租 等 2 人赞同该回答

加上Robots 可以屏蔽一些目录  也可以提高安全等级  屏蔽一些没有必要的目录参与排名

网店装修设计
网店装修设 · 网店装修设计
权重蜘蛛-池出租 等 1 人赞同该回答

没有也没太有事,可有可无!

权重蜘蛛-池出租 等 1 人赞同该回答

弄一个好点

权重蜘蛛-池出租 等 1 人赞同该回答

这个无所谓的,如果会做就加上,不会就不加,没啥影响

权重蜘蛛-池出租 等 1 人赞同该回答

这个建议是弄一个

权重蜘蛛-池出租 等 1 人赞同该回答

没有也没太有事   有只不过告诉哪些可以抓哪些不能抓   有的时候仍然抓   

权重蜘蛛-池出租 等 1 人赞同该回答

看需求要不要了,不会导致404

用户
用户 · SEO萌新Q2728588123
权重蜘蛛-池出租 等 1 人赞同该回答

我觉得还是做一个比较好

权重蜘蛛-池出租 等 1 人赞同该回答

Robots肯定是有作用的,但是针对你的网站需不需要去做就根据自身情况来定啦,一般大型网站都是必须的

路人
路人 · seo小学生
权重蜘蛛-池出租 等 1 人赞同该回答

没有说必需做,只是做了会更好而已,而且也不是说做了蜘蛛就真的不爬你disallow的路径

sheep吉他网 等 1 人赞同该回答

Robots文件就是给蜘蛛指路的,告诉它抓哪里的页面,不抓哪里的页面,如果网站不大,没有不想被抓取的页面,也可以不做

加载更多
SEO培训招生中
157