搜外网>搜外问答>问答页面

robots.txt必须要做吗？ 悬赏3元 已结束

微信

网站之前做过robots.txt，但是后来不知什么原因被技术删掉了，现在从百度里面检测显示的是404。请问没有robots.txt行不行？百度官方说：如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。那么不建立可以吗？会有什么影响吗？

追加问题
Robots 404 举报 本帖由用户发布，如有侵权联系删除  2020-06-19 发布2,532 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    31 人参与回答
最佳回答
超级蜘蛛
超级蜘蛛 · 超级蜘蛛池-超级蜘蛛工具-SEO批量查询工具-蜘蛛池出租平台
权重蜘蛛-池出租 等 1 人赞同该回答

①Robots.txt纯文本文件，网站管理员可以在这里声明该网站不想robots访问的部分，所以robots优化直接影响着搜索引擎对网站的收录情况；

②robots.txt必须放置在一个站点的根目录下，并且文件名必须全部小写：；

超级蜘蛛池之robots的优化

③就算你的网站全部内容都可以被搜索引擎收录，那也要写个空的robots.txt；因为有的服务器的设置会使没有robots.txt的时候返回200状态码和相应的错误信息；

4 年前
IP属地：江西
赞同 1 评论 0
收藏 举报
评论取消

匿名用户

yy、 权重蜘蛛-池出租 等 2 人赞同该回答

没有什么特殊要求外，没必要做

4 年前
IP属地：安徽
赞同 2 评论 0
收藏 举报
评论取消
崔家大院
崔家大院 · 网站诊断、建站、快速排名
yy、 权重蜘蛛-池出租 等 2 人赞同该回答

加上Robots 可以屏蔽一些目录  也可以提高安全等级  屏蔽一些没有必要的目录参与排名

4 年前
IP属地：北京
赞同 2 评论 0
收藏 举报
评论取消
老船长
老船长 · 新媒体运营
权重蜘蛛-池出租 等 1 人赞同该回答

没有也没太有事，可有可无！

4 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
陌洵
陌洵
权重蜘蛛-池出租 等 1 人赞同该回答

弄一个好点

4 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
阿鹏
阿鹏
权重蜘蛛-池出租 等 1 人赞同该回答

这个无所谓的，如果会做就加上，不会就不加，没啥影响

4 年前
IP属地：河南
赞同 1 评论 0
收藏 举报
评论取消
向往的天空
向往的天空
权重蜘蛛-池出租 等 1 人赞同该回答

这个建议是弄一个

4 年前
IP属地：江苏
赞同 1 评论 0
收藏 举报
评论取消
A金顺通塑胶软管
A金顺通塑
权重蜘蛛-池出租 等 1 人赞同该回答

没有也没太有事   有只不过告诉哪些可以抓哪些不能抓   有的时候仍然抓   

4 年前
IP属地：山东
赞同 1 评论 0
收藏 举报
评论取消
做我的猫Ï
做我的猫Ï
权重蜘蛛-池出租 等 1 人赞同该回答

最好做

4 年前
IP属地：山东
赞同 1 评论 0
收藏 举报
评论取消
几回幽世
几回幽世 · 1
权重蜘蛛-池出租 等 1 人赞同该回答

看需求要不要了，不会导致404

4 年前
IP属地：上海
赞同 1 评论 0
收藏 举报
评论取消
用户
用户 · SEO萌新Q2728588123
权重蜘蛛-池出租 等 1 人赞同该回答

我觉得还是做一个比较好

4 年前
IP属地：北京
赞同 1 评论 0
收藏 举报
评论取消
夏欢
夏欢
权重蜘蛛-池出租 等 1 人赞同该回答

Robots肯定是有作用的，但是针对你的网站需不需要去做就根据自身情况来定啦，一般大型网站都是必须的

4 年前
IP属地：湖北
赞同 1 评论 0
收藏 举报
评论取消
路人
路人 · seo小学生
权重蜘蛛-池出租 等 1 人赞同该回答

没有说必需做，只是做了会更好而已，而且也不是说做了蜘蛛就真的不爬你disallow的路径

4 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
大熊龙之介
大熊龙之介
sheep吉他网 等 1 人赞同该回答

Robots文件就是给蜘蛛指路的，告诉它抓哪里的页面，不抓哪里的页面，如果网站不大，没有不想被抓取的页面，也可以不做

4 年前
IP属地：陕西
赞同 1 评论 0
收藏 举报
评论取消
17674648400
17674

写一个好

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
加载更多
搜外微信
提供服务
常用链接
产品实验室
©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司