robots.txt必须要做吗？ 悬赏3元 已结束
网站之前做过robots.txt，但是后来不知什么原因被技术删掉了，现在从百度里面检测显示的是404。请问没有robots.txt行不行？百度官方说：如果您希望搜索引擎收录网站上所有内容，请勿建立robots.txt文件。那么不建立可以吗？会有什么影响吗？
31 人参与回答
最佳回答
加载更多
写一个好
最好做一下
建议做
没有的话也行，有的话最好了！
没有的话也行，有的话最好了！
Robots.txt这个文件是可以不做的，有的网站如果目录比较多的话，会给网站带来一定的影响。做为网站来说，我们的整个网站内有许多的目录，比如网站的后台目录、数据库目录等，一些没有必要在前台显示的，有时候，如果没有Robots.txt的限制的话，这些页面有的时候也会被搜索引擎爬取到，并且有的页面可能会被收录。写robots.txt的目的是告诉搜索引擎你的网站哪些目标是让收录爬取的，那些是不让搜索引擎爬取的，也就是给搜索引擎一个规范，按照我们写的规范去进行爬取。如果你网站内，网站的内容与程序的内容不在一起并且想让整个网站都收录的话，是可以不写robots.txt文件的。如果有一些数据不想让爬取，那就需要写一下。
大部分网站都不加的
1、建立Robots主要是为了屏蔽蜘蛛抓取不想被抓取的文件，节省蜘蛛的爬行时间；
2、如果你的站点蜘蛛一般抓取的都是网页，而非抓取其他页面，那么设置不设置没有太大的关系；
3、只要你蜘蛛抓取正常快速，不影响你的收录就ok；
4、大多数网站使用robots是模板中的默认的。
如果你有要禁止抓取的东西还是做一下比较好
没有也是可以的，有更好
其实个人感觉没有多大作用，我反正是没有做
