之前接触的站点都有写robots文件，发现了有些大站点也没有写robots文件，查找了一些资料但是分歧比较严重，有说要写的，又说不用写的。小弟目前都被弄混了，请问大家的网站有没有写？
没影响
做一下吧 也不耽误多少时间
从没写过这个，没什么影响
一般比较菜的 就是我们这种 都是通过Robots
大站大神那种 在网页代码里面已经隐形的加了机制
最好是写一下
需要写
最好写一下，虽然蜘蛛不一定会按照你写的来，但是它会尊重你的
写一下最好！！
写好一点，又不麻烦
Robots的作用是限制或允许蜘蛛抓取某个目录或文件
那么什么时候需要做，什么时候不需要做呢？
1.网站从头到尾自己制作或者很清楚站内的每一个文件，这时候如果没有文件过文件夹需要限制的，就可以不设置robots文件
2.网站是使用的模板，例如织梦帝国等，这时候就需要robots文件了，很多目录对蜘蛛来说没有任何价值，爬取只会增加网站负担，所以会设置robots
个人建议设置robots，像网站的配置目录对蜘蛛来说基本没意义，就禁止掉，在robots的结尾写上网站地图的链接，辅助优化。
（不对请指出，谢谢）
随便写不写，不写也没事
建设带是写一个为好
我的网站时没有的，感觉也没有什么影响啊
让更多人参与回答
