网站不写robots文件到底有影响没？
之前接触的站点都有写robots文件，发现了有些大站点也没有写robots文件，查找了一些资料但是分歧比较严重，有说要写的，又说不用写的。小弟目前都被弄混了，请问大家的网站有没有写？
相关问题
- 复制内容如何让搜索引擎快速收录呢？(0 个回答)
- 网站大量IP同时访问导致网站打不开，有好的解决办法吗(2 个回答)
- 看了下网站日志，百度老去抓取404页面，需要在robots文件里面屏蔽吗？(3 个回答)
- 关于网站只收录新闻栏目页问题及robots屏蔽后台问题(7 个回答)
- 看了下网站日志，百度老去抓取404页面，需要在robots文件里面屏蔽吗？(1 个回答)
- url被删除返回404后还用robots屏蔽吗？(2 个回答)
- 404需要在robots文件中屏蔽吗？(1 个回答)
- 网站的robots协议在哪里看？(4 个回答)
