服务器里没有robots文件，但蜘蛛经常抓取，导致显示404。没有robots文件可不可以，如果不可以的话，应该怎么设置。
可以去服务器后台看看有无Robots生成工具
百度查查····
百度讲的很详细了 你可以看看
很简单啊，Robots百度一下讲的很详细的
让更多人参与回答
