查看网站的robots文件显示404是怎么回事~应该怎么处理
站点是否有Robots。txt文件，如果没有，检索这个地址是404不奇怪
1、站点是否有Robots。txt文件，如果没有，检索这个地址是404不奇怪； 2、有这个文件，访问可打开，这种返回码是200是正常。
404就是没有页面
文件名不对吧，检查一下
说明文件不存在
让更多人参与回答
