百度搜索引擎可以抓取到很多网站根目录没有的文件？返回的都是404，在根目录确实没有这种文件，求大佬指教？
除了做404，也写进Robots吧，不然爬那么多没用的文件，降低了蜘蛛的好感度
匿名用户
没有就不用管 404也是你网站的一个页面
既然做了404就无需多花心思，把通往404页面的链接Nofollow或者mate Robots
建议可以用日志分析工具查看下，是否是百度的蜘蛛。不正常的蜘蛛可以使用Robots文件来禁止掉，如果遇到流氓蜘蛛，比如最近的今日头条派出的蜘蛛，大家都反映它不遵守robots，可以百度下具体的封禁策略（内容比较多不展开讲），另外看是不是有之前的死链，整理一下，提交给百度，百度站长工具里面有死链提交。
做好404，其他就正常优化把
好像不行吧，我觉得楼上说的对，可能是假蜘蛛
假蜘蛛，在试你的网站有没有漏洞。
我的也是，Robots文件禁止了，然后抓的特别多我查了下是假的百度蜘蛛，但是我禁止对方IP了，还是被抓了，我也搞不懂
做好404，正常优化。
只要404做好，这个不会有影响的
这个没事做好404页面，抓取的这些 是个网站都会有这个问题，也是是假蜘蛛爬去网站漏洞啥的。不用太在意 正常优化就行了
应该是你的路径问题
让更多人参与回答
