百度搜索引擎可以抓取到很多网站根目录没有的文件？(悬赏1元)

亮健好 · 亮健好药网-网上买药的正规网站!药品网,药房网请选亮健医药网!

xxy徐等 1 人赞同该回答

除了做404，也写进Robots吧，不然爬那么多没用的文件，降低了蜘蛛的好感度

含玉等 1 人赞同该回答

没有就不用管 404也是你网站的一个页面

我叫猫先生 · 谷歌海外推推广

既然做了404就无需多花心思，把通往404页面的链接Nofollow或者mate Robots

蓝天 · 海外大健康品牌推广合作（试管婴儿、基因检测）专业顾问团队帮忙谈单，合作微信yihe160

建议可以用日志分析工具查看下，是否是百度的蜘蛛。不正常的蜘蛛可以使用Robots文件来禁止掉，如果遇到流氓蜘蛛，比如最近的今日头条派出的蜘蛛，大家都反映它不遵守robots，可以百度下具体的封禁策略（内容比较多不展开讲），另外看是不是有之前的死链，整理一下，提交给百度，百度站长工具里面有死链提交。

左左渔 · 专注“科技项目申报”体系

做好404，其他就正常优化把

陈昌辉 · 健身教练培训

好像不行吧，我觉得楼上说的对，可能是假蜘蛛

假蜘蛛，在试你的网站有没有漏洞。

岁月神偷

我的也是，Robots文件禁止了，然后抓的特别多我查了下是假的百度蜘蛛，但是我禁止对方IP了，还是被抓了，我也搞不懂

A程力专用 · 程力专用车销售，主营：冷藏车，雏禽运输车，散装饲料车，市政清淤车等。

做好404，正常优化。

粤讲越掂 · 膏药seo

只要404做好，这个不会有影响的

崔家大院 · 网站诊断、建站、快速排名

这个没事做好404页面，抓取的这些是个网站都会有这个问题，也是是假蜘蛛爬去网站漏洞啥的。不用太在意正常优化就行了

施先生 · 资深的SEO/SEM工作者和管理者

应该是你的路径问题

百度搜索引擎可以抓取到很多网站根目录没有的文件？悬赏1元已结束