我最近蜘蛛抓的全部都是一些没有的文件路径，直接就返回了404错误怎么回事？ 推荐热议
<p>现在网站一天60多的蜘蛛抓的全部都是一些PHP和CSS等一系列的404路径，全部返回的都是这些怎么回事</p><p>这个抓取异常是没问题的吗</p>
25 人参与回答
我的网站今天发现蜘蛛抓取CSS路径错误 找不到原因
需要反馈一下
站长之家模式抓取一下，然后在百度反馈一下
反馈下
提交死链吧
我也偶尔会出现这种现象，把死链提交了后就没有了。
看看站内有没有死链
看看日志里面IP是不是蜘蛛
有可能有死链吧，最好是把链接直接查出来，在提交了
这个地方会给错误的链接，你具体分析一下吧。
遇到了同样的问题，过来学习一下
你把日志下载下来，放在日志工具中看看，到底是蜘蛛抓的还是扫描
你确定禁止了还来抓取的是真蜘蛛，不是漏洞扫描的假蜘蛛吗？
这就过分了 围观学习一下 看有没大佬
看看站内有没有死链，修改一下协议文件，不让蜘蛛爬取那些文件
