我最近蜘蛛抓的全部都是一些没有的文件路径,直接就返回了404错误怎么回事? 推荐热议
<p>现在网站一天60多的蜘蛛抓的全部都是一些PHP和CSS等一系列的404路径,全部返回的都是这些怎么回事</p><p>这个抓取异常是没问题的吗</p>
25 人参与回答
需要反馈一下
看看站内有没有死链
看看日志里面IP是不是蜘蛛
有可能有死链吧,最好是把链接直接查出来,在提交了
<p>现在网站一天60多的蜘蛛抓的全部都是一些PHP和CSS等一系列的404路径,全部返回的都是这些怎么回事</p><p>这个抓取异常是没问题的吗</p>
需要反馈一下
看看站内有没有死链
看看日志里面IP是不是蜘蛛
有可能有死链吧,最好是把链接直接查出来,在提交了