蜘蛛日志大量抓网站不存在的zip、rar等不存在的文件和路径<p><br></p><p>死链有坚持提交，已经一周多了暂时无缓解，网站的抓取降了很多，请问有什么办法解决吗<br></p>
前来学习的，学习的非常认真
看看大佬都是怎么回答的
你这个应该不是抓取，应是扫你站点的，具体看下网站日志进行分析。
整理后提交死链删除或者设置Robots禁止抓取
做个404页面即可，只要没被收录
Robots里添加一下相关路径
让更多人参与回答
