蜘蛛日志大量抓网站不存在的页面如何处理？
蜘蛛日志大量抓网站不存在的zip、rar等不存在的文件和路径<p><br></p><p>死链有坚持提交，已经一周多了暂时无缓解，网站的抓取降了很多，请问有什么办法解决吗<br></p>
6 人参与回答
前来学习的，学习的非常认真
看看大佬都是怎么回答的
蜘蛛日志大量抓网站不存在的zip、rar等不存在的文件和路径<p><br></p><p>死链有坚持提交，已经一周多了暂时无缓解，网站的抓取降了很多，请问有什么办法解决吗<br></p>
前来学习的，学习的非常认真
看看大佬都是怎么回答的
