蜘蛛一直抓取之前未改版前的链接，造成一大堆死链，要如何处理
<p>网站改版快一年了，之前是用WordPress建站，后面代码给改了，是去年3月份改版的，到现在已经快一年了，从站点日志里面看到蜘蛛一直在抓取旧站链接，也有整理过一大堆死链提交了，也在robots里面禁止蜘蛛爬行，但是蜘蛛还是一直都有在抓取，随便都是上千条死链，是哪个地方出错了吗？要如何让蜘蛛更新数据库，抓取新的链接？</p><p><br></p><p></p><p></p><p></p>
5 人参与回答
不太清楚呢 ，
看看大神是怎么回复的吧
