一个月之前删掉了一些内容，通过网站日志发现，百度蜘蛛还在抓取这些被删除的链接，都删掉一个月了还能抓取，不知道蜘蛛是怎么发现的，现在有什么好的办法不让蜘蛛抓取这些链接
404，提交死链
抓取一段时间就好了，我以前也是这样的
设置好
不用管它
看着有点像绕口令。。。 不过，以栏目页为例，URL末尾带/ 是对搜索引擎友好的表现。其他的不必多虑了。
设置好404不用管它
提交死链接
整理提交
删除的链接整理提交死链
提交死链
可以站长平台提交死链，另外做好服务端的404判断，所有访问不了的链接都应该是到404页面
多段时间就不抓取了，因为这些链接保存在百度数据索引库中
百度蜘蛛就是流氓，总是跟你反着来，等哪天抓到他揍他一顿就好了
匿名用户
提交死链，做好404
1、做404页面；
2、已经收录的死链收集URL做死链提交给百度站长；
3、Robots，disallow这些死链；
提交死链，或者设置网站404顺其自然，一般设置了后再抓一次就不抓了。还有一种可能是来的假蜘蛛
让更多人参与回答
