怎样告诉蜘蛛不让抓取页面某些内容，因为蜘蛛抓取有的页面不存在被删除了，我需要怎么做？高手解答疑问谢谢！
禁止，然后做个404页面
页面不存在了，你就不要给这个页面留入口啊，没有入口蜘蛛就没法进行抓取，或者只能用Robots禁止，不管他是否抓不抓，但是不会收录造成死链。
坐等大神解答，反正我是不相信什么狗屁Robots的，该写写，该抓还得抓，毛用！
禁止 提交死链
用Robots禁止爬取
让更多人参与回答
