蜘蛛老是抓取之前网站内容的链接，robots屏蔽也没用，可是之前网站我已经都删除了啊？
有些是模拟百度蜘蛛
反馈一下试试看
反馈提交一下就行了，并且Robots文件传上去并不会立式生效。有7-14天的周期（依稀记得是），并且生效以后百度并不是对原页面进行删除而是不给索引了而已。
让更多人参与回答
