搜外网>搜外问答>问答页面

百度蜘蛛总抓取之前网站的内容链接，robots屏蔽也没用，怎么回事？

微信

蜘蛛老是抓取之前网站内容的链接，robots屏蔽也没用，可是之前网站我已经都删除了啊？

Robots 百度蜘蛛举报 本帖由用户发布，如有侵权联系删除 2019-11-18 发布1,405 次浏览

3 人参与回答

顺时

有些是模拟百度蜘蛛

奋斗吧！9 · 建造师直聘网，各类建筑人才的招聘平台，一级建造师，监理工程师，造价，等等~~~~~~~~~~~~~点击右侧链接进入

反馈一下试试看

Bad m · SEO网站运营技术

反馈提交一下就行了，并且Robots文件传上去并不会立式生效。有7-14天的周期（依稀记得是），并且生效以后百度并不是对原页面进行删除而是不给索引了而已。

收录宝