网页被robots屏蔽了，不是说屏蔽了以后就不会被抓取和收录了吗？

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

Answer 1

老吴 · 百度一下“超靠谱赚钱网”，各种免费赚钱项目分享

楼上的字多，应该是对的

Answer 2

行云有影

以前收录过的不会消失

Answer 3

by

可能从其它途径来的

Answer 4

第一种是：对已经收录的网页使用Robots屏蔽，老网页按照robots规则的删除时间会很长，这个时候可能会造成搜索引擎没有遵守robots规则。

第二种情况是：如果你屏蔽的页面或栏目存在大量的外链，那么这个网页或栏目的URL会被搜索引擎收录，但内容不会被搜索引擎索引，一般这样的多见于首页域名。当然，如果你连URL都不想被收录，可以针对蜘蛛返回404即可。

收录宝