为什么我网站的网页被robots屏蔽了之后，我从网站日志分析后还会能看到被蜘蛛抓取和收录呢？不是说屏蔽了以后就不会被抓取和收录了吗？
楼上的字多，应该是对的
以前收录过的不会消失
可能从其它途径来的
匿名用户
第一种是：对已经收录的网页使用Robots屏蔽，老网页按照robots规则的删除时间会很长，这个时候可能会造成搜索引擎没有遵守robots规则。
第二种情况是：如果你屏蔽的页面或栏目存在大量的外链，那么这个网页或栏目的URL会被搜索引擎收录，但内容不会被搜索引擎索引，一般这样的多见于首页域名。当然，如果你连URL都不想被收录，可以针对蜘蛛返回404即可。
让更多人参与回答
