屏蔽蜘蛛后百度站长平台仍然能正常抓取?怎么回事?
1、看Robots文件有没有写错(Disallow: +路径(直接复制写一遍)) 2、robots文件生效需要一段时间(可能还没有生效) 3、robots文件是和搜索引擎之间的一个协议,搜索引擎遵守的情况下,才有效。 (百度对于robots文件经常无视,这个你要接受!)
Robots协议写的准确不
这说明百度不遵守Robots的规则,实属流氓行为
让更多人参与回答