屏蔽蜘蛛后百度站长平台仍然能正常抓取？？？？？
前段时间进行了网站迁移，可是我忽视了一个事情
我之前是有两个网站解析到一个域名上面，因为怕一些事情就吧这个网站下面的Robots给屏蔽了，这次网站迁移没有配置这个 ，我就一直好奇，为啥我的蜘蛛一直是0。也查了很多东西都不知道，然后百度站长平台抓取，正常。
现在很无语....无语中
3 人参与回答
前段时间进行了网站迁移，可是我忽视了一个事情
我之前是有两个网站解析到一个域名上面，因为怕一些事情就吧这个网站下面的Robots给屏蔽了，这次网站迁移没有配置这个 ，我就一直好奇，为啥我的蜘蛛一直是0。也查了很多东西都不知道，然后百度站长平台抓取，正常。
现在很无语....无语中
