前段时间进行了网站迁移，可是我忽视了一个事情
我之前是有两个网站解析到一个域名上面，因为怕一些事情就吧这个网站下面的Robots给屏蔽了，这次网站迁移没有配置这个 ，我就一直好奇，为啥我的蜘蛛一直是0。也查了很多东西都不知道，然后百度站长平台抓取，正常。
现在很无语....无语中
Robots协议并不是搜索引擎要百分百遵循
应该可以的吧这样
可以的吧这样子
让更多人参与回答
