最近修改了网站robots文件，导致网站收录出现了问题，现在又重新写了一下，想问robots文件多久能够在百度这里其效果。
这个没弄过不知福
一般蜘蛛到网站第一个看的就是Robots
有效果的呐，写这个协议不就是为了让蜘蛛更好的抓取更重要的链接么
这个不清楚，按照道理每次过来抓取首先要抓取你Robots文件
按照道理每次过来抓取首先要抓取你Robots文件
让更多人参与回答
