有用的
这个是想做上改网站内容？引流到其他地方，是个思路
有额，蜘蛛一般每天都会来抓取，保证每次都抓取到你想让它抓取的部分
上线后也可以拒绝蜘蛛抓取的
应该有的作用
应该有的
1、不想收录的页面被收录了，后期disallow也是为了防止蜘蛛再次抓取更新；
2、后期随着时间的推移，百度蜘蛛再来抓取一直不允许，可能会被索引库删除这个页面。
让更多人参与回答
