到底哪些是不想被抓取的页面，都有哪些呢？
匿名用户
1、网站程序安装后自带的数据文件夹，例如隐私数据、用户信息、管理后台页面等，可以看些帝国CMS自带的Robots文件默认设置。2、屏蔽掉动态URL，这个是我们最经常做的，如果我们做了伪静态以后，不希望动态URL被抓取，就可以对动态URL做屏蔽抓取。3、网站改版或出于某种原因突然删除很多页面造成大量死链，这个时候会对网站造成很大的影响，很多站长第一反应就是找到死链并删除，那么这里就可以通过 robots去屏蔽这些死链，理论上来说百度不会突然发现网站上有太多的死链，或者两者同时进行。
让更多人参与回答
