7 人参与回答
1)、图像目录
图像是构成网站的首要组成元素。跟着现在建站越来越便利，许多CMS的呈现，真实做到了会打字就会建网站，而正是由于如此便利，网上呈现了许多的同质化模板网站，被重复运用，这样的网站查找引擎是必定不喜爱的，就算是你的网站被录入了，那你的作用也是很差的。若是你非要用这种网站的话，主张你大概在Robots.txt文件中进行屏蔽，一般的网站图像目录是：imags 或许 img;
2)、网站模板目录
如上面 图像目录 中所说，cms的强大和灵敏，也致使了许多同质化的网站模板的呈现和乱用，高度的重复性模板在查找引擎中形成了一种冗余，且模板文件常常与生成文件高度类似，相同易形成相同内容的呈现。对查找引擎很不友爱，严峻的直接被查找引擎打入冷宫，不得翻身，许多cms有具有独立的模板寄存目录，因而，大概进行模板目录的屏蔽。一般模板目录的文件目录是：templets
3)、css、JS目录的屏蔽
css目录文件在查找引擎的抓取中没有用途，也无法供给有价值的信息。所以强烈主张在robots.txt文件中将其进行屏蔽，以进步查找引擎的索引质量。为查找引擎供给一个简洁明了的索引环境更易晋升网站友爱性。css款式的目录一般情况下是：css 或许 style
js文件在查找引擎中无法进行辨认，这里仅仅主张，能够对其进行屏蔽，这样做也有一个优点：为查找引擎供给一个简洁明了的索引环境;
设计到隐私的文件、不想被收录的目录
没有说一定的屏蔽抓取的吧，除非自己不想让抓取
