1)、图像目录
图像是构成网站的首要组成元素。跟着现在建站越来越便利，许多CMS的呈现，真实做到了会打字就会建网站，而正是由于如此便利，网上呈现了许多的同质化模板网站，被重复运用，这样的网站查找引擎是必定不喜爱的，就算是你的网站被录入了，那你的作用也是很差的。若是你非要用这种网站的话，主张你大概在Robots.txt文件中进行屏蔽，一般的网站图像目录是：imags 或许 img;
2)、网站模板目录
如上面 图像目录 中所说，cms的强大和灵敏，也致使了许多同质化的网站模板的呈现和乱用，高度的重复性模板在查找引擎中形成了一种冗余，且模板文件常常与生成文件高度类似，相同易形成相同内容的呈现。对查找引擎很不友爱，严峻的直接被查找引擎打入冷宫，不得翻身，许多cms有具有独立的模板寄存目录，因而，大概进行模板目录的屏蔽。一般模板目录的文件目录是：templets
3)、css、JS目录的屏蔽
css目录文件在查找引擎的抓取中没有用途，也无法供给有价值的信息。所以强烈主张在robots.txt文件中将其进行屏蔽，以进步查找引擎的索引质量。为查找引擎供给一个简洁明了的索引环境更易晋升网站友爱性。css款式的目录一般情况下是：css 或许 style
js文件在查找引擎中无法进行辨认，这里仅仅主张，能够对其进行屏蔽，这样做也有一个优点：为查找引擎供给一个简洁明了的索引环境;
Robots.txt是一个文本文件，用于告诉搜索引擎蜘蛛哪些页面是可以被抓取，哪些页面是不允许被抓取的。Robots.txt文件中可以使用“Disallow”指令来禁止搜索引擎抓取指定的文件或目录。具体应该禁止哪些文件或目录，需要根据网站的实际情况进行考虑和设置。以下是一些常见的禁止设置：
1. 禁止搜索引擎抓取敏感信息：如用户登录信息、支付信息等，可以使用“Disallow: /admin”或“Disallow: /user”等指令来禁止搜索引擎抓取这些目录。
2. 禁止搜索引擎抓取无关信息：如网站的备份文件、测试文件等，可以使用“Disallow: /test”或“Disallow: /backup”等指令来禁止搜索引擎抓取这些文件或目录。
3. 禁止搜索引擎抓取重复内容：如网站的标签页、分类页等，可以使用“Disallow: /tag”或“Disallow: /category”等指令来禁止搜索引擎抓取这些页面。
需要注意的是，Robots.txt文件只是一个建议，而不是强制性规定。一些搜索引擎可能会忽略Robots.txt文件中的指令，或者对禁止设置进行解释和调整。因此，需要根据搜索引擎的规则和网站的实际情况进行设置和调整。
