robots具体应该禁止些什么文件?
<p>robots写出来是为了节省蜘蛛资源让蜘蛛能更快的进行有效爬取和收录！</p><p>所以不要让蜘蛛去爬取一些无价值的页面，浪费了蜘蛛资源，从而导致网站迟迟未收录，没排名等情况！ 下面举例列出来：</p><p>1、模板文件(/template/)可以屏蔽；</p><p>2、这个文件/uploads/一般放的是图片，可以屏蔽；</p><p>3、/data/系统数据文件，可以屏蔽；</p><p>4、/img/或/images/，如果你不是做的图片站，也可以屏蔽；</p><p>5、/bin/系统文件可以屏蔽；</p><p>6、/install/安装文件可以屏蔽； 7、/member/有会员的可以屏蔽；</p><p>8、/logreport/有统计报告的可以屏蔽； 9、/bjk/有加密的文件，可以屏蔽；</p><p>10、/js/，/css/可以屏蔽，留着是为了让蜘蛛更好地了解网站结构，资源少的情况下，可以屏蔽。</p><p></p><p>11、网站地图，sitemap要记得放进去，不要屏蔽，让蜘蛛第一时间去看你的网站地图，更快了解网站链接结构！ 总结到此，希望对大家有些帮助！</p>
