robots具体应该禁止些什么文件?

robots写出来是为了节省蜘蛛资源让蜘蛛能更快的进行有效爬取和收录!

所以不要让蜘蛛去爬取一些无价值的页面,浪费了蜘蛛资源,从而导致网站迟迟未收录,没排名等情况! 下面举例列出来:

1、模板文件(/template/)可以屏蔽;

2、这个文件/uploads/一般放的是图片,可以屏蔽;

3、/data/系统数据文件,可以屏蔽;

4、/img/或/images/,如果你不是做的图片站,也可以屏蔽;

5、/bin/系统文件可以屏蔽;

6、/install/安装文件可以屏蔽; 7、/member/有会员的可以屏蔽;

8、/logreport/有统计报告的可以屏蔽; 9、/bjk/有加密的文件,可以屏蔽;

10、/js/,/css/可以屏蔽,留着是为了让蜘蛛更好地了解网站结构,资源少的情况下,可以屏蔽。

11、网站地图,sitemap要记得放进去,不要屏蔽,让蜘蛛第一时间去看你的网站地图,更快了解网站链接结构! 总结到此,希望对大家有些帮助!

追加问题
    3 人参与回答
叶鑫鸿
叶鑫鸿 · 芸芸SEO大军中的一员,目前懂一些SEO内部优化和仿站知识,还在研究学习中!

JS和css只要不是太过于复杂代码的网站是不需要屏蔽的吧,

这个问题貌似比较起争议

蚂蚁机械
蚂蚁机械 · 蚂蚁机械_全自动真空吸料机_上料机【生产厂家】

要爬起型

SEO培训招生中
150