Robots文件对于网站优化有这什么重大意义?
1.屏蔽网站的空、死链接
2.防止蜘蛛爬取网站的重复内容
3.防止蜘蛛抓取无意义的内容，浪费服务器资源
4.保护网站隐私内容
5.有利于网站的调试
让更多人参与回答
