如何利用robots文件进行网站优化操作？
主要保护隐私文件以及后台之类的页面
禁止蜘蛛爬取不需要抓取的目录，不浪费蜘蛛抓取资源，
一般常用的方法是在Robots中加入网站地图文件
主要保护你的隐私
这个主要是保护你的隐私
写不被蜘蛛爬的文件
让更多人参与回答
