robots设置只抓取指定目录和首页
虽然百度识别出了都是无效页面，但大量的抓取严重影响了服务器性能，
因此通过robots设置只允许百度蜘蛛抓取指定的目录和首页，来解决这个问题。
1 人参与回答
可以用这个文件来设置解决的，因为百度首先会爬取这个文件
虽然百度识别出了都是无效页面，但大量的抓取严重影响了服务器性能，
因此通过robots设置只允许百度蜘蛛抓取指定的目录和首页，来解决这个问题。
可以用这个文件来设置解决的，因为百度首先会爬取这个文件
