虽然百度识别出了都是无效页面，但大量的抓取严重影响了服务器性能，因此通过robots设置只允许百度蜘蛛抓取指定的目录和首页，来解决这个问题。
可以用这个文件来设置解决的，因为百度首先会爬取这个文件
让更多人参与回答
