Disallow:/index.html Disallow: /404.html Disallow: /newOffical/joinus Disallow: /sitemap/
可以这个
没毛病,不过这个百度相应时间很长
只是禁止了几个目录的抓取, Robots百度响应周期很长的
让更多人参与回答