5 人参与回答
百度的主要功能你都忘了。
Robots.txt文件用法举例：
- 允许所有的robot访问
User-agent: * Allow: / 或者 User-agent: * Disallow:
- 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
- 仅禁止Baiduspider访问您的网站
User-agent: Baiduspider
Disallow: /
- 仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:
- 禁止spider访问特定目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
不会就百度，主要是用于告诉蜘蛛那些页面可以抓取，那些不能抓取 也可以不管这个文件
不会就百度，主要是用于告诉蜘蛛那些页面可以抓取，那些不能抓取
