http://www.ayztsj.com[?]
匿名用户
我也想知道，这个文件怎么添加，听说这个文件可以帮助网站收录。
User-agent: *（可以理解为针对某一个搜索引擎爬虫，也可以是针对所有遵守Robots协议的爬虫，*代表所有）
Disallow:/ (禁止爬虫抓取的内容你可以根据文件结构自定义，/代表根目录，如Disallow:/a/就代表网站根目录下a文件内容不允许被抓取 )
Allow: （建议访问的文件，一般不用）
"*"和"$"通配符，用于匹配模糊性的url
你可以根据需要自行定义
让更多人参与回答
