一般来说直接不写为好，写的话如：
一、robots.txt文件简介
Robots.txt是存放在网站根目录下的一个纯文本文件。搜索引擎蜘蛛在访问网站时，首先会检查该网站的根目录下是否有robots.txt文件，如果Spider找到这个文件，它就会根据这个文件的内容，来确定它访问权限的范围。
二、robots.txt文件的书写规范
文件中的记录通过空行分开，以CR、CR/NL、or NL作为结束符。robots.txt文件中的记录通常以一行或多行User-agent开始，后面加上若干Disallow和Allow行，详细情况如下：
User-agent:
用于描述搜索引擎蜘蛛的名字，在" Robots.txt "文件中，如果有多条User-agent记录说明有多个搜索引擎蜘蛛会受到该协议的限制，对该文件来说，至少要有 一条User-agent记录。如果该项的值设为*，则该协议对任何搜索引擎蜘蛛均有效，在"Robots.txt "文件中，"User-agent:*"这样的记录只能有一条。
Disallow:
用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被Robot访问到。
例如，”Disallow: /help”是指禁止搜索引擎蜘蛛抓取/和/help/；而”Disallow: /help/”则允许搜索引擎蜘蛛抓取/，不能抓取/help/。
Allow:
用于描述希望被访问的一组URL，与Disallow项相似，这个值可以是一条完整的路径，也可以是路径的前缀，以Allow项的值开头的URL是允许robot访问的。
例如，”Allow:/hibaidu”允许搜索引擎蜘蛛抓取/、/、 /hibaidu/。一个网站的所有URL默认是Allow的，所以Allow通常与Disallow搭配使用，实现允许访问一部分网页同时禁止访问其它所有URL的功能。
注意：Disallow与Allow行的顺序是有意义的，搜索引擎蜘蛛会根据第一个匹配成功的 Allow或Disallow行确定是否访问某个URL。
使用”*”和”$”：
Baiduspider 支持使用通配符”*”和”$”来模糊匹配url。 “$” 匹配行结束符。 “*” 匹配0或多个任意字符。
三、robots.txt文件用法举例
1. 允许所有的robot访问
User-agent: * Allow: / 或者 User-agent: * Disallow:
2. 禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
3. 仅禁止Baiduspider访问
User-agent: Baiduspider
Disallow: /
4. 仅允许Baiduspider访问您的网站
User-agent: Baiduspider
Disallow:
5. 禁止spider访问特定目录
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
6. 允许访问特定目录中的部分url
User-agent: *
Allow: /cgi-bin/see
Allow: /tmp/hi
Allow: /~joe/look
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/
7. 使用”*”限制访问url
禁止访问/cgi-bin/目录下的所有以”.htm”为后缀的URL(包含子目录)。
User-agent: *
Disallow: /cgi-bin/*.htm
8. 使用”$”限制访问url
仅允许访问以”.htm”为后缀的URL。
User-agent: *
Allow: .htm$
Disallow: /
9. 禁止访问网站中所有的动态页面
User-agent: *
Disallow: /*?*
10. 禁止Baiduspider抓取网站上所有图片
仅允许抓取网页，禁止抓取任何图片。
User-agent: Baiduspider
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
11. 仅允许Baiduspider抓取网页和.gif格式图片
允许抓取网页和gif格式图片，不允许抓取其他格式图片
User-agent: Baiduspider
Allow: .gif$
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .png$
Disallow: .bmp$
12. 仅禁止Baiduspider抓取.jpg格式图片
User-agent: Baiduspider
Disallow: .jpg$
注意：robots.txt是有分大小写的，默认文件名全小写，规则里面要注意区分大小写
13.在robots.txt中声明你的Sitemap文件
在robots.txt加入如下的一行文字：
Sitemap: 域名/ (替换你自己实际的sitemap文件地址)
写和SEO没有直接关系
