可以设置要求蜘蛛哪些让爬，哪些不让爬
蜘蛛协议，就是给蜘蛛看的，告诉他能做什么不能做什么的
这个是蜘蛛协议
蜘蛛协议
就在蜘蛛协议，告诉蜘蛛哪些可以看，哪些不可以看
创建Robots.txt需要注意点：
1.必须是纯文本robots.txt文件
2.文件名所有字母必须是小写
3.文件必须放在网站跟目录下
4.文件内的冒号必须是英文半角状态
一、为什么要写robots.txt文件，它的作用是什么？
robots.txt是用来告诉搜索引擎网站上哪些内容可以被访问、哪些不能被访问。当搜索引擎访问一个网站的时候，它首先会检查网站是否存在robots.txt，如果有则会根据文件命令访问有权限的文件。
每个网站需要根据自身的要求写好robots.txt文件，robots.txt文件长什么样子？我们可以看看几个网站的robots.txt文件。
淘宝robots.txt文件
百度robots.txt文件
而一个网站为什么要写robots.txt，主要有四点：
1、保护网站安全
2、节省流量
3、禁止搜索引擎收录部分页面
4、引导蜘蛛爬网站地图
二、robots.txt的写法与步骤
1、定义搜索引擎
用User-agent：来定义搜索引擎，其中*表示所有，Baiduspider表示百度蜘蛛，Googlebot表示谷歌蜘蛛。
也就是说User-agent：*表示定义所有蜘蛛，User-agent：Baiduspider表示定义百度蜘蛛。
2、禁止与允许访问
Disallow: /表示禁止访问，Allow: /表示允许访问。
在写robots.txt时需特别注意的是，/前面有一个英文状态下的空格（必须是英文状态下的空格）。
3、禁止搜索引擎访问网站中的某几个文件夹，以a、b、c为例，写法分别如下：
Disallow: /a/
Disallow: /b/
Disallow: /c/
3、禁止搜索引擎访问文件夹中的某一类文件，以a文件夹中的JS文件为例，写法如下：
Disallow: /a/*.js
4、只允许某个搜索引擎访问，以Baiduspider为例，写法如下：
User-agent: Baiduspider
Disallow:
5、禁止访问网站中的动态页面
User-agent: *
Disallow: /*?*
6、只允许搜索引擎访问某类文件，以htm为例，写法如下：
User-agent: *
Allow: .htm$
Disallow: /
7、禁止某个搜索引擎抓取网站上的所有图片，以Baiduspider为例，写法如下：
User-agent: F
Disallow: .jpg$
Disallow: .jpeg$
Disallow: .gif$
Disallow: .png$
Disallow: .bmp$
三、robots.txt文件存放位置
robots.txt文件存放在网站根目录下，并且文件名所有字母都必须小写。
四、特别注意事项
在写robots.txt文件时语法一定要用对，User-agent、Disallow、Allow、Sitemap这些词都必须是第一个字母大写，后面的字母小写，而且在:后面必须带一个英文字符下的空格。
网站上线之前切记写robots.txt文件禁止蜘蛛访问网站，如果不会写就先了解清楚写法之后再写，以免给网站收录带来不必要的麻烦。
robots.txt文件生效时间在几天至一个月之间，站长自身无法控制。但是，站长可以在百度统计中查看网站robots.txt文件是否生效。
蜘蛛协议，类似于和别人签合同一样，哪些该做哪些不该做，都遵循合同来
楼上回答的都很好
robot主要是用来告诉搜索引擎，哪些链接页面可以被蜘蛛访问，哪些不可以。
Robots.txt 文件用法举例：
例1、禁止所有搜索引擎访问网站的任何部分
User-agent: *
Disallow: /
例2、允许所有的robot访问
User-agent: *
Disallow:
（或者也可以建一个空文件 "/robots.txt" file）
例3、禁止某个搜索引擎的访问
User-agent: BadBot
Disallow: /
例4、允许某个搜索引擎的访问
User-agent: Baiduspider
Disallow:
User-agent: *
Disallow: /
例5、假设某个网站有三个目录对搜索引擎的访问做了限制，可以这么写：
User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /joe/
需要注意的是，对每一个目录必须分开声明，而不要写成：“Disallow: /cgi-bin/ /tmp/”。
写的这么辛苦，贴个外链：
