你真的完全懂了robots吗？robots扩展知识

　meta标签中的robots

　　在所有meta标签中，专门有一类是指导机器人如何处理抓取后的页面，如何追踪页面上的链接的。描述这种信息的meta标签被称为robotsmeta标签(robots meta tag)，它就是本文的主角。

　　Robots文件是我们与搜索引擎对话的最重要渠道。

　　为什么meta信息有这么多种类，我们却从来没有在网页上看到过它们呢?因为meta标签的内容在浏览器上是不显示的。绝大部分的meta信息是写给搜索引擎看的，用于帮助搜索引擎判断页面的价值、重要性。

　　作为网页设计者和搜索引擎交流的一个重要渠道，各种meta标签提供了从不同角度描述页面的基础信息，而机器人在访问网页时也会首先读取这个部分。

　　绝大部分 spider 能够识别的是以下几种：

　　noindex -【页面会被抓取，但在被google的后台系统分析完以后会被丢弃，不会进入google的索引排序，对用户而言也就不会出现在搜索结果中】

　　nofollow -【禁止googlebot追踪页面上的一切链接(阻止访问)。(与meta级别的nofollow不同的是， link级别里的nofollow只会阻止robot追踪单条链接)】

　　noarchive -【禁止在搜索结果中显示该页面的快照】

　　nosnippet -【禁止在搜索结果的网页链接下显示内容摘要，同时阻止搜索引擎产生该页面的快照】

　　noodp -【在搜索结果的页面摘要部分屏蔽open directory project对该页面的描述】

　　none -【等同于同时使用noindex和nofollow两个参数】

来自：白牙博客 http://www.gdlSEO.com