搜外网>搜外问答>问答页面

网站的Robots.txt文件如何设置？

微信

Robots 举报 本帖由用户发布，如有侵权联系删除 2023-02-16 发布395 次浏览

交换友情链接，就用搜外友链，方便！

2 人参与回答

最佳回答

天行健咨询 · 精益生产管理与六西格玛管理咨询，培训机构

User-agent:

是描述搜索引擎蜘蛛的名字，在" Robots.txt "文件中，如果有多条User-agent记录说明有多个搜索引擎蜘蛛会受到该协议的限制，对该文件来说，至少要有一条User-agent记录。如果该项的值设为，则该协议对任何搜索引擎蜘蛛均有效，在" Robots.txt "文件中，"User-agent:"这样的记录只能有一条。

Disallow:

用于描述不希望被访问到的一个URL，这个URL可以是一条完整的路径，也可以是部分的，任何以Disallow开头的URL均不会被Robot访问到。

举例：

例一："Disallow:/help"是指/ 和/help/都不允许搜索引擎蜘蛛抓取。

例二："Disallow:/help/"是指允许搜索引擎蜘蛛抓取/，而不能抓取/help/。

例三：Disallow记录为空说明该网站的所有页面都允许被搜索引擎抓取，在"/robots.txt"文件中，至少要有一条Disallow记录。如果"/robots.txt"是一个空文件，则对于所有的搜索引擎蜘蛛，该网站都是开放的可以被抓取的。