robots是给百度蜘蛛快速识别的吗?

robots别的还可以有哪些用处?

追加问题
    5 人参与回答
学习交流
学习交流 · 室内门锁厂家

Robots是告诉蜘蛛哪个文件可以抓取,哪个文件不能抓取,还可以屏蔽特定的搜索引擎蜘蛛

唯爱シ念流年
唯爱シ念流 · 试管婴儿服务--可选性别、供卵

Robots是告诉蜘蛛哪个文件可以抓取,哪个文件不能抓取,还可以屏蔽特定的搜索引擎蜘蛛

Robots可以设定哪个文件不能被抓去,也可以把网站地图放上,前提是前面不要加Disallow:这个命令。因为蜘蛛进入你的网站最先抓取的就是robots,会顺着你的网站地图爬行整个网站,不需要每次都像资源平台更新地图文件,也算是节省一点时间吧。

http://www.seo.fit/Course-seo/494.html 这个文章有说明,希望可以帮到您!

回复问答禁止带推广链接,了解合理带链接的方法