怎么写robots文件?robots文件有什么用?

慕哥
慕哥

发布于 2017-08-10 09:29

3293 浏览
0 评论

本篇文章将讲解robots文件的重要性,以及robots文件怎么生成。

 

关于robots文件

在上一篇文章:《怎么做网站地图?网站地图有必要吗?》我讲到蜘蛛来到你的网站第一就是查看网站有没有robots.txt文件。

关于robots文件,主要是为了告诉蜘蛛哪些可以抓取,哪些不可以被抓取,对于网站SEO优化而言,做好robots也是很重要的一步~

robots文件的核心词汇在于allow和disallow用法。

并且在百度站长平台上都有robots这个功能,只要我们点击进入,就可以查看文件编写的正确不正确了。

如何写robots文件?

如何写robots文件?

如何写robots文件

既然知道了作用以及特性,我们就要学习怎么写一个robots文件了,最简便的方法莫过于实用工具生成了,在这里我就给大家讲讲关于站长工具生成robots文件。

如下图所示。 站长工具里面的robots文件生成操作非常的简单,在限制目录写上需要屏蔽的目录记得加上 / ,sitemap文件也需要屏蔽,xml和html(如果2个都有的话都加上) , 其余选项各位随意就好。

以上就是robots.txt文件的生成,只需要把文件上传到网站根目录就OK了~

如何写robots文件?

如何写robots文件?

关于生成的robots文件注意事项

  1. 1. robots文件是不支持https站点
  2. 2. Robots工具目前支持48k的文件内容检测,请保证您的robots.txt文件不要过大,目录最长不超过250个字符。
  3. 3. 可以通过Robots工具来创建、校验、更新您的robots.txt文件,或查看您网站robots.txt文件在百度生效的情况。
  4. 4. robots.txt可以告诉百度您网站的哪些页面可以被抓取,哪些页面不可以被抓取。 

原文地址:怎么写robots文件?robots文件有什么用?http://www.muyeseo.com/547.html
(转载请留下原文地址,谢谢~)

举报 收藏
管理文章:
暂无回应