搜外网>搜外问答>问答页面

robots.txt文件有什么必要呢？一般什么情况需要使用robots.txt文件？悬赏1元已结束

微信

Robots

本帖由用户发布，如有侵权联系删除 2019-01-10 发布2,459 次浏览

交换友情链接，就用搜外友链，方便！

8 人参与回答

用户135304

网站申明，主要是屏蔽抓取

用户123936 · 细节专业SEO控，常年接SEO订单！微信QQ： 190445767

有必要！

用户130066 · 专业企业SEO布局 QQ 190445767

蜘蛛到访第一个抓取的就是这个文件，所以说呢，你说重要不重要？

这个文件无非也就告诉引擎，那些页面那些栏目可以抓取或不抓取。也就等于是展示不展示到百度引擎而已。

用户134000

所以Robot文件吧，关于我们或者联系我们屏蔽了，其它的目录页权重会上升吗？

问题就是Robot可以集权吗？

用户134518 · SEO新秀 (๑•̀ㅂ•́)و ✧ SVIP8 QQ：2648439388 在线恭候为您解答SEO疑惑 ~ [厦门S

Robots.txt一定意义上是必须的，因为它是搜索引擎访问网站查看的第一个“页面”。

用户112000

我觉得很有必要，先查看网站日志，看看都抓取哪些内容，肯定有一些内容是没有必要抓取的，就写Robots屏蔽他！！！这应该就是最终目的吧、。

用户85 · 河南百度营销大学讲师，最近做了一个8000+指数的词。QQ494821461

最主要的是屏蔽一些不需要被抓取的文件，从而提升爬虫抓取效率。但是对于大网站来说，一般写起来比较难，所以很多都没写。

用户99508

Robots.txt文件对于网站优化有很大的帮助，提高蜘蛛抓取效率，还能保护网站内部需要保护的信息。在网站上线前，一定要检查robots.txt文件，如果没有及时添加，如果规则写错了，及时调整过来，以免影响网站的收录。

robots.txt文件有什么必要呢？一般什么情况需要使用robots.txt文件？ 悬赏1元 已结束