搜外网>搜外问答>问答页面

robots.txt文件有什么必要呢？一般什么情况需要使用robots.txt文件？悬赏1元已结束

微信

Robots 举报 本帖由用户发布，如有侵权联系删除 2019-01-10 发布2,227 次浏览

8 人参与回答

升学君

网站申明，主要是屏蔽抓取

不说话的陌 · 细节专业SEO控，常年接SEO订单！微信QQ： 190445767

有必要！

咔布奇喏 · 专业企业SEO布局 QQ 190445767

蜘蛛到访第一个抓取的就是这个文件，所以说呢，你说重要不重要？

这个文件无非也就告诉引擎，那些页面那些栏目可以抓取或不抓取。也就等于是展示不展示到百度引擎而已。

cyt

所以Robot文件吧，关于我们或者联系我们屏蔽了，其它的目录页权重会上升吗？

问题就是Robot可以集权吗？

屈兴东 · SEO新秀 (๑•̀ㅂ•́)و ✧ SVIP8 QQ：2648439388 在线恭候为您解答SEO疑惑 ~ [厦门S

Robots.txt一定意义上是必须的，因为它是搜索引擎访问网站查看的第一个“页面”。

我觉得很有必要，先查看网站日志，看看都抓取哪些内容，肯定有一些内容是没有必要抓取的，就写Robots屏蔽他！！！这应该就是最终目的吧、。

杨超 · 河南百度营销大学讲师，最近做了一个8000+指数的词。QQ494821461

最主要的是屏蔽一些不需要被抓取的文件，从而提升爬虫抓取效率。但是对于大网站来说，一般写起来比较难，所以很多都没写。

芒果太忙

Robots.txt文件对于网站优化有很大的帮助，提高蜘蛛抓取效率，还能保护网站内部需要保护的信息。在网站上线前，一定要检查robots.txt文件，如果没有及时添加，如果规则写错了，及时调整过来，以免影响网站的收录。

收录宝