搜外网>搜外问答>问答页面

robots文件问题咨询悬赏1元已结束

微信

robots文件问题咨询

robots文件既然分Allow: /和Disallow: /

我的问题是我先要被抓取的很简单只有首页、栏目页、文章页，

除此以外各种图片、会员、任务、等等目录都没有收录价值而且非常杂乱，禁止起来比较麻烦。

那么我只书写Allow: 首页、栏目页、文章页目录就可以了吗？它会识别以外不抓取吗？如果不是的话Allow: /存在的意义是什么

麻烦大神告知我的情况应该如何书写robost文件，必须一个一个去找除了首页、栏目页、文章页目录以外的路径吗？

Robots 文章举报 本帖由用户发布，如有侵权联系删除 2020-02-17 发布1,263 次浏览

交换友情链接，就用搜外友链，方便！

9 人参与回答

亮健好 · 亮健好药网-网上买药的正规网站!药品网,药房网请选亮健医药网!

xxy徐等 1 人赞同该回答

Allow只是告诉搜索引擎重点去抓取哪些内容，并不是说没写就不会抓取，只有写上Disallow才不会去抓取你的内容，需要提醒你的是，Robots是设置网站根目录抓取的协议，比如一般在根目录中，图片是集中放在一个目录里的，如果你不想被抓取图片、会员、任务这些内容，找到对应的根目录路径，写上Disallow就行了。