搜外网>搜外问答>问答页面

robots文件问题咨询 悬赏1元 已结束

微信

robots文件问题咨询

robots文件既然分Allow: /和Disallow: / 

我的问题是我先要被抓取的很简单只有首页、栏目页、文章页，

除此以外各种图片、会员、任务、等等目录都没有收录价值而且非常杂乱，禁止起来比较麻烦。


那么我只书写Allow: 首页、栏目页、文章页目录就可以了吗？ 它会识别以外不抓取吗？如果不是的话Allow: /存在的意义是什么


麻烦大神告知我的情况应该如何书写robost文件，必须一个一个去找除了首页、栏目页、文章页目录以外的路径吗？



追加问题
Robots 文章 举报 本帖由用户发布，如有侵权联系删除  2020-02-17 发布1,149 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    9 人参与回答
亮健好
亮健好 · 亮健好药网-网上买药的正规网站!药品网,药房网请选亮健医药网!
xxy徐 等 1 人赞同该回答

Allow只是告诉搜索引擎重点去抓取哪些内容，并不是说没写就不会抓取，只有写上Disallow才不会去抓取你的内容，需要提醒你的是，Robots是设置网站根目录抓取的协议，比如一般在根目录中，图片是集中放在一个目录里的，如果你不想被抓取图片、会员、任务这些内容，找到对应的根目录路径，写上Disallow就行了。

4 年前
IP属地：广东
赞同 1 评论 0
收藏 举报
评论取消
搜外用户
搜外用户 · 来搜外学习的一名普通用户

需要提醒你的是，把权重利用起来

3 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
安生
安生 · 本人有着5年以上的站长经验

只要不禁止全站就行了，想要了解更多就来帝佑科技吧

4 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
陈昌辉
陈昌辉 · 健身教练培训

我就没写，随便抓

4 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、Robots 你只要不禁全站就ok；

2、robots是为了让蜘蛛更好更便捷的抓取，节省时间；

3、不想被收录的只需要禁止目录文件夹即可，你允许那几个栏目爬行，并不意味着你其他栏目就不抓取，你需要禁止才能不被爬行；

4、建议先分析网站日志，看看是否有蜘蛛爬行，爬行那些文件夹等，在做考虑。

4 年前
IP属地：山西
赞同 0 评论 0
收藏 举报
评论取消
见效收费
见效收费 · 义和科技（752304405）为更多企业公司SEO排名优化，真正的做到见效收费！

把不必要的页面写上就可以了，这样省取蜘蛛抓取时间，只有就不分权重，把权重利用起来

4 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消

匿名用户

一般企业站即使你设置了这些，蜘蛛还是抓取，莫不如直接默认的Robots文件就行了，就连淘宝那么大的站设置了禁止百度蜘蛛抓取，最后百度蜘蛛不还是强行抓取嘛

4 年前
IP属地：安徽
赞同 0 评论 0
收藏 举报
评论取消
穷字评价不了我
穷字评价不 · SEO按天快排 厂商最低价 联系q1414158107 →→→→→→→→→→→→→→→→→→→→→→→→→→→→→→

说实话，写不写都无所谓

4 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 百青藤对网站有什么要求？
  • 做好微商营销的三大要素
  • 你们都在哪里发外链呢?
  • 网站特别是首页多少内链链接比较合适？
  • 手机赚钱软件导航中的这段代码中的链接会传递权重吗？
  • 网站如何快速写出多篇优质文章
  • 文章天天写为什么不收录？哪位大神给指点下？
  • 网站进行改版怎么避免被降权？
  • 360搜索引擎和搜狗那个好用用户多？
  • site网站首页不在百度第一页，就一定是降权了吗？
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司