搜外网>搜外问答>问答页面

网站上线初期设置robots禁止抓取是否对收录有影响?

微信
追加问题
Robots 举报 本帖由用户发布，如有侵权联系删除  2023-02-16 发布444 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    4 人参与回答
尴尬了
尴尬了 · seo小小小的N次方白

都禁止了哪来的收录

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
天行健咨询
天行健咨询 · 精益生产管理与六西格玛管理咨询，培训机构

我们要回答这个问题，首先要了解为什么要设置Robots的意义，我们一般设置robots是为了提高蜘蛛爬取效率，降低垃圾蜘蛛的骚扰，如果站点内容多，蜘蛛抓取数量提高之后，对服务器也是有一定影响，再加上网站初期由于内容没有完善，并不想让用户看到搜索结果，所以我们可以适当屏蔽蜘蛛抓取，一般我们会设置成这样：

User-agent: *
Disallow: /

这个命令是屏蔽所有蜘蛛抓取，这样的话，所有蜘蛛不会爬取网站数据。

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
人生＝π
人生＝π · 建站小程序空间域名服务器百度爱采购

肯定有影响。都被禁止了。蜘蛛肯定不来了

1 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
搜外微信
提供服务
常用链接
产品实验室
©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司