robots的效果到底有多大?

年初闲的无事更换了一下域名,把网站迁到了一个域名的二级目录下,然后也没有设置robots等东西。然后网站迟迟没收录。上周末闲着无聊在根目录下放了一个robots文件,指引了一下sitemap的位置,然后网站被收了10个页面,然后今天神奇的我那关键词又回到百度第二了
robots的作用真的是这么大么?还是我凑巧了...

追加问题
    2 人参与回答
渣渣闯
渣渣闯 · 站长/码农/市场狗,祖传公众号:流量贩子
周东京 等 1 人赞同该回答

Robots.txt指明搜索引擎不应抓取哪些页面,对于SEO的作用是提高蜘蛛抓取效率,引导蜘蛛抓取有价值的页面,有益的影响主要是提高收录率,对排名没有直接影响。robots的作用视网站情况而定,拥有庞大筛选条件的网站自然要比博客站点更重视robots.txt。

朱明湖
朱明湖 · 某公司seo主管
朱明雷 等 1 人赞同该回答

个人觉得说大不大!!但是又不可以忽视!!