网站不设置robots和sitemap影响会有多大?

网站不设置robots影响会有多大?

发现公司大量的网站没有robots和sitemap;

那么没这些的话会造成什么实质的影响呢?

追加问题
    6 人参与回答

不是很大,但是建议这些基础的优化设置都做了

在抓取您的网站之前,蜘蛛会访问您的Robots文件,以确定您的网站是否会阻止蜘蛛抓取任何网页或网址,如果没有的话,可以不用robots。

Sitemap的话,就是有利于蜘蛛抓取,如果你的网站架构很深,建议还是加上Sitemap

如果不设Robots,网站所以页都回收录,如果没有Sitemap网站会收录的很慢,可以看看这个网站,这两方面都做了 

路人
路人 · seo小学生

没有的话你弄一个不就完了吗?有肯定是更利于蜘蛛抓取啊,大型网站都要去弄的你个小破站也不弄