网站不设置robots影响会有多大？
发现公司大量的网站没有robots和sitemap；
那么没这些的话会造成什么实质的影响呢？
不是很大，但是建议这些基础的优化设置都做了
在抓取您的网站之前，蜘蛛会访问您的Robots文件，以确定您的网站是否会阻止蜘蛛抓取任何网页或网址，如果没有的话，可以不用robots。
Sitemap的话，就是有利于蜘蛛抓取，如果你的网站架构很深，建议还是加上Sitemap
如果不设Robots，网站所以页都回收录，如果没有Sitemap网站会收录的很慢，可以看看这个网站，这两方面都做了
没有的话你弄一个不就完了吗？有肯定是更利于蜘蛛抓取啊，大型网站都要去弄的你个小破站也不弄
让更多人参与回答
