新站,通过查看日志发现百度每天来抓取几次robots文件,大家都放置robots文件了吗?

如题

总觉得现在做SEO是不是放置robots没什么必要,毕竟也不会防止搜索引擎抓取什么,而且即便放置了,搜索引擎一般也是照抓不误。

现在大家还都写robots吗?

追加问题
    20 人参与回答

写了的啊,网站地图也写进去了的

要做的

九州互营
九州互营 · 百科创建 百科修改 问答营销 新闻营销 软文营销

都放置了

飞锤在天
飞锤在天 · 【论坛外链包收录,百度文库外链包收录】网站目录快审收录 联系QQ191563907

该做的不要省了

A
A 0湖北 · 环卫洒水车、垃圾车、压缩式垃圾车、扫路车、清扫车等专用车销售

都做了啊

千寻
千寻 · 五常大米

都写了啊,基本的东西还是要有 管他有没有用,我都把Sitemap放Robots里 促进一下,但是不一定好用

肯定要写呀

该做的不要省了

leeydls
leeyd · 佛系佛系,排名随缘,收录随缘,转化随缘

我就是看个个蜘蛛都去爬取Robots文件,所以将Sitemap的地址写进去,让蜘蛛看心情爬,其余的也没什么好限制的了

合发齿轮官 · 精密齿轮

该做的不要省了

万物皆有灵
万物皆有灵 · 同步带轮

该做还是要做一下的

要做的

加载更多
SEO培训招生中
147