搜外网>搜外问答>问答页面

新站,通过查看日志发现百度每天来抓取几次robots文件,大家都放置robots文件了吗?

如题

总觉得现在做SEO是不是放置robots没什么必要,毕竟也不会防止搜索引擎抓取什么,而且即便放置了,搜索引擎一般也是照抓不误。

现在大家还都写robots吗?

追加问题
    20 人参与回答
权重蜘蛛-池出租 等 1 人赞同该回答

写了的啊,网站地图也写进去了的

权重蜘蛛-池出租 等 1 人赞同该回答

要做的

九州互营
九州互营 · 百科创建 百科修改 问答营销 新闻营销 软文营销
权重蜘蛛-池出租 等 1 人赞同该回答

都放置了

飞锤在天
飞锤在天 · 【论坛外链包收录,百度文库外链包收录】网站目录快审收录 联系QQ191563907
权重蜘蛛-池出租 等 1 人赞同该回答

该做的不要省了

A 0湖北楚胜汽车.谢非
A 0湖北 · 环卫洒水车、垃圾车、压缩式垃圾车、扫路车、清扫车等专用车销售
权重蜘蛛-池出租 等 1 人赞同该回答

都做了啊

千寻
千寻 · 五常大米
权重蜘蛛-池出租 等 1 人赞同该回答

都写了啊,基本的东西还是要有 管他有没有用,我都把Sitemap放Robots里 促进一下,但是不一定好用

权重蜘蛛-池出租 等 1 人赞同该回答

要做的

权重蜘蛛-池出租 等 1 人赞同该回答

肯定要写呀

合发齿轮官方微信
合发齿轮官 · 精密齿轮
权重蜘蛛-池出租 等 1 人赞同该回答

该做的不要省了

万物皆有灵
万物皆有灵 · 同步带轮
权重蜘蛛-池出租 等 1 人赞同该回答

该做还是要做一下的

权重蜘蛛-池出租 等 1 人赞同该回答

要做的

要放的

该做的不要省了

leeydls
leeyd · 佛系佛系,排名随缘,收录随缘,转化随缘

我就是看个个蜘蛛都去爬取Robots文件,所以将Sitemap的地址写进去,让蜘蛛看心情爬,其余的也没什么好限制的了

写了的

加载更多