23 人参与回答
用户196011 等 1 人赞同该回答

没影响

用户196011 等 1 人赞同该回答

做一下吧  也不耽误多少时间

用户196011 等 1 人赞同该回答

从没写过这个,没什么影响

用户56761 · 【论坛外链包收录,百度文库外链包收录】网站目录快审收录 联系QQ191563907
用户196011 等 1 人赞同该回答

一般比较菜的 就是我们这种  都是通过Robots

大站大神那种 在网页代码里面已经隐形的加了机制

用户196011 等 1 人赞同该回答

最好是写一下

用户196011 等 1 人赞同该回答

需要写

用户173889 · 火推吧,内容运营,新媒体运营,小程序运营,广告优化,流量变现!www.huotuiba.com
用户196011 等 1 人赞同该回答

最好写一下,虽然蜘蛛不一定会按照你写的来,但是它会尊重你的

用户196011 等 1 人赞同该回答

写一下最好!!

用户174896 · 消泡剂
用户196011 等 1 人赞同该回答

写好一点,又不麻烦

用户175934 · (sheep吉他网:权重2) - 换友情链接QQ2024529894
用户196011 等 1 人赞同该回答

Robots的作用是限制或允许蜘蛛抓取某个目录或文件

那么什么时候需要做,什么时候不需要做呢?

1.网站从头到尾自己制作或者很清楚站内的每一个文件,这时候如果没有文件过文件夹需要限制的,就可以不设置robots文件

2.网站是使用的模板,例如织梦帝国等,这时候就需要robots文件了,很多目录对蜘蛛来说没有任何价值,爬取只会增加网站负担,所以会设置robots

个人建议设置robots,像网站的配置目录对蜘蛛来说基本没意义,就禁止掉,在robots的结尾写上网站地图的链接,辅助优化。

(不对请指出,谢谢)

没影响

随便写不写,不写也没事

最好是写一下

建设带是写一个为好

用户118646 · 泰海科技12年服务经验,专注于服务器租用

我的网站时没有的,感觉也没有什么影响啊

看自己需要不需要吧

用户168885 · 软发网是一个正版软件资源分享平台,欢迎软件厂商、代理商、分销商在软发网提交软件与投稿!

需要就写,不需要就不写

写一下为好,避免蜘蛛抓取不必要问页面,浪费时间

用户138818 · 高质量发布企业信息-网站锚文本链接发布-点右边自己发

看你域名时间,新章还是写得好,老站链Sitemap都不用提交的

写一下好一点,避免抓取资源的浪费

用户173486 · 做一个平凡的IT民工!

写不写都无所谓的,主要是你可以控制,不想被抓取的目录,可以设置,如果无所谓,就不用写,百度一般很少抓取不显示的目录