24 人参与回答
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo
SunShine 等 1 人赞同该回答

1、独立二级域名m移动站,是否有需要禁止抓取的文件,如果有可设置Robots disallow来封禁,如果没有不设置也可以;

2、robots的作用可以了解下,自己有屏蔽蜘蛛抓取的需求可设置,无需求可不设置。

这个看个人需求吧

不需要弄,因为独立的,设置个也是可以的,user-agent:* Dissallow:/

不需要的,有一个就行

看个人自身的情况

杭州继保
杭州继保 · 微机保护行业

不需要的,如果是自适应站点做一个就行

陈之虎
陈之虎 · 正在输入……

不需要的,有一个就行

小鱼
小鱼 · 专业的ERP定制开发、小程序开发、软件外包、软件开发服务商, 定制化开发服务, 擅长小程序开发,微商城开发,PHP项

这个看个人需求吧

蜘蛛抓的时候就从这儿开始

Robots是非常有必要的,蜘蛛抓的时候就从这儿开始

污水处理设备
污水处理设 · 专业一体化污水处理设备、溶气气浮机源头厂家!

是非常重要的..

聘达人
聘达人 · 聘达人是一家高速成长的灵活用工一站式就业服务平台公司总部位于北京市亦庄开发区。我们致力于为中国蓝领与基层白领群体打造

看个人需求,可以做可以不做

梦梦
梦梦 · 泰海科技12年服务经验,专注于服务器租用

可以做,但是为什么要做呢

不需要的,如果是自适应站点做一个就行

看个人需求,可以做可以不做

加载更多