24 人参与回答
推推蛙
用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo
用户193277 等 1 人赞同该回答

1、独立二级域名m移动站,是否有需要禁止抓取的文件,如果有可设置Robots disallow来封禁,如果没有不设置也可以;

2、robots的作用可以了解下,自己有屏蔽蜘蛛抓取的需求可设置,无需求可不设置。

这个看个人需求吧

不需要弄,因为独立的,设置个也是可以的,user-agent:* Dissallow:/

不需要的,有一个就行

看个人自身的情况

杭州继保
用户166956 · 微机保护行业

不需要的,如果是自适应站点做一个就行

陈之虎
用户173017 · 正在输入……

不需要的,有一个就行

小鱼
用户137963 · 专业的ERP定制开发、小程序开发、软件外包、软件开发服务商, 定制化开发服务, 擅长小程序开发,微商城开发,PHP项

这个看个人需求吧

蜘蛛抓的时候就从这儿开始

Robots是非常有必要的,蜘蛛抓的时候就从这儿开始

污水处理设备
用户202556 · 专业一体化污水处理设备、溶气气浮机源头厂家!

是非常重要的..

聘达人
用户185066 · 聘达人是一家高速成长的灵活用工一站式就业服务平台公司总部位于北京市亦庄开发区。我们致力于为中国蓝领与基层白领群体打造

看个人需求,可以做可以不做

梦梦
用户118646 · 泰海科技12年服务经验,专注于服务器租用

可以做,但是为什么要做呢

不需要的,如果是自适应站点做一个就行

看个人需求,可以做可以不做

怡合达YHD
用户213035 · 怡合达专业从事自动化零部件研发、生产和销售,提供FA工厂自动化零部件一站式供应

有不想让蜘蛛爬取的页面就可以用,否则就没必要用

看个人需求吧

三九问答
用户159126 · 专业的有问必答平台

这个看个人需要啊,一般没必要设置的

流浪的战狼
用户110655 · 电量变送器|电能质量分析仪|综合安规测试仪|功率分析仪|万用表

应该没必要单独设置

胡汉三
用户179092 · 上海沈泉泵阀公司

完全看你个人的习惯了啊

利美医疗
用户210320 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

一般都放了的,就算没有禁止抓取的文件。

看你自己的需求啊

天朋
用户185860 · 入行8年,企业站,建站,百度谷歌seo,sem,电商运营

二级域名移动站如果需要Robots.txt是需要单独设置的

12365信息网
用户184427 · 12365信息网-生活帮助知识库

这个看你自己把!个人感觉没必要