关于双端站的pc站的robots写法 悬赏3元 已结束
大佬们，我是第一次做双端的站点关于robots有个问题啊
因为m端是放在了pc端的根目录下面，就意味pc的robots不禁止m目录的话 那抓取会变成主域名 +m+内容html，这样的话岂不是和镜像一个意思，百度直接会说我是作弊啊。。。咋办啊 有没有大佬做双端的
8 人参与回答
最佳回答
1、站点情况是二级域名m域名，绑定www的二级目录m；
2、如不想让蜘蛛去抓取收录二级目录，可尝试disallow封禁蜘蛛来访抓取二级目录m栏目，封禁了，不影响m二级域名的正常抓取爬行，那么便没有问题，可持续观察几日；
3、有站点也是二级域名绑定二级目录，二级目录301到二级域名的具体页面，这样可不用封禁。
ps：先尝试封禁，观察看看封禁后，是否影响抓取爬行，没影响就正常操作
做个301不就行了。
这应该是通用的吧
等大佬来回答这个问题
不清楚啥意思，等大佬回复
写一个就可以了
