搜外网>搜外问答>问答页面

主域名与二级域名解析到同一个程序了如何禁止二级域名？悬赏3元已结束

微信

www.a.com 跟 aaa.a.com 解析到同一个程序跟内容那我在robots.txt中如何写禁止aaa.a.com的蜘蛛抓取呢？

Robots 二级域名域名解析举报 本帖由用户发布，如有侵权联系删除 2019-04-01 发布1,816 次浏览

8 人参与回答

鹰眼智客 · AI智能拓客系统是鹰眼大数据针对传统行业拓客难研发的大数据精准营销拓客系统。范经理微信:zhicun360

来蹭蹭水，挂个外链

Brill · 服务器租用与托管相关

楼上回答正解

风逝 · seo优化，linux运维，前端页面修改。

User-agent: *

Disallow:

化大阳光 · 北京化大阳光科技有限责任公司

路过看看

左左渔 · 专注“科技项目申报”体系

不是很清楚

崔家大院 · 网站诊断、建站、快速排名

User-agent: *
Disallow: /

在二级域名下这样写但是一般还是要被抓取这就是百度你也无奈

刘振勇 · wsjpg纹身图案

User-agent: *

Disallow: /

芒果太忙

不好禁止因为禁止了百度还是一样会抓取的

收录宝