主域名与二级域名解析到同一个程序了如何禁止二级域名? 悬赏3元 已结束
www.a.com 跟 aaa.a.com 解析到同一个程序跟内容 那我在robots.txt中如何写 禁止aaa.a.com的蜘蛛抓取呢?
8 人参与回答
来蹭蹭水,挂个外链
楼上回答正解
User-agent: *
Disallow:
路过看看
不是很清楚
不好禁止 因为禁止了百度还是一样会抓取的
www.a.com 跟 aaa.a.com 解析到同一个程序跟内容 那我在robots.txt中如何写 禁止aaa.a.com的蜘蛛抓取呢?
来蹭蹭水,挂个外链
楼上回答正解
User-agent: *
Disallow:
路过看看
不是很清楚
不好禁止 因为禁止了百度还是一样会抓取的