<p><br>最近发现网站有一个二级域名跟www.这个二级域名内容一样，技术那边说是为了网站访问更快，然后把图片什么的都同步到cdn这个域名，这样写是不是可以禁止蜘蛛抓取cdn.这个域名。</p>
第一次见人还设置Allow。。。
1、这样Robots设置不对；
2、robots封禁是一个域名，要么都是www，要么都是CDN，而不是cdn和www都有。
让更多人参与回答
