<p><br>最近发现网站有一个二级域名跟www.这个二级域名内容一样,技术那边说是为了网站访问更快,然后把图片什么的都同步到cdn这个域名,这样写是不是可以禁止蜘蛛抓取cdn.这个域名。</p>
第一次见人还设置Allow。。。
1、这样Robots设置不对;
2、robots封禁是一个域名,要么都是www,要么都是CDN,而不是cdn和www都有。
让更多人参与回答