13 人参与回答
禁止CDN域名中的非静态资源被搜索引擎抓取
创建Robots2.txt文件
用记事本创建一个robots2.txt,加入以下内容,然后上传到网站根目录。
User-agent: *
Allow: /robots.txt
Allow: /.png
Allow: /.jpg
Allow: /.jpeg
Allow: /.gif
Allow: /.bmp
Allow: /.ico
Allow: /.JS
Allow: /.css
Allow: /wp-content/
Disallow: /
通过robots协议,禁止搜索引擎抓取除了.js、.css或图片之外的所有内容。因为是静态资源的CDN域名,所以静态资源还是需要开放抓取的,否则会影响正常收录。
这也能收录,让不收录的新站情何以堪啊
来学习的 不是很了解
这个被收录,可能导致分权产生