53294 次浏览

用户153491

365微信编辑器-———————————————————————————这里———————————————————————++++++

2019-08-20 加入搜外
北京市 现居
1,237 回答
221 赞同
1266 浏览

谁能解读一下这串代码是禁止抓取哪些网页? 代码

1-3行:注释;第4行:允许所有页面被抓取;4-6行:禁止搜索引擎抓取的页面7-8行:禁止搜索引擎爬行data文件夹,允许搜索引擎抓取data文件夹下的upload文件夹里的页面;9-10行:禁止搜索引擎爬行的页面。第11行:禁止搜索引擎爬……