robots屏蔽目录抓取,这样写是否正确?
我不想让搜索引擎抓取收录网站根目录下english和admin文件夹里面的所有页面,
robots.txt的文件这样写对不对?请高手指点一下
User-agent: *
Disallow: /english/
Disallow: /admin/
3 人参与回答
我的微信:sec_vip 等 1 人赞同该回答
可以的,如果不放心,可以在百度站长平台检测一下
我的微信:sec_vip 等 1 人赞同该回答
没问题,可以的