robots写法疑问
(目的 是只禁止/html/BaoJia.html页面
)
这样写: Disallow: /html/BaoJia.html 后是否还需要添加Allow: /html/
6 人参与回答
写完之后你可以用百度站长后台的Robots功能测试一下是否还会抓取,如果不会抓取就代表设置的没问题
(目的 是只禁止/html/BaoJia.html页面
)
这样写: Disallow: /html/BaoJia.html 后是否还需要添加Allow: /html/
写完之后你可以用百度站长后台的Robots功能测试一下是否还会抓取,如果不会抓取就代表设置的没问题