(目的 是只禁止/html/BaoJia.html页面
)
这样写: Disallow: /html/BaoJia.html 后是否还需要添加Allow: /html/
你禁止这个干嘛,这个谨慎使用啊
写完之后你可以用百度站长后台的Robots功能测试一下是否还会抓取,如果不会抓取就代表设置的没问题
Disallow: /html/ 这样就好啦
都可以的
两个都可以 不会爬目录
让更多人参与回答