网站日志屏蔽掉这些目录还是会抓取，麻烦各位大神看看是怎么回事？ 悬赏1元 已结束
Disallow: /base/
Disallow: /openapi/
Disallow: /business/
Disallow: /user/
Disallow: /newHouse/
Disallow: /syzl-business-api/
屏蔽完之后依然会抓取这些页面，请问是屏蔽的方法不对吗？要怎样Disallow才能避免内容再次被抓取呢？
requestUrl:"/syzl-business-api/news/queryNewsType/"
requestUrl:"/syzl-business-api/newHouse/config"
requestUrl:"/syzl-business-api/news/newsDetail"
requestUrl:"/openapi/combo/area/queryCities"
requestUrl:"/base/getCurrentCityInfo"
requestUrl:"/base/getHotBusinessArea"
requestUrl:"/business/public/phone"
requestUrl:"/business/public/queryCityConfModel
requestUrl:"/openapi/combo/area/queryCities"
requestUrl:"/office/list/area_all/page2"
<p>1、抓取是否有收录</p><p>2、你这个屏蔽是啥时候做的，如果是近期刚做，需要有响应期</p><p>3、你使用百度站长后台，<b>抓取诊断检测下</b>，看看是抓取还是无法抓取</p><p><br></p>
用命令nslookup +ip查询一下蜘蛛的真假，这一句 User-agent: * 有没有加上？
不懂 进来学习一下
