假如我要屏蔽这个/syzl-business-api/base/clearHistory
robots要怎样写呢?下方这种写法,屏蔽了还是依旧会抓取
Disallow: /syzl-business-api/base/clearHistory
查百度啊
没啥毛病。
对的就是这样写
写法没有问题
写法没有问题啊,是以前抓取的吧?
到百度看一下刷新没有
很正常 刚添加上 不会马上停抓,,要等一段时间,
让更多人参与回答