搜外网>搜外问答>问答页面

百度蜘蛛一天抓取了一百多次调取后台的接口,是什么原因?

百度蜘蛛一天抓取了一百多次调取后台的接口,返回的状态码是200   这是为什么呢?

追加问题
    11 人参与回答
燕子
燕子 · 达尔文服装智造平台_为跨境电商企业提供服装货源的供应链

这肯定要竞争呀  禁止admin

知世
知世 · seo优化推广

可以禁止抓取后台程序

plank
plank · 上海力东科技有限公司是一家致力于各类生化试剂、标准品、小分子抑制剂、液体试剂等相关产品的研发与销售的企业。

禁止一下

直接禁止抓取后台  设置一下Robots

木偶
木偶 · www.sjyj.com.cn-神圣计划软件官网

Robots禁止一下这些路径

直接禁止抓取后台  设置一下Robots

鱼山哥哥
鱼山哥哥 · 娇果网-娇果整形网-知名的三方咨询服务平台

要禁止抓取后台程序,设置一下Robots

搜客网
搜客网 · 搜客站长信息网,免费发锚文本外链论坛、站点目录提交、软文seo推广平台, seoerk.com 承接建站、设计

一定要禁止抓取后台程序

小熊饼干🍃
小熊饼干🍃 · 777股票平台http://www. 7778877. com

Robots禁止抓取

Robots禁止一下后台路径

SEO培训招生中
189