搜外网>搜外问答>问答页面

新站提问:百度蜘蛛疯狂抓取wp-json这个目录,请问对网站有什么影响吗? 悬赏1元 已结束

萌新做了个新站,在宝塔后台开通付费统计插件,发现百度蜘蛛疯狂抓取wp-json这个目录,请问这个目录文件有什么作用?百度蜘蛛抓取这个目录对网站有什么影响吗?有没有方法禁止百度蜘蛛抓取?

目前我通过添加 移除头部 wp-json 代码,robots禁止,都没有效果,百度蜘蛛还是疯狂抓取。

请问大神们可以科普一下吗?已经问过度娘了。。。

remove_action('wp_head', 'rest_output_link_wp_head', 10 );
remove_action('template_redirect', 'rest_output_link_header', 11 );

追加问题
    7 人参与回答
最佳回答
推推蛙
推推蛙 · 擅长SEOSEM网站诊断、方案编写、优化运维。微信:tuituiwaseo
我的微信:sec_vip 等 1 人赞同该回答

1、真的百度蜘蛛是只会抓取真实存在的URL,而不存在的不会抓取,如果不存在了,它还在抓取,多半是虚假的模拟蜘蛛;

2、新站的百度站长抓取频次是否很多;

3、这个ip是否是真的百度蜘蛛可以去检测下,一般虚假的多一些,虚假的不影响可忽略。

申虎包装-杨敏
申虎包装- · 上海厂家直供装盒机、灌装机、封口机、封尾机、旋盖机
我的微信:sec_vip 等 1 人赞同该回答

需要辨别是否是真实百度蜘蛛,第二是不想被抓取这个目录需要加入Robots.txt

我的微信:sec_vip 等 1 人赞同该回答

屏蔽了就行

Plum
Plum · 聚乙烯醇缩丁醛-天元化工网-小小站长,兢兢业业!
我的微信:sec_vip 等 1 人赞同该回答

学习了,还有这样的哦

我的微信:sec_vip 等 1 人赞同该回答

推推蛙 讲的不错呢

深圳瑞萦传媒
深圳瑞萦传 · 擅长SEO推广,抖音,小红书等新媒体平台品牌营销渠道
我的微信:sec_vip 等 1 人赞同该回答

推推蛙大佬还是牛啊

SEO培训招生中
158