6 人参与回答
天行健咨询
天行健咨询 · 精益生产管理与六西格玛管理咨询,培训机构

判断下是否真实蜘蛛

是不是真实的蜘蛛,不是就屏蔽ip,是的话Robots文件增加过滤

你查看文件就知道这个是登陆用的,也就是说有小黑子在爆你密码,按官方给的二步验证插件安装一下或者在宝塔里安装下防火墙(规则需要自定义)

奋力向前
奋力向前 · 第三方软件测试报告

估计是有人用ua模拟蜘蛛的名义刷你网站

判断下是否真实蜘蛛,返回码也不是200,这种一般也不会收录,看看是否真实存在,有没有链接通道

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、这个URL,是否有链接通道被蜘蛛抓取,检查网站的链接,和Sitemap里面是否有这个URL通道,被蜘蛛识别抓取; 

2、这个返回码5xx,是否存在,不存在的URL,可考虑返回码404,这种一般不收录; 

3、检查抓取有无异常,返回码5xx,这种一般也不会被放出收录;

4、判断频繁抓取的蜘蛛是否是真的百度蜘蛛,还是模拟或者虚假蜘蛛,后者可忽略,抓取异常看看是否有5xx异常,无异常无影响。