怎么去识别百度蜘蛛 发现很多蜘蛛IP都是国外的 严重浪费服务器资源
可以百度一下 查一下真假蜘蛛 也可以对不需要的进行屏蔽
屏蔽掉Robots。。。。。。。
把所有蜘蛛都屏蔽,一心一意做国内的
有后缀的baiduspider不就是了,我们的也会有的,正常
太多的话可以屏蔽处理,百度的蜘蛛是baiduspider
百度蜘蛛名称为 Baiduspider 其他的都无关紧要
我直接屏蔽了
应该属于正常现象吧
大批量的在降权吗
是正常的现象,不用担心。
让更多人参与回答