这个是不是真实的百度蜘蛛,每隔几秒访问一次页面
这个是不是百度的支持IP啊?
154.86.248.72
154.93.254.36
每隔几分钟访问下面的这种页面
2019-07-31 16:25:22 1.2.2.1 GET /www-aa-com/kl/6/41128.html - 80 - 154.86.248.72 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www-baidu-com/search/spider.html) 404 0 2 47
2019-07-31 16:27:33 1.2.2.1 GET /www-aa-com/kl/11/16482.html - 80 - 154.93.254.36 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www-baidu-com/search/spider.html) 404 0 2 37
每隔几秒钟,用关键词搜索我们的数据库结果。网站有搜索功能。
比如先搜索“数字1”,几秒后又搜索“数字2”,这个搜索的时间间隔最长的也才8秒,没隔几秒GET一次这样的搜索请求
这个应该不算正常吧?蜘蛛爬虫会这样GET页面么?而且频率这么高。
是不是有人恶意访问,以造成资源浪费。