租赁的二级目录蜘蛛判别
我们租了一个二级目录，对方ip是1.1.1.1（假的，随便写的），然后程序运行过程中发现很多这个ip的假蜘蛛，一秒钟达50次左右，导致服务器cpu高占用，如下：
2021-06-27 00:00:54 172.17.238.47 GET /diaosu/show_44_18095.html - 80 - 1.1.1.1 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) - 200 0 0 1163
请问这个是怎么回事？期初不知道是对方网站来的，就禁用了，然后目录就打不开了，后来才发现这个ip就是对方网站的ip，联系对方说他们没有模拟蜘蛛来抓取我们的网站，难道是通过租赁的二级目录，其蜘蛛先到对方服务器，再来我们服务器，就形成了上面的样子（我不懂，瞎猜的，请达人解答）？
因为程序后台也比较耗cpu，这个蜘蛛访问量更高，服务器经常宕机。因为不能封建ip，我尝试ua加ip来禁止访问了，但又怕如我猜想那样，导致内容不收录了。请达人解惑啊，在线等，拜求！
2 人参与回答
看看吧 怎么样
