搜外网>搜外问答>问答页面

租赁的二级目录蜘蛛判别

我们租了一个二级目录,对方ip是1.1.1.1(假的,随便写的),然后程序运行过程中发现很多这个ip的假蜘蛛,一秒钟达50次左右,导致服务器cpu高占用,如下:

2021-06-27 00:00:54 172.17.238.47 GET /diaosu/show_44_18095.html - 80 - 1.1.1.1 Mozilla/5.0+(compatible;+Baiduspider/2.0;++http://www.baidu.com/search/spider.html) - 200 0 0 1163

请问这个是怎么回事?期初不知道是对方网站来的,就禁用了,然后目录就打不开了,后来才发现这个ip就是对方网站的ip,联系对方说他们没有模拟蜘蛛来抓取我们的网站,难道是通过租赁的二级目录,其蜘蛛先到对方服务器,再来我们服务器,就形成了上面的样子(我不懂,瞎猜的,请达人解答)?

因为程序后台也比较耗cpu,这个蜘蛛访问量更高,服务器经常宕机。因为不能封建ip,我尝试ua加ip来禁止访问了,但又怕如我猜想那样,导致内容不收录了。请达人解惑啊,在线等,拜求!

追加问题
    2 人参与回答

看看吧 怎么样

SEO培训招生中
157