2711
浏览
一晚上蜘蛛跑过来抓了一大堆的垃圾,而且全是404,好烦,这要怎么办? 404
有些是伪装的百度蜘蛛,采集或者想看你的网站能否被攻击的,ip地址你反ping一下会发现并不是百度的。这一类的抓取特征就是同一个ip在集中的时间段内爆发式的抓取一堆链接并且都是404,比较好辨认。你打开日志找到这些ip反ping一下,不是百度……