2468
浏览
一晚上蜘蛛跑过来抓了一大堆的垃圾，而且全是404，好烦，这要怎么办？ 404
有些是伪装的百度蜘蛛，采集或者想看你的网站能否被攻击的，ip地址你反ping一下会发现并不是百度的。这一类的抓取特征就是同一个ip在集中的时间段内爆发式的抓取一堆链接并且都是404，比较好辨认。你打开日志找到这些ip反ping一下，不是百度……
