<p>网站的日志下载出来,有好多这样的ip 但是不知道怎么区分 ,哪些是相同段号的(比如前2个相同的是同个段号,还是前3个相同的是同个段号,以此类推),是想分析出哪些是垃圾ip或者是垃圾蜘蛛,这样好屏蔽掉<br><br></p>
这些需要自己查询。
一般前三段基本上就可确认是同类型的了
220-181-108前三个为一个IP段,国外的可以屏蔽掉
对于一些ip端抓取不存在的URL,可考虑屏蔽,以抓取的URL来区分,其他的不建议屏蔽
同意楼上的说法的哦
1、真实的蜘蛛ip段也比较多,各大搜索引擎的蜘蛛ip段也不同; 2、只要这些抓取,并没有导致站点打不开,暂且不要轻易屏蔽; 3、对于一些ip端抓取不存在的URL,可考虑屏蔽,以抓取的URL来区分。
让更多人参与回答