百度蜘蛛IP抓取处理

5,199 次浏览

  百度蜘蛛IP抓取处理

  每天我们网站有很多总抓取量,计算抓取量发现很多是伪蜘蛛,我们要去除伪蜘蛛,假蜘蛛的危害:1、占用网络带宽,无效流量上涨。2、在有限的带宽情况下,影响正常蜘蛛抓取网页。3、对我们SEO工作产生干扰。要去除,单一nslookup+ip查询是不是特别慢,如果网站有上万蜘蛛IP怎么办?有没有好的方法批量查询百度蜘蛛?

追加问题
    5 人参与回答
刘振勇
刘振勇 · wsjpg纹身图案

第一次听说还有伪蜘蛛

回楼上,有的,比如釆集的,就有

牛逼不
牛逼不 · 诚于嘉许,宽于称道

可以写脚本搞定的,试试批处理?反正我之前用python解决过

罗银昌
罗银昌 · 在寻找8K以上的工作!

蜘蛛都有真假

天蓝蓝
天蓝蓝 · 蛋疼的SEO

日志日常分析,懂的分辨真伪蜘蛛,Robots屏蔽一下