4 人参与回答
网站一般会通过以下几种方法识别爬虫：
1、查看传入HTTP标头请求中传递的UserAgent字符串。
2、检查来自任何给定IP地址的请求书。每5分钟请求超过X个网页（或类似的阈值），则有可能是爬虫用户。
3、访问浏览器上未显示的URL或为Web表单的隐藏元素输入输入值。
4、检查是否未请求图像文件，一般爬虫不会爬取或访问它们。
5、检测传入请求之间的固定时间间隔。一些网络爬虫每发出一个URL请求，就会每1或2秒“休眠”一次。
查下看看是不是爬虫
差ip辨别爬虫
去查进来的ip是不是爬虫
