发现一个ip不太确定是不是百度蜘蛛
220.181.51.120
cmd命令提示不是百度蜘蛛
服务器: localhost
Address: 192.168.0.1
*** localhost 找不到 220.181.51.120
但是220.181 开头却让我不敢肯定了。
一、查看UA
1、查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前百度对外公布过的UA是:
移动UA:Mozilla/ (linux;u;Android ) APPleWebKit/ (KHTML,likeGecko) Version/ Mobile Safari/ (compatible; Baiduspider/ +)
PC UA:Mozilla/ (compatible; Baiduspider/ +)
其中还包括新增渲染UA:
移动UA:Mozilla/ (iPhone; CPU iPhone OS 9_1 likeMac OS X)AppleWebKit/ (KHTML, like Gecko) Version/ Mobile/13B143 Safari/ (compatible; Baiduspider-render/ +)
PC UA:Mozilla/ (compatible; Baiduspider-render/ +)
二、反查IP
可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。根据平台不同验证方法不同,如linux/windows/os三种平台下的验证方法分别如下:
:
以*. 或 *. 的结尾格式命名是百度的蜘蛛,非 *. 或 *. 即为冒充。检索指令:host
win系统下使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。 以*. 或 *. 的结尾格式命名是百度的蜘蛛,非 *. 或 *. 即为冒充。检索指令:nslookup
在mac os平台下,可以使用dig 命令反解ip来 判断是否来自Baiduspider的抓取。 以*. 或 *. 的结尾格式命名是百度的蜘蛛,非 *. 或 *. 即为冒充。检索指令:dig
看是不是来刷的