17 人参与回答
把日志导出来,用分析工具分析
把日志导出来,用分析工具分析
日志里面可以看的哦
1.查看UA,如果UA都不对,可以直接判断非百度搜索的蜘蛛,目前对外公布过的UA是:
移动UA:Mozilla/ (linux;u;Android ) APPleWebKit/ (KHTML,like Gecko) Version/ Mobile Safari/ (compatible; Baiduspider/ +)
PC UA:Mozilla/ (compatible; Baiduspider/ +)
2.反查IP
站长可以通过DNS反查IP的方式判断某只spider是否来自百度搜索引擎。
在windows平台或者IBM OS/2平台下,您可以使用nslookup ip命令反解ip来 判断是否来自Baiduspider的抓取。打开命令处理器 输入nslookup (IP地 址)就能解析ip, 来判断是否来自Baiduspider的抓取,Baiduspider的hostname以. 或. 的格式命名,非 *. 或 *. 即为冒充。
用光年,或者爱站工具包可以查看