怎么识别搜索引擎蜘蛛IP?

怎么识别搜索引擎蜘蛛IP?看日志怎么看

追加问题
    5 人参与回答
工商财税
工商财税 · 深圳代理记账、深圳注册公司 400-778-0826
行星减速机 · 行星减速机品牌厂家

服务器日志分析,里面可以识别

高洁¹⁷⁶⁰⁷¹⁵³⁶⁸¹
高洁¹⁷⁶ · 进口医学模型、电子测试测量仪器授权代理商

网站日志里面看

~心有灵犀~
~心有灵犀 · 全国专业婚车租赁 接亲网 400-9629-700

这个可以从你服务器或者虚拟主机的日志中看出来,比如我用的虚拟主机的完整使用日志中有这样的记录:

- - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/" 200 61083 "-" "Baiduspider+(+baidu/search/)"这就说明百度蜘蛛来过我的站了,如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站,你可以在日志文件中搜索“spider”这个词,或者搜索蜘蛛的IP,我的就查到sogou也来过我的站,IIS日志与Apache的日志是一样的,都可以查到。