怎么识别搜索引擎蜘蛛IP?看日志怎么看
日志分析
服务器日志分析，里面可以识别
网站日志里面看
网站日志里面查看
这个可以从你服务器或者虚拟主机的日志中看出来，比如我用的虚拟主机的完整使用日志中有这样的记录： - - [11/Nov/2007:04:28:29 +0800] "GET / HTTP/" 200 61083 "-" "Baiduspider+(+baidu/search/)"这就说明百度蜘蛛来过我的站了，如果你还想知道有没有其它搜索引擎的蜘蛛来过你的站，你可以在日志文件中搜索“spider”这个词，或者搜索蜘蛛的IP，我的就查到sogou也来过我的站，IIS日志与Apache的日志是一样的，都可以查到。
让更多人参与回答
