把日志用工具查看，站长工具之类
通过保存在服务器的网站日志查看
1、搜索资源平台后台都会有对应的蜘蛛抓取频次、抓取诊断、抓取异常等关于各自平台蜘蛛的数据反馈 2、网站日志
每个搜索引擎的蜘蛛名字不同，百度一下可以找到答案
百度蜘蛛代baidu的标识的
让更多人参与回答
