17 人参与回答
谢谢大家的讲解
看日志或是抓取频率
可以把蜘蛛日志从服务器中下载下来,然后用日志分析工具打开,进行筛选出有效的信息,这里面有效的信息包含蜘蛛访问时间、蜘蛛抓取频率、蜘蛛ip类型、蜘蛛访问的页面、蜘蛛的数量等信息,我们整理好对比数据就可以了!
看日志吧,或者百度的抓取频率
回复问答禁止带推广链接、违法词及灌水,违规将封禁账号!!了解合理带链接的方法
本贴交流超时,回复已关闭