网站蜘蛛之前正常来也抓取正常,我每次检查是正常的,最近两天蜘蛛突然不来网站,怎么蜘蛛不来网站了,也没有什么不正常,蜘蛛不来爬取了,日志没有数据,这是什么原因?
建议使用栈谷统计,实时抓取下主流蜘蛛爬虫网页抓取情况,这个统计网站很灵的
让更多人参与回答