蜘蛛爬取页面没有任何记录,也没有爬取的痕迹,如何才能提升页面的爬取,增加页面的爬取我们需要怎么做呢?蜘蛛已经好多天没有来网站了,有时候来了也没有作用记录,怎么回事呢?有哪些方法可以知道,蜘蛛的情况?
下载网站日志,百度的蜘蛛会有专属baiduspider标记,看下就知道了
让更多人参与回答