1 人参与回答

不用判断,有新链接它就往里钻,更不更新它不管的,爬虫只负责访问和下载。更新是站长主动告诉爬虫,让爬虫自己过来