爬虫每天只爬收录过的文章不爬新内容
爬虫每天只爬收录过的文章不爬新内容咋办哟www.yisitemachine.com，每天你说爬虫不多也有150+。每天来就是不爬新内容，只爬收录过的内容。
1 人参与回答
你可以在蜘蛛经常来的页面中添加新页面的url。
爬虫每天只爬收录过的文章不爬新内容咋办哟www.yisitemachine.com，每天你说爬虫不多也有150+。每天来就是不爬新内容，只爬收录过的内容。
你可以在蜘蛛经常来的页面中添加新页面的url。
