搜外网>搜外问答>问答页面

爬虫每天只爬收录过的文章不爬新内容

爬虫每天只爬收录过的文章不爬新内容咋办哟www.yisitemachine.com,每天你说爬虫不多也有150+。每天来就是不爬新内容,只爬收录过的内容。

追加问题
    1 人参与回答
大唐营销老胡
大唐营销老 · 建了个SEO技术交流+资源合作群,很多大牛,欢迎同行加入。加我微信拉您入群,微信:2371482842

你可以在蜘蛛经常来的页面中添加新页面的url。

SEO培训招生中
188