sitemap的 基础问题,不太忙的大神劳烦看一眼。

下载了sitemapx 如果今天制作了一批sitemap网址如何保证明天再抓取的时候没有重复网址被抓取,小爬虫什么的 我也没发现问题这方面相关处理方法 难道抓取日志会有记录么。

追加问题
分享到微信 收藏
    0 人参与回答
该问题还没有收到回答 :(