百度蜘蛛抓爬sitemap文件时是什么规律？ 悬赏3元 已结束
1、百度蜘蛛抓爬sitemap文件时，索引文件下的所有URL都会每次重复爬一遍吗？还是每次只爬新增的数据？
2、如果网站历史比较久，数据量比较大，我们是有一个总的索引文件，总索引下又生成了多个XML索引文件，每个XML文件下不超过5000个URL，这样的话需要定期清理历史沉旧的XML文件吗？ 如果不清理会存在蜘蛛抓爬配额不足导致的增加抓爬难度，或是导致抓爬困难、重要内容被抓爬不到的情况吗？
请有经验的SEO帮忙解答一下，谢谢。
8 人参与回答
推推娃大佬说得不错
