搜外网>搜外问答>问答页面

百度蜘蛛抓爬sitemap文件时是什么规律？悬赏3元已结束

微信

1、百度蜘蛛抓爬sitemap文件时，索引文件下的所有URL都会每次重复爬一遍吗？还是每次只爬新增的数据？
2、如果网站历史比较久，数据量比较大，我们是有一个总的索引文件，总索引下又生成了多个XML索引文件，每个XML文件下不超过5000个URL，这样的话需要定期清理历史沉旧的XML文件吗？如果不清理会存在蜘蛛抓爬配额不足导致的增加抓爬难度，或是导致抓爬困难、重要内容被抓爬不到的情况吗？

请有经验的SEO帮忙解答一下，谢谢。

Site Sitemap 索引举报 本帖由用户发布，如有侵权联系删除 2024-06-11 发布555 次浏览

广告位出租

广告位出租-排名优化

交换友情链接，就用搜外友链，方便！

8 人参与回答

微彩生活工

Sitemap里面存在的链接都爬行，但是对于已收录的，数据库存在的，会自动过滤掉。

天行健咨询 · 精益生产管理与六西格玛管理咨询，培训机构

抓取爬行，Sitemap里面存在都爬行，但是对于已收录的，数据库存在的，会自动过滤掉。

格栏特铝合 · 广州格栏特是一个铝合金脚手架的出租售卖的公司，量大从优！需要的联系138-2600-2184微信同步

推推娃大佬说得不错

信之源律师

写在Sitemap里被抓取

packa

写在Sitemap里被抓取

Forwo

百度蜘蛛抓取爬行Sitemap，Sitemap有的会全部都爬一遍

罗凌峰

想要被抓取，都写在Sitemap里，重复的，百度也能主动过滤，但是会抓取，如不想影响抓取时间，已收录的，就不要提交了

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、百度蜘蛛抓取爬行Sitemap，会全部都爬一遍，Sitemap有的，都会爬；
2、如果已收录，不需要抓取爬行，可考虑删除掉，数据量巨大的，可能抓取爬行时间会久些；
3、抓取爬行，sitemap里面存在都爬行，但是对于已收录的，数据库存在的，会自动过滤掉。