搜外网>搜外问答>问答页面

百度蜘蛛抓爬sitemap文件时是什么规律? 悬赏3元 已结束

1、百度蜘蛛抓爬sitemap文件时,索引文件下的所有URL都会每次重复爬一遍吗?还是每次只爬新增的数据?
2、如果网站历史比较久,数据量比较大,我们是有一个总的索引文件,总索引下又生成了多个XML索引文件,每个XML文件下不超过5000个URL,这样的话需要定期清理历史沉旧的XML文件吗?  如果不清理会存在蜘蛛抓爬配额不足导致的增加抓爬难度,或是导致抓爬困难、重要内容被抓爬不到的情况吗? 

请有经验的SEO帮忙解答一下,谢谢。

追加问题
    7 人参与回答
天行健咨询
天行健咨询 · 精益生产管理与六西格玛管理咨询,培训机构

抓取爬行,Sitemap里面存在都爬行,但是对于已收录的,数据库存在的,会自动过滤掉。

格栏特铝合金脚手架
格栏特铝合 · 广州格栏特是一个铝合金脚手架的出租售卖的公司,量大从优!需要的联系138-2600-2184微信同步

推推娃大佬说得不错

写在Sitemap里被抓取

写在Sitemap里被抓取

百度蜘蛛抓取爬行Sitemap,Sitemap有的会全部都爬一遍

想要被抓取,都写在Sitemap里,重复的,百度也能主动过滤,但是会抓取,如不想影响抓取时间,已收录的,就不要提交了

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、百度蜘蛛抓取爬行Sitemap,会全部都爬一遍,Sitemap有的,都会爬;
2、如果已收录,不需要抓取爬行,可考虑删除掉,数据量巨大的,可能抓取爬行时间会久些;
3、抓取爬行,sitemap里面存在都爬行,但是对于已收录的,数据库存在的,会自动过滤掉。

SEO培训招生中
191