搜外网>搜外问答>问答页面

蜘蛛反复抓取重复的页面怎么办?

通过日志查询发现,蜘蛛抓取次数多了,但是蜘蛛每次抓取都是重复的页面,怎么处理这个问题,引导蜘蛛抓取爬取页面正常?我应该怎么处理,有什么好的办法可以处理?

追加问题
    4 人参与回答
天行健咨询
天行健咨询 · 精益生产管理与六西格玛管理咨询,培训机构

新站可能存在重新抓取老页面,被降权、长久未更新的可能也是抓取旧的页面,这种也是正常;

泉水溪溪
泉水溪溪 · 鑫盛主营包装机设备,粉剂包装机,颗粒包装机,可用于面粉、粮食、化工、肥料行业

做好提交推送、外链友链,基础站内外优化提升域名信任,做好引蜘蛛操作促进新页面url识别发现。

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、新站可能存在重新抓取老页面,被降权、长久未更新的可能也是抓取旧的页面,这种也是正常;
2、想要抓取新的页面url,蜘蛛需要发现识别新的url,做好提交推送、外链友链,基础站内外优化提升域名信任,做好引蜘蛛操作促进新页面url识别发现。

Plum
Plum · 聚乙烯醇缩丁醛-天元化工网-小小站长,兢兢业业!

在重复的页面,增加些其他链接的入口

SEO培训招生中
190