搜外网>搜外问答>问答页面

蜘蛛爬取页面重复的太多怎么回事?

网站蜘蛛爬取不正常,多数爬取的都是重复的页面太多次,如何引导蜘蛛爬取页面?蜘蛛反复爬取重复的页面是哪里问题,我应该怎么解决问题?蜘蛛来的次数可以,就是重复的页面。

追加问题
    5 人参与回答
素材网
素材网 · 素材网,网站模板,网站素材,视频教程,sucaipro。com

过来学习的,而且很认真的

公司注册郭小贺
公司注册郭 · 公司注册 代理记账 资质审批 国企挂靠 北京车牌 保定花店 I3Z-4OII-99I3

收录的页面 会重复爬取的。

1shark
1shar · 免费影院→

爬取的是收录的页面吧,如果是收录的页面 会重复爬取的。

企业名录大全
企业名录大 · 客套企业名录,内置1亿+企业名录线索库,轻松开拓企业客户。

内链结构是不是不太合理 经常抓取的页面多放一些内链引导

检查一下内链,是不是太多链接指向重复页面,在蜘蛛重复爬取这个文章里面放上2-3个内链跳转到其他页面,可以促进其他页面的收录

SEO培训招生中
188