搜外网>搜外问答>问答页面

蜘蛛爬取页面重复率太高怎么恢复?

网站优化过程中,查询看到蜘蛛总是爬取页面重复率太高,怎么吸引蜘蛛爬取页面正常呢?为什么一次次爬取页面重复也没有作用了,有哪些可以解决的方法吗?蜘蛛如何引导比较好?

追加问题
    4 人参与回答

重复的话,就多在这个页面新增其他入口

天行健咨询
天行健咨询 · 精益生产管理与六西格玛管理咨询,培训机构

1.可以通过Robots.txt文件来解决这个问题。

2.可以设置meta标签来解决这个问题。

3.可以通过Sitemap来解决这个问题。通过以上三点来进行解决,就可以有效的减少蜘蛛抓取重复的页面,提高网站的排名

客套企业名录
客套企业名 · 一款可以搜索企业名录的CRM软件。

蜘蛛是会持续抓取重复页面的 那就在这个页面多加内链吸引蜘蛛爬取别的页面

Plum
Plum · 聚乙烯醇缩丁醛-天元化工网-小小站长,兢兢业业!

重复的话,就多在这个页面新增其他入口