搜外网>搜外问答>问答页面

蜘蛛爬取页面反复无常的重复怎么办?

网站蜘蛛每次都会来网站爬取,但是最近怎么的爬取页面都是重复的,多次爬取页面都是重复的,我怎么解决蜘蛛爬取问题引导蜘蛛爬取页面正常?平时优化有什么要注意的,如何控制好蜘蛛?

追加问题
    5 人参与回答

都是这样的 权重比较高的页面蜘蛛就容易爬取 你在经常爬取的页面上多加一些内链呗

正常,多加点内链就好了

泉水溪溪
泉水溪溪 · 鑫盛主营包装机设备,粉剂包装机,颗粒包装机,可用于面粉、粮食、化工、肥料行业

加内链引导蜘蛛爬行

正常情况,毕竟是百度的蜘蛛

客套企业名录
客套企业名 · 一款可以搜索企业名录的CRM软件。

都是这样的 权重比较高的页面蜘蛛就容易爬取 你在经常爬取的页面上多加一些内链呗