搜外网>搜外问答>问答页面

网站蜘蛛爬取页面重复太高咋办?

蜘蛛是经常来网站,每次来了爬取重复的页面,每次别的页面不爬取,这个是啥意思,怎么引导蜘蛛爬取页面,我查看日志有一段时间没有来,然后来了就爬取重复的页面太多应该怎么解决?

追加问题
    3 人参与回答
∞   言酒
∞ 言 · 专业SEO,SEM,网站诊断、方案编写、优化运维。微信:mengfeiseo

蜘蛛重复抓取页面是正常的,蜘蛛抓取页面的依据是看页面内容是否发生了变化,如果每次抓取页面都有变化,那么抓取就会更加频繁。如果多次抓取后发现页面都没有变化,就会减少抓取。
如果你想避免蜘蛛重复抓取一个页面,可以隐藏链接入口,再在Robots文件上限制抓取。

给你内链 连过去

岳信的天空
岳信的天空 · IP防水防尘测试设备 SEO 淋雨试验箱 咨询:18924062676

我也遇到这个问题,可能别的页面没有用户搜索吧

SEO培训招生中
157