搜外网>搜外问答>问答页面

蜘蛛抓取页面重复太高怎么处理?

网站蜘蛛每次都是来抓取页面,问题是抓取页面次数都是重复的,长时间更新依然抓取页面重复的,这是什么情况?蜘蛛抓取重复的也没有什么作用,如何引导蜘蛛爬取页面正常不要重复的抓取?谢谢高手解答问题。

追加问题
    4 人参与回答

重复抓取的后期会自动去重

泳池设备
泳池设备 · 主营泳池循环水泵、过滤砂缸、消毒监控设备、空气能热泵、除湿热泵等泳池水处理设备及其他配套设备。

楼上的楼主们说的都对

这应该是正常情况吧

基本好多都是重复抓取正常

SEO培训招生中
189