搜外网>搜外问答>问答页面

网站蜘蛛爬取重复页面太多次咋处理?

网站每天都来爬取页面,爬取次数是正常的,问题是爬取的都是重复的页面,蜘蛛一次次的爬取重复页面是怎么处理?有没办法禁止蜘蛛不要爬取重复的页面,这样下去怎么处理?

追加问题
    5 人参与回答
134源码网
134源码 · 游戏源码,整站源码,网站制作,网站seo优化

这个不用管的啊

重复爬取,无所谓了

厦门在乎科技
厦门在乎科 · SEO优化

那你可以合理设置被抓取重复的页面,页面的内链可以调整一下

检查一下内链,是不是太多链接指向重复页面,这是好事,人家都怕蜘蛛不来,在蜘蛛重复爬取这个文章里面放上2-3个内链跳转到其他页面,可以促进其他页面的收录

sibuzyncom
sibuz · 思埠集团81236939

没啥好办法,蜘蛛不可控,看看内容页是不是有重复指引

SEO培训招生中
170