搜外网>搜外问答>问答页面

蜘蛛总是抓取重复页面怎么处理蜘蛛?

网站蜘蛛来的也规律,按时经常来网站,问题是来了爬取的都是重复的页面,反复这样好多次了,怎么引导蜘蛛抓取爬取其它页面?不爬取别的页面,也没有作用,蜘蛛为什么反复抓取一个页面?

追加问题
    3 人参与回答

把你想让蜘蛛抓取的页面链接过去

河南振豫律师事务所
河南振豫律 · 7年前端 seo、振豫律师事务所

1、蜘蛛抓取重复页面,这些页面里面有无导出外部的URL,如果有,也会有机会被抓取爬行;
2、例如新站,蜘蛛可能更多是抓取站点首页,内页不予抓取,这种多半是首页信任度高,内页还需要持续优化积攒信任度;
3、站内结构优化合理,彼此直接都有指向,那么都会有机会被抓取;
4、蜘蛛不抓取其他页面,可以做提交推送URL给百度站长,站点规划合理,其他页面也有机会被抓取。
引用自@推推蛙的回答

12365信息网
12365 · 12365信息网-生活帮助知识库

多发高质量内容,引导蜘蛛

SEO培训招生中
188