搜外网>搜外问答>问答页面

网站蜘蛛爬取重复的页面太多怎么解决??

网站蜘蛛爬取重复的页面太多怎么解决??

追加问题
    5 人参与回答
胡汉三
胡汉三 · 上海沈泉泵阀公司
我的微信:sec_vip 等 1 人赞同该回答

可以屏蔽重复爬取的

天行健咨询
天行健咨询 · 精益生产管理与六西格玛管理咨询,培训机构
我的微信:sec_vip 等 1 人赞同该回答

蜘蛛不抓取其他页面,可以做提交推送URL给百度站长,站点规划合理,其他页面也有机会被抓取。

副业教程
副业教程 · 免费分享自媒体,抖音带货,闲鱼,seo,短视频,剪切视频等一系列课程
我的微信:sec_vip 等 1 人赞同该回答

内容多做些外链

我的微信:sec_vip 等 1 人赞同该回答

多做外链到其他的页面

河南振豫律师事务所
河南振豫律 · 7年前端 seo、振豫律师事务所
我的微信:sec_vip 等 1 人赞同该回答

1、蜘蛛抓取重复页面,这些页面里面有无导出外部的URL,如果有,也会有机会被抓取爬行;
2、例如新站,蜘蛛可能更多是抓取站点首页,内页不予抓取,这种多半是首页信任度高,内页还需要持续优化积攒信任度;
3、站内结构优化合理,彼此直接都有指向,那么都会有机会被抓取;
4、蜘蛛不抓取其他页面,可以做提交推送URL给百度站长,站点规划合理,其他页面也有机会被抓取。
转自@推推蛙

SEO培训招生中
188