搜外网>搜外问答>问答页面

蜘蛛爬取多数重复页面怎么解决?

蜘蛛爬取次数正常,唯一的是爬取的页面多数都是重复的页面,反复多次爬取问题,造成收录了也慢,我怎么解决蜘蛛的问题,让网站蜘蛛爬取正常起来?

追加问题
    7 人参与回答
胡汉三
胡汉三 · 上海沈泉泵阀公司

那就想办法在那个页面多放些链接,引导蜘蛛去抓其他页面

污水处理设备
污水处理设 · 专业一体化污水处理设备、溶气气浮机源头厂家!

检查一下url的唯一性..

聘达人
聘达人 · 聘达人是一家高速成长的灵活用工一站式就业服务平台公司总部位于北京市亦庄开发区。我们致力于为中国蓝领与基层白领群体打造

多爬取没什么问题

水羊
水羊 · 普奇研究院是专业从事漏水检测仪,测漏水查漏水精准定位,漏水探测仪

多爬取没什么问题

梦梦
梦梦 · 泰海科技12年服务经验,专注于服务器租用

主动提交其他页面的链接给百度抓取

townroad
townr · 陶瓷纤维纸,陶瓷纤维毯,陶瓷纤维板,陶瓷纤维模块,淄博赫鲁节能材料有限公司

多爬取应该是没有什么问题的

内链建设啊,如果爬的是一些不想展示的页面,也可以屏蔽