蜘蛛爬取页面多数都是重复的怎么解决？

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

Answer 1

丰瑞旋转接 · 滕州丰瑞旋转接头为您提供动态密封解决方案。

引蜘蛛抓取新URL

Answer 2

宏星

引蜘蛛去爬新的页面

Answer 3

泉水溪溪 · 鑫盛主营包装机设备，粉剂包装机，颗粒包装机，可用于面粉、粮食、化工、肥料行业

可以引蜘蛛去抓取爬行新的页面URL

Answer 4

小鱼 · 专业的ERP定制开发、小程序开发、软件外包、软件开发服务商, 定制化开发服务, 擅长小程序开发,微商城开发,PHP项

可以引蜘蛛去抓取爬行新的页面URL

Answer 5

路在脚下

应该是页面布局的问题

Answer 6

三九问答 · 专业的有问必答平台

可以引蜘蛛去抓取爬行新的页面URL

Answer 7

污水处理设 · 专业一体化污水处理设备、溶气气浮机源头厂家！

应该是内链的问题吧

Answer 8

￡小黎明 · SEO小白 →（大哥大嫂过年好——-▄█▀█●—-—帮小弟点一下回形针，感激不尽——-—▄█▀█●———☛☛☛☛☛

你可以在重复抓取页面多内链一些内容比如引导抓取内页

Answer 9

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

1、如果想抓取爬行新的URL，可以引蜘蛛去抓取爬行新的页面URL；
2、网站可正常抓取爬行，无降权的情况下，蜘蛛池、收录宝、外链、提交推送有助于引蜘蛛；

收录宝