搜外网>搜外问答>问答页面

蜘蛛爬取多数重复页面怎么解决？

微信

蜘蛛爬取次数正常，唯一的是爬取的页面多数都是重复的页面，反复多次爬取问题，造成收录了也慢，我怎么解决蜘蛛的问题，让网站蜘蛛爬取正常起来？

追加问题
本帖由用户发布，如有侵权联系删除  2022-04-12 发布662 次浏览
举报
其他问题
 
    7 人参与回答
用户179092 · 上海沈泉泵阀公司

那就想办法在那个页面多放些链接，引导蜘蛛去抓其他页面

3 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
用户202556 · 专业一体化污水处理设备、溶气气浮机源头厂家！

检查一下url的唯一性..

3 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
用户185066 · 聘达人是一家高速成长的灵活用工一站式就业服务平台公司总部位于北京市亦庄开发区。我们致力于为中国蓝领与基层白领群体打造

多爬取没什么问题

3 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
用户175786 · 普奇研究院是专业从事漏水检测仪，测漏水查漏水精准定位，漏水探测仪

多爬取没什么问题

3 年前
IP属地：湖南
赞同 0 评论 0
收藏 举报
评论取消
用户118646 · 泰海科技12年服务经验，专注于服务器租用

主动提交其他页面的链接给百度抓取

3 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
用户214534 · 陶瓷纤维纸,陶瓷纤维毯,陶瓷纤维板,陶瓷纤维模块,淄博赫鲁节能材料有限公司

多爬取应该是没有什么问题的

3 年前
IP属地：山东
赞同 0 评论 0
收藏 举报
评论取消
用户208396

内链建设啊，如果爬的是一些不想展示的页面，也可以屏蔽

3 年前
IP属地：重庆
赞同 0 评论 0
收藏 举报
评论取消

收录宝

chatg o-yan en-zh jiao- -wen- -kao- de-we ng-zh g-ZiM es/ch ies/c ories ies/c ries/ midjo /tags atgpt ushui an-du claud

蜘蛛池

搜外微信
提供服务
常用链接
产品实验室
©2008-2025 SEOWHY 深圳市夫唯伙伴信息咨询有限公司