搜外网>搜外问答>问答页面

蜘蛛爬取页面重复页面太多怎么处理?

微信

蜘蛛每次都会来网站，来的频率次数还可以，问题是蜘蛛爬取的页面都是重复的页面，这个让我纠结，怎么让蜘蛛不要重复的抓取页面，可以抓取指定的页面吗？各位高手有什么方法？

追加问题
举报 本帖由用户发布，如有侵权联系删除  2021-01-27 发布660 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    7 人参与回答
天降攻城狮
天降攻城狮 · 百度云搜索

多做聚合页面。

3 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
此后故乡只有冬
此后故乡只 · 爱云查

多做聚合页面。

3 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
高速激光熔覆
高速激光熔 · 激光熔覆技术

确实 多发外链是有帮助的 建议坚持每天发一些

3 年前
IP属地：天津
赞同 0 评论 0
收藏 举报
评论取消
A 0湖北楚胜汽车.谢非
A 0湖北 · 环卫洒水车、垃圾车、压缩式垃圾车、扫路车、清扫车等专用车销售

多发点外链啊

3 年前
IP属地：湖北
赞同 0 评论 0
收藏 举报
评论取消
134源码网
134源码 · 游戏源码,整站源码,网站制作,网站seo优化

外链太少了 你发点外链试试

3 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
阳光心健心理设备厂家
阳光心健心 · 安徽阳光心健科技发展有限公司是一家专业心理咨询室设备产品生产厂家，主要从事音乐放松椅,心理沙盘，箱庭,宣泄人,vr音

除了你的新文章比较好，蜘蛛会优先抓取。但是常规的，都是大部分再爬一遍，毕竟搜索引擎是不知道哪些已经收录的文章，是否有改动或者是否还存在。所以它也是没办法的办法。

3 年前
IP属地：安徽
赞同 0 评论 0
收藏 举报
评论取消
搜外微信
提供服务
常用链接
产品实验室
©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司