搜外网>搜外问答>问答页面

蜘蛛爬取页面重复页面太多怎么处理?

蜘蛛每次都会来网站,来的频率次数还可以,问题是蜘蛛爬取的页面都是重复的页面,这个让我纠结,怎么让蜘蛛不要重复的抓取页面,可以抓取指定的页面吗?各位高手有什么方法?

追加问题
    7 人参与回答
天降攻城狮
天降攻城狮 · 百度云搜索

多做聚合页面。

此后故乡只有冬
此后故乡只 · 作文客

多做聚合页面。

高速激光熔覆
高速激光熔 · 激光熔覆技术

确实 多发外链是有帮助的 建议坚持每天发一些

A 0湖北楚胜汽车.谢非
A 0湖北 · 环卫洒水车、垃圾车、压缩式垃圾车、扫路车、清扫车等专用车销售

多发点外链啊

134源码网
134源码 · 游戏源码,整站源码,网站制作,网站seo优化

外链太少了 你发点外链试试

阳光心健心理设备厂家
阳光心健心 · 安徽阳光心健科技发展有限公司是一家专业心理咨询室设备产品生产厂家,主要从事音乐放松椅,心理沙盘,箱庭,宣泄人,vr音

除了你的新文章比较好,蜘蛛会优先抓取。但是常规的,都是大部分再爬一遍,毕竟搜索引擎是不知道哪些已经收录的文章,是否有改动或者是否还存在。所以它也是没办法的办法。

SEO培训招生中
161