网站蜘蛛爬取重复的页面太多怎么解决?一直不抓新内容？

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

Answer 1

丰瑞旋转接 · 滕州丰瑞旋转接头为您提供动态密封解决方案。

我的微信:sec_vip 等 1 人赞同该回答

用内链串联起来想被抓取的页面。

Answer 2

我的微信:sec_vip 等 1 人赞同该回答

给你说说我是怎么操作的吧！
1、网站重要页面：首页、栏目页等相关页面，只显示近期的内容，过早的内容链接全部取消不显示！
2、网站地图只显示近期的内容，过早的链接全部取消！
3、稳定更新新内容，注意质量

Answer 3

Forzh · 成都结婚网————致力于解决成都乃至全国青年男女们结婚问题的网站。

我的微信:sec_vip 等 1 人赞同该回答

在重复爬取的页面上加点内链，平时爬取少的页面多发点内容，剩下的就看蜘蛛了

收录宝