网站蜘蛛爬取重复的页面太多怎么解决?一直不抓新内容？
用内链串联起来想被抓取的页面。
匿名用户
给你说说我是怎么操作的吧！ 1、网站重要页面：首页、栏目页等相关页面，只显示近期的内容，过早的内容链接全部取消不显示！ 2、网站地图只显示近期的内容，过早的链接全部取消！ 3、稳定更新新内容，注意质量
在重复爬取的页面上加点内链，平时爬取少的页面多发点内容，剩下的就看蜘蛛了
让更多人参与回答
