3 人参与回答
我的微信:sec_vip 等 1 人赞同该回答
用内链串联起来想被抓取的页面。
我的微信:sec_vip 等 1 人赞同该回答
给你说说我是怎么操作的吧!
1、网站重要页面:首页、栏目页等相关页面,只显示近期的内容,过早的内容链接全部取消不显示!
2、网站地图只显示近期的内容,过早的链接全部取消!
3、稳定更新新内容,注意质量
我的微信:sec_vip 等 1 人赞同该回答
在重复爬取的页面上加点内链,平时爬取少的页面多发点内容,剩下的就看蜘蛛了