通过日志查询发现,蜘蛛抓取次数多了,但是蜘蛛每次抓取都是重复的页面,怎么处理这个问题,引导蜘蛛抓取爬取页面正常?我应该怎么处理,有什么好的办法可以处理?
新站可能存在重新抓取老页面,被降权、长久未更新的可能也是抓取旧的页面,这种也是正常;
做好提交推送、外链友链,基础站内外优化提升域名信任,做好引蜘蛛操作促进新页面url识别发现。
1、新站可能存在重新抓取老页面,被降权、长久未更新的可能也是抓取旧的页面,这种也是正常; 2、想要抓取新的页面url,蜘蛛需要发现识别新的url,做好提交推送、外链友链,基础站内外优化提升域名信任,做好引蜘蛛操作促进新页面url识别发现。
在重复的页面,增加些其他链接的入口
让更多人参与回答