网站蜘蛛爬取页面重复怎么解决蜘蛛的问题?
网站蜘蛛是按时每天都来网站爬取页面,爬取的次数也比较多,好多页面都是重复的太多,反复重复的页面爬取也没有什么效果,怎么引导蜘蛛爬取正常?为什么蜘蛛总是爬取重复的页面,有什么办法把蜘蛛先引导好?谢谢前辈的解答!
5 人参与回答
网站蜘蛛是按时每天都来网站爬取页面,爬取的次数也比较多,好多页面都是重复的太多,反复重复的页面爬取也没有什么效果,怎么引导蜘蛛爬取正常?为什么蜘蛛总是爬取重复的页面,有什么办法把蜘蛛先引导好?谢谢前辈的解答!