蜘蛛抓取页面重复太高怎么解决蜘蛛问题?
网站蜘蛛每次爬取页面,抓取页面都是重复的页面,一次次的抓取页面都是重复的页面,怎么解决蜘蛛抓取问题?引导蜘蛛抓取正常我们怎么解决是哪里不对,才导致蜘蛛抓取页面不正常,每次更新内容也没有重复,咋蜘蛛抓取页面都是重复的?
5 人参与回答
网站蜘蛛每次爬取页面,抓取页面都是重复的页面,一次次的抓取页面都是重复的页面,怎么解决蜘蛛抓取问题?引导蜘蛛抓取正常我们怎么解决是哪里不对,才导致蜘蛛抓取页面不正常,每次更新内容也没有重复,咋蜘蛛抓取页面都是重复的?