网站查询发现蜘蛛抓取页面不正常,每次抓取页面都来访问也有痕迹,就是多数都是重复的页面,反复爬取页面重复率太高了,有什么好的方法可以让蜘蛛爬取正常,为什么爬取重复的页面?
先观察一段时间,一时的不正常说明不了什么
保持正常的优化网站内容,现在抓取不正常也不能代表什么,先观察看看一段时间。
1、抓取诊断是否正常可抓取; 2、站点是新站还是老站,有无被降权,无问题可申诉; 3、做好基础优化,引蜘蛛操作,提交推送、外链友链、蜘蛛池、收录宝等引蜘蛛。
让更多人参与回答