蜘蛛爬取页面重复率太高怎么解决？
蜘蛛每天来网站爬取，爬取页面也是正常的，为什么爬取页面都是重复的，多数都是重复的页面，怎么更好的吸引蜘蛛，不让蜘蛛爬取页面重复？蜘蛛爬取重复的太多是什么情况？
7 人参与回答
重复没问题，多整点内链
爬取重复是正常现象
重复度高，说明该页面内链做的多。
想要分散开，把内链指向不同页面即可。
页面多搞点入口，引导蜘蛛去别的页面
反正是抓了吐，吐了再抓
不奇怪吧，每个页面都会抓取的
爬取重复是正常现象吧
