如何解决蜘蛛抓取问题，网站蜘蛛总是爬取页面重复率太高，反复抓取页面重复了，这样的也没有被收录起来，怎么解决蜘蛛的问题？为什么蜘蛛爬取页面是重复的，也没有被收录呢？
楼上说的很正确哟
做内链让蜘蛛能够在你的网站多爬，注意网站目录层级不要太深
让更多人参与回答
