网站的蜘蛛最近爬取页面不正常，多数是重复率太高了，怎么引导蜘蛛正式的爬取情况，网站如何让蜘蛛爬取页面正常，为什么蜘蛛奇怪了有时候爬取也没有记录，这是什么原因？多谢解答疑问的高手们！
内链建设，引导蜘蛛抓取其他页面
我的网站也是收录了很多不同的URL造成了内容的重复。
让更多人参与回答
