网站蜘蛛每次抓取页面都是重复的，重复的页面抓取次数太多了，有哪些方法可以引导蜘蛛，让蜘蛛不要重复的抓取页面，网站反复的多次蜘蛛抓取内容重复，应该怎么处理？
提交网站Sitemap，或者发外链引导蜘蛛抓取其他页面，合理建设内链结构
让更多人参与回答
