网站蜘蛛正常来爬取网页，每次爬取的多数是重复的蜘蛛，怎么引导蜘蛛不要爬取重复的页面，有什么方法可以引导蜘蛛，不要乱爬没有用的？我怎么让网站蜘蛛爬取正常？多谢各位大神指点。
正常现象
重复页面重定向一下就可以了
让更多人参与回答
