怎么让蜘蛛不要抓取重复的页面？

蜘蛛总是抓取网站的重复页面，怎样告诉蜘蛛不让抓取的页面，就不抓取呢？让蜘蛛抓取需要抓取的页面内容，我如何做呢？感谢回答。