最近蜘蛛正常来网站爬取，就是抓取的页面都是重复的，所以收录也不正常，如何禁止蜘蛛不要重复爬取页面，让蜘蛛爬取抓取指定的页面内容，有什么方法吗？
Nofollow
加Nofollow
是不是你网站内的锚链接都指向了相同的几个页面，所以总是爬这几个页面，要不改改锚链接，没办法减少爬，可以禁止爬，用Robots.txt文件禁止蜘蛛爬你不想爬的页面，使用方法自己百度！
我有的页面直接加Nofollow，限制抓取
让更多人参与回答
