蜘蛛总是抓取我的网站重复的页面，抓取频率次数很多，其它页面到没有被抓取，我怎么把蜘蛛引到指定的页面抓取指定的页面，不要重复抓取页面？有什么好的方法推荐一下，感谢了！
Robots文件屏蔽下
让更多人参与回答
