如何禁止蜘蛛不要抓取重复的页面，每次都在抓取重复的页面，感觉真的没有啥用，可不知道怎么禁止蜘蛛不要重复的抓取，引导蜘蛛正确抓取页面需要咋做？麻烦各位给点建议，谢谢！
最好不要这样做，做一个nofollw禁止一下就行
占楼，看看有没有链接
蜘蛛肯定来你网站按着一定都路线爬取啊，你如果是禁止某些页面不让抓取那就在Robots里面写出来
让更多人参与回答
