蜘蛛总是重复抓取一个页面，而且抓取次数很多，有什么方法不让蜘蛛抓取重复页面呢？增加nofollow可以禁止，但是会不会影响收录啊！
看看有没有query参数之类的不同
不知道没有遇到过这种还重复抓取的情况，坐等大神
加Nofollow标签是做页面集权的，加不加不影响蜘蛛爬取
Nofollow标签不会影响网站收录的，加nofollow标签是做页面集权的，加不加不影响蜘蛛爬取
让更多人参与回答
