最近几天了百度的蜘蛛也来网站，就是每次抓取重复一个页面，来来回回的抓取一个页面，有什么办法解决这个问题？让蜘蛛不要重复抓取一个页面？多谢各位指导了！！！
那个页面添加锚文本到首页
百度抓取的，并且是随机抓取的
查查一下结构问题和Robots，Nofollow
说明你那个页面吸引蜘蛛？
让更多人参与回答
