有一段时间了，网站蜘蛛总是抓取重复的页面，反复就是重复的抓取页面，其它页面不抓取，怎么把蜘蛛引导不要重复抓取页面？
不懂这个
不需要引导，正常优化网站即可
没事的啊
不太了解啊，请大神来回答
让更多人参与回答
