网站每次蜘蛛来网站的次数算正常，每次都会来网站抓取页面，问题是蜘蛛来抓取页面都是重复的太多，怎么让蜘蛛不要继续重复的抓取页面，有什么办法吗？蜘蛛为什么会抓取重复的页面多次？
你先看下日志，然后修改一下吧啊
robot文件设置下
服务器里面应该可以看
让更多人参与回答
