网站蜘蛛最近来网站也是频率有点多，问题是爬取的都是重复的页面，反复爬取重复的页面，我应该怎么处理，不让蜘蛛爬取重复的页面，蜘蛛爬取重复的页面我没有更好的办法？希望各位多指导感谢了。
那说明那个页面好啊，除了首页
多发点外链
说明你那个页面好啊
提交新的内容啊，爬重复的页面没有关系，反而有好处，这样你只要更新内容就能马上被抓取。
让更多人参与回答
