蜘蛛每次都会来网站，来的频率次数还可以，问题是蜘蛛爬取的页面都是重复的页面，这个让我纠结，怎么让蜘蛛不要重复的抓取页面，可以抓取指定的页面吗？各位高手有什么方法？
多做聚合页面。
确实 多发外链是有帮助的 建议坚持每天发一些
多发点外链啊
外链太少了 你发点外链试试
除了你的新文章比较好，蜘蛛会优先抓取。但是常规的，都是大部分再爬一遍，毕竟搜索引擎是不知道哪些已经收录的文章，是否有改动或者是否还存在。所以它也是没办法的办法。
让更多人参与回答
