蜘蛛是经常来网站，每次来了爬取重复的页面，每次别的页面不爬取，这个是啥意思，怎么引导蜘蛛爬取页面，我查看日志有一段时间没有来，然后来了就爬取重复的页面太多应该怎么解决？
蜘蛛重复抓取页面是正常的，蜘蛛抓取页面的依据是看页面内容是否发生了变化，如果每次抓取页面都有变化，那么抓取就会更加频繁。如果多次抓取后发现页面都没有变化，就会减少抓取。 如果你想避免蜘蛛重复抓取一个页面，可以隐藏链接入口，再在Robots文件上限制抓取。
给你内链 连过去
我也遇到这个问题，可能别的页面没有用户搜索吧
让更多人参与回答
