蜘蛛每天按时来网站爬取，抓取频率还可以就是最近爬取的页面多数是重复的，重复的页面太多怎么解决？蜘蛛怎么才会不抓取重复的页面？我查看了日志，不会有误就是重复的页面很多，怎么办求方法谢谢支招！
你看看是不是有死循环的那种链接
这个应该正常吧，你多给重复的页面加点其他内链引导一下
是不是伪静态没做好，导致静态动态都收录出现大量重复页面
是不是网站有死循环链接，可以检查一下
让更多人参与回答
