网站蜘蛛每天来网站爬取，爬取页面也是正常的，问题是蜘蛛每次抓取页面都是重复的，没有一次是不重复的，这样反复的无常，怎么处理蜘蛛的问题？各位有什么建议对于蜘蛛问题？
这个 就是没法办 除非屏蔽
蜘蛛重复抓取，可以去通过外链引蜘蛛去抓取其他页面URL
这个还真没办法，
让更多人参与回答
