蜘蛛总是抓取重复的页面，其它页面没有抓取过，为什么有的一个页面多次被抓取，有的就没有被抓取，收录搞的也不正常，面对页面重复抓取怎么解决？
如果是重要页面，你没法控制。如果这个页面不重要，直接Robots屏蔽掉。
我也有这种情况，一般我都是建议把抓取频次提上来，我就不信抓取频次多了还一直抓一个页面，大家伙帮我点一点网站，谢谢
我的也是，一直抓同个页面
让更多人参与回答
