蜘蛛爬取次数正常,唯一的是爬取的页面多数都是重复的页面,反复多次爬取问题,造成收录了也慢,我怎么解决蜘蛛的问题,让网站蜘蛛爬取正常起来?
那就想办法在那个页面多放些链接,引导蜘蛛去抓其他页面
检查一下url的唯一性..
多爬取没什么问题
主动提交其他页面的链接给百度抓取
多爬取应该是没有什么问题的
内链建设啊,如果爬的是一些不想展示的页面,也可以屏蔽
让更多人参与回答