5 人参与回答
我的微信:sec_vip 等 1 人赞同该回答
可以屏蔽重复爬取的
我的微信:sec_vip 等 1 人赞同该回答
蜘蛛不抓取其他页面，可以做提交推送URL给百度站长，站点规划合理，其他页面也有机会被抓取。
我的微信:sec_vip 等 1 人赞同该回答
内容多做些外链
我的微信:sec_vip 等 1 人赞同该回答
多做外链到其他的页面
我的微信:sec_vip 等 1 人赞同该回答
1、蜘蛛抓取重复页面，这些页面里面有无导出外部的URL，如果有，也会有机会被抓取爬行；
2、例如新站，蜘蛛可能更多是抓取站点首页，内页不予抓取，这种多半是首页信任度高，内页还需要持续优化积攒信任度；
3、站内结构优化合理，彼此直接都有指向，那么都会有机会被抓取；
4、蜘蛛不抓取其他页面，可以做提交推送URL给百度站长，站点规划合理，其他页面也有机会被抓取。
转自@推推蛙
