关于列表页的收录问题 悬赏1元 已结束
列表页的分页,蜘蛛会抓取吗?
是不是会自动识别发现是分页后只收录第一页其余分页不收录?
蜘蛛是顺着分页页码爬行然后收录更多文章的吧,所以分页的页码还不能是js?
22 人参与回答
最佳回答
加载更多
大橙子@2018 等 1 人赞同该回答
1、蜘蛛会抓取爬行分页,如wp建站的分页,xxx第一页,xxxx第二页,这种页面也能被收录;
2、一般不建议让蜘蛛抓取爬行收录这样的页面,标题一致,分页不同,重复性高,如果不影响那就没问题,影响了就需要操作处理;
3、一般站点都不会出现抓取收录分页这种情况;
4、如果只抓取第一页,是否后面的页面,蜘蛛就不抓取不爬行了,这种网站层级规划的好是会爬行的,蜘蛛会主动抓取有URL的地方,站长也可以主动推送URL给百度站长,主动推送、自动推送、网站地图、手动提交等;
5、提交收录的方式有很多,能识别抓取,质量度高,就会予以收录放出。
ps:JS不好识别抓取,wp能收录分页的,是因为URL、标题都具有差异化,能识别抓取,如果可以不被抓取放出会好些,毕竟收录的标题样子就是xxx第一页;xx第三页等。
自己弄个网站地图
列表页一般百度很难抓取的,除非你调用更多的相关内容
一般不会收录
抓了第一页就可以了,后面的页数都是相同的标题,抓了也没什么样的