百度蜘蛛每天都是爬已经被收录过的页面，请问是什么原因啊。 悬赏3元 已结束
我的站点www.xinshouyou.com，目前正在游戏中心栏目做手游下载，我看了几天的百度蜘蛛爬行日志，每天蜘蛛都会爬已经被收录过的页面，其它新添加的页面都不爬取，这些收录的页面都是通过熊掌号提交的，有大佬帮忙解释下吗
5 人参与回答
最佳回答
<p>1、网站URL规划问题</p><p>2、域名/shouyou/lb/all ，去掉all=== 域名/shouyou/lb/就是404页面，如果你是蜘蛛，爬到这里返回404是否还会爬行</p><p>3、合理规划页面URL，缩短或者都让每个URL都能访问</p><p><br></p><p><br></p><p><br></p>
因为那些页面有价值，新页面也许没有价值就不抓了
更新后会有收录的~一般这种一段时间不收录现象，现在还是很多的。
估计已经习惯了 蜘蛛 等你提交在抓取收录
