<p>为什么蜘蛛只抓取标签和分页，文章页提交后只抓取一次，而标签和分页是重复抓取</p><p>@推推蛙</p><p></p>
来看看的学习学习
1、蜘蛛抓取页面，这个无法固定指定蜘蛛去抓取其他页面，只能持续优化，做好域名信任度和内容质量度提升，引蜘蛛来访抓取内页URL；
2、抓取诊断无异常，做好引蜘蛛操作，蜘蛛重复抓取一个页面或者栏目，这个也常见，想要抓内页，做好引蜘蛛操作。
让更多人参与回答
