网站优化过程中，查询看到蜘蛛总是爬取页面重复率太高，怎么吸引蜘蛛爬取页面正常呢？为什么一次次爬取页面重复也没有作用了，有哪些可以解决的方法吗？蜘蛛如何引导比较好？
重复的话，就多在这个页面新增其他入口
1.可以通过Robots.txt文件来解决这个问题。 2.可以设置meta标签来解决这个问题。 3.可以通过Sitemap来解决这个问题。通过以上三点来进行解决,就可以有效的减少蜘蛛抓取重复的页面,提高网站的排名。
蜘蛛是会持续抓取重复页面的 那就在这个页面多加内链吸引蜘蛛爬取别的页面
让更多人参与回答
