网络蜘蛛抓取到网页数据后，需要做的处理工作包括哪些？是不是我做的哪里不对，每次蜘蛛是过来抓取页面，可是都是重复的页面，怎么提升蜘蛛抓取页面的问题？
首先，如果你觉得这些被重复抓取的页面没有用，可以设置Nofollow； 其次，及时提交想要被抓取的目标页面（写进Sitemap，主动提交等等都行）； 最后，注意目标页面的链接入口，通过内链和外链等优化，来促进搜索引擎蜘蛛抓取。
可以在重复抓取的页面中多添加内链 引导蜘蛛爬取
那就引导抓取新的
让更多人参与回答
