蜘蛛每天来网站爬取页面，但是每次爬取页面都是重复的页面，为什么网站蜘蛛会多数爬取重复的页面，如何解决蜘蛛的问题不让蜘蛛爬取页面重复了？需要怎么做呢，怎么引导蜘蛛，麻烦各位大神指点感谢！
老板说的真对·
同意楼上的观点哦
如果你觉得这些被重复抓取的页面没有用，可以设置Nofollow； 其次，及时提交想要被抓取的目标页面（写进Sitemap，主动提交等等都行）； 最后，注意目标页面的链接入口，通过内链和外链等优化，来促进搜索引擎蜘蛛抓取。
让更多人参与回答
