网站蜘蛛总是抓取重复的页面，为了禁止不让蜘蛛抓取重复的页面我增加了nofollow标签，什么样的页面吸引蜘蛛抓取，让蜘蛛抓取需要的页面？可不可以把文章加图片吸引蜘蛛？
网站架构问题
百度蜘蛛似乎更注重网站页面的层次结构。与Google相比，百度蜘蛛更加重视网站内部页面结构的层次，有点爬虫类的味道，越黑越深，它越是喜欢往里钻，不相信你做100个页面，做得再漂亮，只要链接没有层次，你最多就孤零零的被收录可怜的一点点东西。
让更多人参与回答
