网站蜘蛛总是抓取重复的页面,为了禁止不让蜘蛛抓取重复的页面我增加了nofollow标签,什么样的页面吸引蜘蛛抓取,让蜘蛛抓取需要的页面?可不可以把文章加图片吸引蜘蛛?
网站架构问题
百度蜘蛛似乎更注重网站页面的层次结构。与Google相比,百度蜘蛛更加重视网站内部页面结构的层次,有点爬虫类的味道,越黑越深,它越是喜欢往里钻,不相信你做100个页面,做得再漂亮,只要链接没有层次,你最多就孤零零的被收录可怜的一点点东西。
让更多人参与回答