搜外网>搜外问答>问答页面

什么样的网页容易吸引蜘蛛抓取?

网站蜘蛛总是抓取重复的页面,为了禁止不让蜘蛛抓取重复的页面我增加了nofollow标签,什么样的页面吸引蜘蛛抓取,让蜘蛛抓取需要的页面?可不可以把文章加图片吸引蜘蛛?

追加问题
    2 人参与回答
纳姆尔招生网
纳姆尔招生 · 成都航空学校

百度蜘蛛似乎更注重网站页面的层次结构。与Google相比,百度蜘蛛更加重视网站内部页面结构的层次,有点爬虫类的味道,越黑越深,它越是喜欢往里钻,不相信你做100个页面,做得再漂亮,只要链接没有层次,你最多就孤零零的被收录可怜的一点点东西。