搜外网>搜外问答>问答页面

蜘蛛来抓取重复页面什么情况?

网站蜘蛛来网站抓取重复的页面,收录的也是重复的,指定的页面根本不爬取,为什么总是抓取一个页面内容?我可以把一些文章加nofollow标签,不让蜘蛛爬取吧?

追加问题
    1 人参与回答