搜外网>搜外问答>问答页面

怎么让蜘蛛不要抓取重复的页面?

蜘蛛总是抓取网站的重复页面,怎样告诉蜘蛛不让抓取的页面,就不抓取呢?让蜘蛛抓取需要抓取的页面内容,我如何做呢?感谢回答。

追加问题
    1 人参与回答
SEO培训招生中
190