如何让蜘蛛抓取指定页面?
最近网站蜘蛛总是抓取重复的页面,有时候蜘蛛抓取不存在的连接内容,怎样让蜘蛛停止抓取已不存在的链接,抓取没有用的也没有效果,我如何让蜘蛛抓取指定的页面?感谢解答问题。
24 人参与回答
上午关键词互点 下午不点 等 1 人赞同该回答
设置死链规则删除死链,你可以把不让抓取的文件夹写进Robots
存在的就是死链,死链提交啊
在百度站长提交不必要的页面,让百度把没用的删除