如何让蜘蛛抓取指定页面?
最近网站蜘蛛总是抓取重复的页面,有时候蜘蛛抓取不存在的连接内容,怎样让蜘蛛停止抓取已不存在的链接,抓取没有用的也没有效果,我如何让蜘蛛抓取指定的页面?感谢解答问题。
24 人参与回答
存在的就是死链,死链提交啊
主动提交最直接
主动提交给百度
主动提交
在百度站长提交不必要的页面,让百度把没用的删除
平台提交 描文本多做这个链接
主动提交链接
直接百度提交你的链接
链接提交咯
外链发这个页面,平台提交URL
提交这个页面,外链发这个页面
主动提交想访问的网页啊
发这个页面的外链
提交链接呗,等待它去抓取
平台提交URL,