如何让蜘蛛抓取指定页面?

最近网站蜘蛛总是抓取重复的页面,有时候蜘蛛抓取不存在的连接内容,怎样让蜘蛛停止抓取已不存在的链接,抓取没有用的也没有效果,我如何让蜘蛛抓取指定的页面?感谢解答问题。

追加问题
    23 人参与回答
上午关键词互点 下午不点 等 1 人赞同该回答

设置死链规则删除死链,你可以把不让抓取的文件夹写进Robots

存在的就是死链,死链提交啊

福州中公教育
福州中公教 · 2020福建福州人事考试_福州公务员考试网_事业单位/教师招聘培训班_福州中公教育

直接去搜索引擎提交链接呀~

安生
安生 · 本人有着5年以上的站长经验

来帝佑科技,教你网站优化

www.zj520.com.cn
www.z · 专注于SEOwww.zj520.com.cn,配资平台www.alfamp3.com/gsxw/

Robots文件提交给百度

丫头
丫头 · 阿克苏专业软件开发,专业小程序开发、网站制作、SEO QQ:1917970850

主动提交最直接

陈昌辉
陈昌辉 · 河马英语

不存在的页面做跳转咯,站内301之类的,有蜘蛛来,总比没有好吧

百度站长平台提交页面连接就可以

luoqin
luoqi · seo

主动提交给百度

新梦想科技
新梦想科技 · 专业建设网站、SEO、小程序、公众号开发 QQ号:1917970850

主动提交

在百度站长提交不必要的页面,让百度把没用的删除

嘵沉
嘵沉 · 365微信编辑器

提交搜索引擎,或者在经常爬的页面加锚文本

图文素材排版 微信公众平台图文排版工具

平台提交    描文本多做这个链接

武林盟主
武林盟主 · HIS系统,医院信息管理系统 私聊+Q:1917970850

主动提交链接

阿尔帕西诺
阿尔帕西诺 · TENGA-把性变得更为大方、让所有人都能体验其美妙。

直接百度提交你的链接

加载更多