搜外网>搜外问答>问答页面

百度蜘蛛一直抓取被删除的链接怎么办 悬赏3元 已结束

一个月之前删掉了一些内容,通过网站日志发现,百度蜘蛛还在抓取这些被删除的链接,都删掉一个月了还能抓取,不知道蜘蛛是怎么发现的,现在有什么好的办法不让蜘蛛抓取这些链接

追加问题
    16 人参与回答

404,提交死链

抓取一段时间就好了,我以前也是这样的

设置好

404

不用管它

weixin_dfvip152
weixi · 互联网行业8年:SEO/SEM/营销【SEO优化/高质量外链/接单中QQ:97528680微信:hnd185】

看着有点像绕口令。。。 

不过,以栏目页为例,URL末尾带/  是对搜索引擎友好的表现。其他的不必多虑了。

设置好404不用管它

整理提交

删除的链接整理提交死链

灵猫优化
灵猫优化 · 长期高价收购古董古玩古钱币 →→→→→→→→→→→→→→→→→→→→→→→点→→→→→→→这→→→→→→→里→→→→

提交死链

橙子
橙子 · 苗木种植知识,seo优化技术,入行时间1年

提交死链

足够资源
足够资源 · 回答一键自动生成 →→→点→→→→→→→这→→→→→→→里→→→→

可以站长平台提交死链,另外做好服务端的404判断,所有访问不了的链接都应该是到404页面

多特蒙德吧
多特蒙德吧 · 多特蒙德吧,多特蒙德足球俱乐部,不一样的多特大黄蜂!

提交死链

多段时间就不抓取了,因为这些链接保存在百度数据索引库中

百度蜘蛛就是流氓,总是跟你反着来,等哪天抓到他揍他一顿就好了

提交死链,做好404

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo

1、做404页面;

2、已经收录的死链收集URL做死链提交给百度站长;

3、Robots,disallow这些死链;

加载更多
SEO培训招生中
189