搜外网>搜外问答>问答页面

百度蜘蛛一直抓取我的垃圾链接,怎么办? 悬赏1元 已结束

<p>前期网站做了调整,url缩短到了3个目录层级,之前的url全部就成了死链,但是也有很多没收录的,前段时间我把全站的死链都提交了,也禁止了抓取,站内的死链也和奇葩的id链接也都删除了,可以好几天过去了,百度蜘蛛依然正常的抓取以前的页面,反而我现在发布的新文章一直不收录,也难得去抓取,现在的蜘蛛日记搞得我看到就烦,有什么更好的办法让禁止蜘蛛抓取吗?</p><p><br></p>

追加问题
    6 人参与回答
风继续吹 等 1 人赞同该回答

你不想让他抓取的,在Robots,txt里面禁止抓取。

崔家大院
崔家大院 · 网站诊断、建站、快速排名
无量 等 1 人赞同该回答

不用管。做好404就可以


百度垃圾

大型平台死链处理经验:

1、404必须做;

2、让死链入口消失;

3、整个栏目删除的Robots指定屏蔽蜘蛛;

4、通过指令找到收录的死链,生成文本站长平台提交死链(这个对于大型平台作用不大,小网站建议使用)。

5、删除前先通过抓取工具抓取要删除或修改的链接,删除后直接提交站长平台。

郭胜勇-GuoShengYong
郭胜勇-G · 擅长网站seo快速排名

做个Robots文件吧不想让蜘蛛爬行的路径做一下规则,robots可以在站长平台编辑,做好上传到网站根目录就行了,多到站长论坛发发外链。

要管的,蜘蛛爬取一个网站的页面是有限的,抓取的垃圾网页多了,就浪费了自身优质网页的名额了,
做个Robots文件吧