17 人参与回答
推推蛙
用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo
用户156223 等 1 人赞同该回答

1、死链就是允许蜘蛛去抓取爬行,这个死链不用写在Robots封禁里面;
2、如果你的已收录死链,返回码是404,可以做好404页面,整理死链,放到silian。txt里,上传根目录,做死链提交删除,蜘蛛识别会删除;
3、robots封禁意味着蜘蛛不会去抓取爬行,不抓取怎么能识别这个是死链给予删除,要想删除返回码是404死链,不用robots封禁。

可以整理成txt,去提交。

整理一下提交

小鱼
用户137963 · 专业的ERP定制开发、小程序开发、软件外包、软件开发服务商, 定制化开发服务, 擅长小程序开发,微商城开发,PHP项

最好整理成文档再提交死链接

客套企业名录
用户194772 · 一款可以搜索企业名录的CRM软件。

需要整理成文档然后提交死链

唔知叫什么名好
用户144155 · 法律快车网站权重6,友情链接QQ1293815178

不需要在Robots里写,整理死链,放到silian,txt里,上传根目录,做死链提交删除,蜘蛛识别会删除。

Disallow: /404.txt 这个应该是禁止抓取这个文件,不是文件里的内容

匹夫不可夺志
用户128992 · 让求职容易,让招聘更简单!就上泰安人才招聘网!

可以做 可以不做

迦洛
用户78784 · 驱蚊器-除虫菊素-别墅庭院驱蚊设备-必扑花园驱蚊系统

多的话做个txt文件,在站长工具里提交死链,不需要在Robots里面写

多的话做个txt文件,在站长工具里提交死链

习惯沉默
用户148171 · 浙达精益,专注致力于磁致伸缩位移传感器

txt形式上传跟目录,在提交百度站长,很快消失

十六夜
用户201383 · 气象站-气象监测传感器-农业观测站设备-全自动气象站

404页面写到txt里面,然后提交到站长平台

£小黎明
用户197048 · SEO小白 →(大哥大嫂过年好——-▄█▀█●—-—帮小弟点一下回形针,感激不尽——-—▄█▀█●———☛☛☛☛☛

直接在百度或者其他站长平台提交死链。不能在Robots这写,这是禁止抓取,都禁止抓取此文档了他们怎么知道这是死链

刘畅
用户28477 · plc视频教程

一般在站长平台提交一下即可

sibuzyncom
用户69934 · 思埠集团81236939

百度资源平台,提交死链

这样效率最高

qwoeyhoii333
用户195267 · 奈斯导航为广大网民精心筛选、整理国内外各类优秀的网站大全,各位站长可以免费提交收录。==》

直接在百度或者其他站长平台提交死链。