404或者死链接需要做txt文档放在根目录吗,再在robots里写Disallow: /404.txt吗
1、死链就是允许蜘蛛去抓取爬行,这个死链不用写在Robots封禁里面; 2、如果你的已收录死链,返回码是404,可以做好404页面,整理死链,放到silian。txt里,上传根目录,做死链提交删除,蜘蛛识别会删除; 3、robots封禁意味着蜘蛛不会去抓取爬行,不抓取怎么能识别这个是死链给予删除,要想删除返回码是404死链,不用robots封禁。
可以整理成txt,去提交。
整理一下提交
最好整理成文档再提交死链接
需要整理成文档然后提交死链
不需要在Robots里写,整理死链,放到silian,txt里,上传根目录,做死链提交删除,蜘蛛识别会删除。
Disallow: /404.txt 这个应该是禁止抓取这个文件,不是文件里的内容
可以做 可以不做
多的话做个txt文件,在站长工具里提交死链,不需要在Robots里面写
多的话做个txt文件,在站长工具里提交死链
txt形式上传跟目录,在提交百度站长,很快消失
把404页面写到txt里面,然后提交到站长平台
直接在百度或者其他站长平台提交死链。不能在Robots这写,这是禁止抓取,都禁止抓取此文档了他们怎么知道这是死链
一般在站长平台提交一下即可
百度资源平台,提交死链
让更多人参与回答