网站有大量404 页面已经提交了百度死链看着百度反馈成功了，robots 文件是否还有屏蔽的必要

Question

回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法

本贴交流超时，回复已关闭

Answer 1

人生＝π · 建站小程序空间域名服务器百度爱采购

Robots 没有必要在禁止

Answer 2

日式小吃 · 鸣门鲷烧本铺，经营日式小吃，产品有关东煮、章鱼小丸子、鲷鱼烧、玉子烧等

Robots 每个网站应该都有想要屏蔽的文件比如网站模板后台什么的，，死链提交百度后就会消失一般蜘蛛爬行几次后确定404 就不爬了吧

Answer 3

客套企业名 · 一款可以搜索企业名录的CRM软件。

反馈成功之后蜘蛛要去抓取404判断是不是死链接然后进行删除，后续应该不会在继续抓了，Robots不用额外在禁止了吧

Answer 4

乐纷运营

要知道蜘蛛在你网站爬行了大量404是对搜索引擎很不友好的，即使是大量的Robots会影响蜘蛛抓取，也比让蜘蛛抓取404来的强

收录宝