搜外网>搜外问答>问答页面

网站有大量404 页面已经提交了百度死链看着百度反馈成功了，robots 文件是否还有屏蔽的必要

微信

网站有大量404 页面已经提交了百度死链看着百度反馈成功了，robots 文件是否还有屏蔽的必要，现在看蜘蛛每天还在爬 404 页面，到底要不要做robots 屏蔽呢，屏蔽的话对蜘蛛有没有影响。如果屏蔽的话，几千的404 也会导致robots 文件过大，对纸质爬虫是不是有很大影响呢

Robots 404

本帖由用户发布，如有侵权联系删除 2021-05-18 发布811 次浏览

交换友情链接，就用搜外友链，方便！

4 人参与回答

用户185412 · 建站小程序空间域名服务器百度爱采购

Robots 没有必要在禁止

用户195462 · 鸣门鲷烧本铺，经营日式小吃，产品有关东煮、章鱼小丸子、鲷鱼烧、玉子烧等

Robots 每个网站应该都有想要屏蔽的文件比如网站模板后台什么的，，死链提交百度后就会消失一般蜘蛛爬行几次后确定404 就不爬了吧

用户194772 · 一款可以搜索企业名录的CRM软件。

反馈成功之后蜘蛛要去抓取404判断是不是死链接然后进行删除，后续应该不会在继续抓了，Robots不用额外在禁止了吧

用户185395

要知道蜘蛛在你网站爬行了大量404是对搜索引擎很不友好的，即使是大量的Robots会影响蜘蛛抓取，也比让蜘蛛抓取404来的强

网站有大量404 页面 已经提交了百度死链 看着百度反馈成功了，robots 文件是否还有屏蔽的必要