搜外网>搜外问答>问答页面

网站有大量404 页面已经提交了百度死链看着百度反馈成功了，robots 文件是否还有屏蔽的必要

微信

网站有大量404 页面已经提交了百度死链看着百度反馈成功了，robots 文件是否还有屏蔽的必要，现在看蜘蛛每天还在爬 404 页面，到底要不要做robots 屏蔽呢，屏蔽的话对蜘蛛有没有影响。如果屏蔽的话，几千的404 也会导致robots 文件过大，对纸质爬虫是不是有很大影响呢

Robots 404 举报 本帖由用户发布，如有侵权联系删除 2021-05-18 发布647 次浏览

4 人参与回答

人生＝π · 建站小程序空间域名服务器百度爱采购

Robots 没有必要在禁止

日式小吃 · 鸣门鲷烧本铺，经营日式小吃，产品有关东煮、章鱼小丸子、鲷鱼烧、玉子烧等

Robots 每个网站应该都有想要屏蔽的文件比如网站模板后台什么的，，死链提交百度后就会消失一般蜘蛛爬行几次后确定404 就不爬了吧

客套企业名 · 一款可以搜索企业名录的CRM软件。

反馈成功之后蜘蛛要去抓取404判断是不是死链接然后进行删除，后续应该不会在继续抓了，Robots不用额外在禁止了吧

乐纷运营

要知道蜘蛛在你网站爬行了大量404是对搜索引擎很不友好的，即使是大量的Robots会影响蜘蛛抓取，也比让蜘蛛抓取404来的强

收录宝