看百度蜘蛛老是抓到404页面，百度站长上提交了死链，那robots中还要不要做禁止抓取代码？就是想提高网站的蜘蛛来不浪费资源。。
可以不用再添加Robots了
不用再添加Robots禁止抓取代码
提交了死链不用再添加Robots禁止抓取代码。后面逐步会正常的
不需要添加Robots
1、蜘蛛抓404，是从日志看到的，那么你的页面真的有哪些URL吗，如果没有这种非真蜘蛛； 2、死链提交是提交已收录的页面，返回码是404的页面，做死链提交删除； 3、Robots不屏蔽死链，屏蔽了蜘蛛无法抓取识别返回码404，也不会删除，这个是针对真的死链。
让更多人参与回答
