<p><br></p>
反查一下，看看是不是真的百度蜘蛛，也有可能是别人在冒充百度蜘蛛在扫你的站，如果发现不是真蜘蛛，拉黑就好，如果是真的蜘蛛，就写下Robots 规则，禁止抓取
<p>很荣幸的跟你说一句，你这是被攻击了，处理的最直接方式就是用防火墙，把txt，asp、PHP等文件屏蔽</p><p><br></p><p>你可以下载个金花站长工具，分析下404的具体ip是哪里的</p><p>另外要告诉你的是，Robots是屏蔽不了这些的，我的robots是屏蔽国外低除谷歌之外所有的搜索引擎，剩下的一律防火墙解决</p>
第一百度蜘蛛抓取的都是404，你网站上线之前要全部把死链清理掉。
第二 不是大型网站Robots直接删除了，百度蜘蛛是需要抓你的模板 css JS 等其他文件的，不要屏蔽。
删了就好了
做好Robots处理/404
是不是死链在百度提交一下就会好一些
无意义的路径直接禁止就好了
1、话说///三个斜杠本身就是错误的URL；
2、你网站中有这种URL吗？要是能找出URL哪里出现问题为好；
3、这种情况是何时出现的，可以继续观察，或许抓几日就不抓，这种无效404文件，蜘蛛一般不会一直抓，要是站点本身并无这种路径，一般路径都是/一个斜杠，这种三斜杠还是首次看。URL规范错误，还是怎样可以观察下在看；
4、一直爬这些URL可以屏蔽。
首先 你这链接都是死链，你网站肯定会有存在的，你直接把这些路径 都提交给百度站长当做死链处理，还有就是你的404文件 做好Robots处理/404
让更多人参与回答
