网站大量蜘蛛都是抓取了404页面，其它页面没有被抓取，还有有时候我后台可以打开看到一些链接本来没有设置404但是显示是404链接，从前台访问不了这些链接，这是什么情况？怎么引导蜘蛛不要抓取404页面了？谢谢哥哥姐姐解答疑问。
做下404页面，然后将这些404页面整理出来，提交到百度资源平台
抓取那就写个蜘蛛协议不让蜘蛛抓这个404的url不就好了吗
先找一下这些链接出现的原因吧，是网站程序生成的还是咋回事，找到原因后在网站后端删除，提交404给百度站长或者禁止蜘蛛抓取该目录下页面
Robots文件中加入
Disallow: /
禁止蜘蛛抓取根目录下的页面
让更多人参与回答
