<p>分析网站日志，发现有不少404状态码，发现是百度蜘蛛抓取了不少网站不存在的栏目和页面，很奇怪网站都不存在，怎么抓取的呢。</p><p></p><p>就是不少类似这种的，网站是老网站了，请大神分析下这是什么情况<br></p>
一般是旧网站的链接数据在百度的抓取库里，尚未清除。你可以Robots屏蔽。
完全看不懂
如果有不想被抓取的页面，用Robots屏蔽提
看看数据库，清理一下
是不是隐藏的
残余吧
1、一直在抓dashujufengkong，网站有这个文件夹吗，如果没有直接屏蔽即可；
2、这种情况一直有，还是近期才出现；
3、这个404一直爬，但是没收录，一般不影响，没这个文件夹，可以直接Robots掉，不影响站点优化。
让更多人参与回答
