网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？
<p>网站抓取了一些不存在的目录跟页面，本站倒是一个都不抓取是怎么回事？要如何做才能让百度来抓取本站页面，一个多页了啥都没抓取，谜一样。。。www.szgoai.com</p><p>以下抓取页面都不存在，另外网站例如新闻页面生成的文章在根目录是没有的，应该是动态的，这是否导致都不抓取了呢？</p><p></p>
35 人参与回答
我的微信:sec_vip 等 1 人赞同该回答
写个Robots禁止一些不应该抓取的内容。
我的微信:sec_vip 等 1 人赞同该回答
真实的蜘蛛是不会抓取不存在的网页的，不用管这些内容，看看就好
我的微信:sec_vip 等 1 人赞同该回答
感觉就是的，抓不存在的空页面快的很，抓真实页面了比蜗牛还慢
我的微信:sec_vip 等 1 人赞同该回答
不用管这个，老实做好内容就行，看这个完全没啥用
我的微信:sec_vip 等 1 人赞同该回答
貌似大部分都不收录 把没用的文件禁止抓取 限制一下
我的微信:sec_vip 等 1 人赞同该回答
做个robot文件 限制一下吧
我的微信:sec_vip 等 1 人赞同该回答
有些是假的百度蜘蛛，你要自己研究
我的微信:sec_vip 等 1 人赞同该回答
抓不存在的空页面快的很
我的微信:sec_vip 等 1 人赞同该回答
做个Nofollow或者建个robot文件夹屏蔽不想要被抓取的页面
我的微信:sec_vip 等 1 人赞同该回答
持续优化就可以了 不用看太多
我的微信:sec_vip 等 1 人赞同该回答
做一下屏蔽，禁止抓取某些用不到的文件，别太多。然后看一下状态码是否是404，死链及时提交和清除
我的微信:sec_vip 等 1 人赞同该回答
我的微信:sec_vip 等 1 人赞同该回答
得在等几天看看
我的微信:sec_vip 等 1 人赞同该回答
没办法的，这个正常现象
