<p>网站日志里看到从这个月12号开始百度蜘蛛每天抓取很多网站新闻目录里不存在的链接，空链接，什么原因呢？大家帮忙分析下。</p><p><br></p>
是不是没有做好URL的统一化？没有屏蔽多余路径形式呢？
建议通过Robots.txt屏蔽掉多余路径，比如动态和伪静态，留一个参加排名的形式，比如静态路径。
对于死链那就把死链提交给百度吧，没有其他办法了。
做好404 状态码返回正常就行
1、使用Xenu或者尖叫青蛙软件，扫一下全站，看看是否能抓取到死链接或者不存在的页面；
2、一般百度蜘蛛都是只爬行，不会凭空抓取不存在的URL，看看自身URL规划问题，及网站是否有这类URL；
3、如果某些栏目不存在内容可Robots下；
4、下载网站日志，多用几个工具去分析看一下；
5、看一下这个死链是怎么产生的。
正常 有专门的蜘蛛抓取这些
404跳转一下
想过来学习一下
不太清楚哦
学习一下
那就不清楚了
不存在的删除
让更多人参与回答
