百度蜘蛛每天抓取很多网站新闻目录里不存在的链接，什么原因呢？(悬赏1元)

xxy徐 · 出售刷网站统计广告软件，无限制后台推送广告到百度统计、cnzz等统计平台，购买加Q1045049490

鑫晟豪、老星星等 2 人赞同该回答

是不是没有做好URL的统一化？没有屏蔽多余路径形式呢？

建议通过Robots.txt屏蔽掉多余路径，比如动态和伪静态，留一个参加排名的形式，比如静态路径。

对于死链那就把死链提交给百度吧，没有其他办法了。

请

请采用实名 · 神龙HTTP 高匿代理ip 免费测试

鑫晟豪等 1 人赞同该回答

做好404 状态码返回正常就行

推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

鑫晟豪等 1 人赞同该回答

1、使用Xenu或者尖叫青蛙软件，扫一下全站，看看是否能抓取到死链接或者不存在的页面；

2、一般百度蜘蛛都是只爬行，不会凭空抓取不存在的URL，看看自身URL规划问题，及网站是否有这类URL；

3、如果某些栏目不存在内容可Robots下；

4、下载网站日志，多用几个工具去分析看一下；

5、看一下这个死链是怎么产生的。

崔家大院 · 网站诊断、建站、快速排名

鑫晟豪等 1 人赞同该回答

正常有专门的蜘蛛抓取这些

duom

小小

想过来学习一下

万物皆有灵 · 同步带轮

不太清楚哦

澳玛科技

学习一下

橄榄绿叶 · 行星减速机

那就不清楚了

疯猴子

正常有专门的蜘蛛抓取这些

合发齿轮官 · 精密齿轮

不存在的删除

百度蜘蛛每天抓取很多网站新闻目录里不存在的链接，什么原因呢？悬赏1元已结束