搜外网>搜外问答>问答页面

百度蜘蛛每天抓取很多网站新闻目录里不存在的链接，什么原因呢？ 悬赏1元 已结束

微信

<p>网站日志里看到从这个月12号开始百度蜘蛛每天抓取很多网站新闻目录里不存在的链接，空链接，什么原因呢？大家帮忙分析下。</p><p><br></p>

追加问题
网站日志 百度蜘蛛 举报 本帖由用户发布，如有侵权联系删除  2019-12-25 发布1,946 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    11 人参与回答
xxy徐
xxy徐 · 出售刷网站统计广告软件，无限制后台推送广告到百度统计、cnzz等统计平台，购买加Q1045049490
鑫晟豪、 老星星 等 2 人赞同该回答

是不是没有做好URL的统一化？没有屏蔽多余路径形式呢？

建议通过Robots.txt屏蔽掉多余路径，比如动态和伪静态，留一个参加排名的形式，比如静态路径。

对于死链那就把死链提交给百度吧，没有其他办法了。

4 年前
IP属地：广东
赞同 2 评论 1
收藏 举报
评论取消
请
请采用实名 · 神龙HTTP 高匿代理ip 免费测试
鑫晟豪 等 1 人赞同该回答

做好404   状态码返回正常就行

4 年前
IP属地：江苏
赞同 1 评论 0
收藏 举报
评论取消
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo
鑫晟豪 等 1 人赞同该回答

1、使用Xenu或者尖叫青蛙软件，扫一下全站，看看是否能抓取到死链接或者不存在的页面；

2、一般百度蜘蛛都是只爬行，不会凭空抓取不存在的URL，看看自身URL规划问题，及网站是否有这类URL；

3、如果某些栏目不存在内容可Robots下；

4、下载网站日志，多用几个工具去分析看一下；

5、看一下这个死链是怎么产生的。

4 年前
IP属地：天津
赞同 1 评论 0
收藏 举报
评论取消
崔家大院
崔家大院 · 网站诊断、建站、快速排名
鑫晟豪 等 1 人赞同该回答

正常  有专门的蜘蛛抓取这些

4 年前
IP属地：北京
赞同 1 评论 4
收藏 举报
评论取消
duom
duom

404跳转一下

4 年前
IP属地：福建
赞同 0 评论 1
收藏 举报
评论取消
小小
小小

想过来学习一下

4 年前
IP属地：北京
赞同 0 评论 0
收藏 举报
评论取消
万物皆有灵
万物皆有灵 · 同步带轮

不太清楚哦

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
澳玛科技
澳玛科技

学习一下

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
橄榄绿叶
橄榄绿叶 · 行星减速机

那就不清楚了

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
疯猴子
疯猴子

正常  有专门的蜘蛛抓取这些

4 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
合发齿轮官方微信
合发齿轮官 · 精密齿轮

不存在的删除

4 年前
IP属地：广东
赞同 0 评论 1
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 网站被k能不能自己恢复嘛?
  • 最近几天百度抓取频次为0，你们有这种情况吗
  • 老板要网站权重1怎么办，有没有提升权重的好方法
  • 从9月末到现在排名还有没恢复的，是我不会做优化了吗?
  • 这个站在5118怎么一丢丢数据都没
  • 国内高防和香港高防有什么差异和区别？
  • 两个月了，收录也一百多了，咋就没排名？
  • 继网站1年多了，才收录3个之后，近期网站收录上去了不少
  • 网站首页不见了,文章每天还是会收录,该如何优化让网站首页快速回来?
  • 百度统计可以统计移动端历史数据吗？
    • SEO培训招生中
    190
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司