搜外网>搜外问答>问答页面

为什么蜘蛛会抓取不存在的url呢，会有什么影响吗？悬赏1元已结束

微信

为什么蜘蛛会抓取不存在的url呢，会有什么影响吗？怎样才能让蜘蛛不抓取这些url呢

本帖由用户发布，如有侵权联系删除 2023-03-28 发布985 次浏览

交换友情链接，就用搜外友链，方便！

12 人参与回答

用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo

用户156223 等 1 人赞同该回答

1、这些链接是不存在，返回码是404，这种多半不是真的蜘蛛抓取；

2、有的模拟蜘蛛可能会抓取不存在URL；

3、真的蜘蛛只抓取有通道的URL，如果这些URL压根不存在，站点也没被黑，也没有其他建站历史，多半是虚假蜘蛛；

4、即使是真的蜘蛛，抓取返回码404，也不会被建立索引放出死链。

用户231529 · 11年广告设计制作安装服务，一站式广告服务商，15014104403

1、垃圾平台外链，抓取的时候页面存在，抓取完之后站点的页面被查封了。
2、假蜘蛛，假抓取。
3、自动发外链的平台为了骗取抓取的机制

用户166956 · 微机保护行业

看看大家是怎么说的吧

用户213035 · 怡合达专业从事自动化零部件研发、生产和销售,提供FA工厂自动化零部件一站式供应

如果显示抓取了不存在的url，很可能这些蜘蛛也是虚假的

用户157310 · 普通上班族，只想过平静的生活。

蜘蛛也有假蜘蛛，可能是假的

用户118646 · 泰海科技12年服务经验，专注于服务器租用

用工具查下网站死链，整理后提交百度站长平台死链删除，蜘蛛频繁抓取死链，会影响网站整体的质量

用户175902 · 西安网站建设,网页制作,小程序电商系统开发,8年行业开发经验

首先肯定是有影响的，如果真的是蜘蛛经常爬取不到内容，那你要对网站做排查，不存在的页面多了，会造成蜘蛛对网站失去信赖。

用户189805 · 315防伪标签办理中心-全国315产品防伪查询中心

可以检查一下是不是404链接哦，确认好就直接提交死链就可以了哦

用户120418 · 南瓜号

看看大家是怎么说的吧

用户212400 · 如此这般

也许是链接页面还存在还能爬过去删删提交提交~~~~

用户123076 · 唵嘛咪叭咪吽

会不会是之前的404链接？查一下网站的404页面，如果有就提交死链吧~

为什么蜘蛛会抓取不存在的url呢，会有什么影响吗？ 悬赏1元 已结束