搜外网>搜外问答>问答页面

为什么蜘蛛会抓取不存在的url呢，会有什么影响吗？ 悬赏1元 已结束

微信

为什么蜘蛛会抓取不存在的url呢，会有什么影响吗？怎样才能让蜘蛛不抓取这些url呢

追加问题
举报 本帖由用户发布，如有侵权联系删除  2023-03-28 发布663 次浏览
最新问题
 
广告位出租
广告位出租-排名优化
    12 人参与回答
推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信：tuituiwaseo
罗凌峰 等 1 人赞同该回答

1、这些链接是不存在，返回码是404，这种多半不是真的蜘蛛抓取； 

2、有的模拟蜘蛛可能会抓取不存在URL；

3、真的蜘蛛只抓取有通道的URL，如果这些URL压根不存在，站点也没被黑，也没有其他建站历史，多半是虚假蜘蛛；

4、即使是真的蜘蛛，抓取返回码404，也不会被建立索引放出死链。

1 年前
IP属地：山西
赞同 1 评论 0
收藏 举报
评论取消
JUVENILE
JUVEN · 11年广告设计制作安装服务，一站式广告服务商，15014104403

1、垃圾平台外链，抓取的时候页面存在，抓取完之后站点的页面被查封了。
2、假蜘蛛，假抓取。
3、自动发外链的平台为了骗取抓取的机制

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
杭州继保
杭州继保 · 微机保护行业

看看大家是怎么说的吧

1 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
怡合达YHD
怡合达YH · 怡合达专业从事自动化零部件研发、生产和销售,提供FA工厂自动化零部件一站式供应

如果显示抓取了不存在的url，很可能这些蜘蛛也是虚假的

1 年前
IP属地：广东
赞同 0 评论 0
收藏 举报
评论取消
十万伏特
十万伏特 · 普通上班族，只想过平静的生活。

蜘蛛也有假蜘蛛，可能是假的

1 年前
IP属地：上海
赞同 0 评论 0
收藏 举报
评论取消
梦梦
梦梦 · 泰海科技12年服务经验，专注于服务器租用

用工具查下网站死链，整理后提交百度站长平台死链删除，蜘蛛频繁抓取死链，会影响网站整体的质量

1 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
西安做网站
西安做网站 · 西安网站建设,网页制作,小程序电商系统开发,8年行业开发经验

首先肯定是有影响的，如果真的是蜘蛛经常爬取不到内容，那你要对网站做排查，不存在的页面多了，会造成蜘蛛对网站失去信赖。

1 年前
IP属地：陕西
赞同 0 评论 0
收藏 举报
评论取消
海阔天空
海阔天空 · 315防伪标签办理中心-全国315产品防伪查询中心

可以检查一下是不是404链接哦，确认好就直接提交死链就可以了哦

1 年前
IP属地：河南
赞同 0 评论 0
收藏 举报
评论取消
一年之计
一年之计 · 南瓜号

看看大家是怎么说的吧

1 年前
IP属地：浙江
赞同 0 评论 0
收藏 举报
评论取消
woleigeca
wolei · 如此这般

也许是链接页面还存在 还能爬过去 删删 提交提交~~~~

1 年前
IP属地：河北
赞同 0 评论 0
收藏 举报
评论取消
丫丫
丫丫 · 唵嘛咪叭咪吽

会不会是之前的404链接？查一下网站的404页面，如果有就提交死链吧~

1 年前
IP属地：陕西
赞同 0 评论 0
收藏 举报
评论取消
回复问答禁止带推广链接、违法词及灌水，违规将封禁账号！！了解合理带链接的方法
本贴交流超时，回复已关闭
  • 怎么查自己的网站来没来过蜘蛛呢？
  • 移动端收录的是pc端的页面，这个要怎么处理
  • 网站发外链用哪个平台比较好一点？
  • 请问sitemap超过5万条怎么操作？压缩2个压缩包，这两个压缩包一并传到根目录吗？怎么命名？
  • 为什么网站内容被百度收录了但是搜索却显示不出来？
  • 最近百度流量直接不行，一直下降，咋回事
  • 域名不备案，会不会真的不会收录呢
  • 二级域名做站，和一级域名会有多大差距吗
  • 哪些网站不能采集
  • 这几天百度安全验证好像不能用了
    • SEO培训招生中
    189
    搜外微信
    提供服务
    常用链接
    产品实验室
    ©2008-2024 SEOWHY 深圳市夫唯伙伴信息咨询有限公司