6 人参与回答
用户144761 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo
用户210859 等 1 人赞同该回答

1、抓取返回码是404,不存在的死链,这种不会被收录; 

2、抓取这个是否页面里面就有这个URL,我看有的网页里面有这种。

用户185412 · 建站小程序空间域名服务器百度爱采购

网站中有什么样的url,都有机会被抓取

用户123076 · 唵嘛咪叭咪吽

这不是百度WEB蜘蛛,这个好像是小程序蜘蛛。

楼上分析的很到位哦

这不是百度WEB蜘蛛

用户24180 · 站长

你是不是弄了小程序,这个好像是小程序蜘蛛。