搜外网>搜外问答>问答页面

蜘蛛抓取页面不正常怎么办?

网站蜘蛛怎么不正常,有时候抓取页面重复,有时候抓取页面没有记录痕迹,为什么蜘蛛抓取页面多数是重复的,作用没有多大,怎么保证蜘蛛的正常爬取抓取?蜘蛛抓取没有记录是什么情况?

追加问题
    13 人参与回答
小鱼
小鱼 · 专业的ERP定制开发、小程序开发、软件外包、软件开发服务商, 定制化开发服务, 擅长小程序开发,微商城开发,PHP项

是不是屏蔽了呢

大李先生
大李先生 · ✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈✈㊣伸出发财的小手帮我点一下=。=

我的首页蜘蛛抓取首页很乱怎么办,看首页快照很乱

自查一下,看看有没有屏蔽蜘蛛抓取

梦梦
梦梦 · 泰海科技12年服务经验,专注于服务器租用

页面没有抓取记录的可以做下抓取诊断,蜘蛛可以正常爬行的话,就主动提交引导蜘蛛

聘达人
聘达人 · 聘达人是一家高速成长的灵活用工一站式就业服务平台公司总部位于北京市亦庄开发区。我们致力于为中国蓝领与基层白领群体打造

检查一下是不是 屏蔽了 蜘蛛

看看是不是被屏蔽了

利美医疗
利美医疗 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

看看是否有屏蔽蜘蛛

泉水溪溪
泉水溪溪 · 鑫盛主营包装机设备,粉剂包装机,颗粒包装机,可用于面粉、粮食、化工、肥料行业

看看是不是被屏蔽了

检查一下是不是 屏蔽了 蜘蛛

检查一下有没有这些情况:服务器连接异常 网络运营商异常 DNS异常 IP封禁 UA封禁 死链 协议死链 异常跳转

蜘蛛量抓取可能有点少,也可以看看是不是被屏蔽了

柠檬树上
柠檬树上 · 重庆不孕不育医院相关的不孕治疗及诊疗服务

蜘蛛量抓取可能有点少

agA1n
agA1n · seo

看看是不是屏蔽了