搜外网>搜外问答>问答页面

网站抓取频次异常,抓取时间(毫秒)下降

<p>各位大佬,请教一下,网站原有抓取频次几百,但是最近突然变4/5千,抓取时间曲线在下降,不会是有啥严重问题了吧。</p><p></p><br>

追加问题
    12 人参与回答

查看一下服务器

重启一下服务器试试,如果网站本身流量不大的话,看看是不是蜘蛛来得太频繁了。大概率服务器出问题了

杭州继保
用户166956 · 微机保护行业

确实是有点问题了

查看一下服务器的 日志

服务器问题,但是具体得分析下日志文件了

丫丫
用户123076 · 唵嘛咪叭咪吽

确实是有点问题了

梦梦
用户118646 · 泰海科技12年服务经验,专注于服务器租用

看下日志,蜘蛛都抓取了哪些页面,抓取频次暴涨有点吓人,服务器不知道能不能承受

奋斗
用户64552 · 微信:congdata 批量AI生成源码出,快排源码出,开发一切

1、改过抓取设置时间
2、数据需求变大

泉水溪溪
用户215151 · 鑫盛主营包装机设备,粉剂包装机,颗粒包装机,可用于面粉、粮食、化工、肥料行业

可能是服务器的原因吧

利美医疗
用户210320 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

我的网站也存在这样的情况,应该是服务器的问题。

企业站,规模不小。这位仁兄,具体怎么分析,可以指点一下不

才财
用户7681 · 网站模板下载,自主研发,无版权困扰,响应式网站(goodnet CMS),点右边

普通企业网站吗?有可能中病毒了。分析一下网站日志