搜外网>搜外问答>问答页面

网站抓取频次异常,抓取时间(毫秒)下降

<p>各位大佬,请教一下,网站原有抓取频次几百,但是最近突然变4/5千,抓取时间曲线在下降,不会是有啥严重问题了吧。</p><p></p><br>

追加问题
    12 人参与回答

查看一下服务器

重启一下服务器试试,如果网站本身流量不大的话,看看是不是蜘蛛来得太频繁了。大概率服务器出问题了

杭州继保
杭州继保 · 微机保护行业

确实是有点问题了

查看一下服务器的 日志

服务器问题,但是具体得分析下日志文件了

丫丫
丫丫 · 唵嘛咪叭咪吽

确实是有点问题了

梦梦
梦梦 · 泰海科技12年服务经验,专注于服务器租用

看下日志,蜘蛛都抓取了哪些页面,抓取频次暴涨有点吓人,服务器不知道能不能承受

奋斗
奋斗 · 微信:congdata 批量AI生成源码出,快排源码出,开发一切

1、改过抓取设置时间
2、数据需求变大

泉水溪溪
泉水溪溪 · 鑫盛主营包装机设备,粉剂包装机,颗粒包装机,可用于面粉、粮食、化工、肥料行业

可能是服务器的原因吧

利美医疗
利美医疗 · 四川利美医疗是一家集一次性口罩、口罩辅料、清洁防护用品的研发、设计、生产、销售为一体的高新技术企业!

我的网站也存在这样的情况,应该是服务器的问题。

企业站,规模不小。这位仁兄,具体怎么分析,可以指点一下不

才财
才财 · 网站模板下载,自主研发,无版权困扰,响应式网站(goodnet CMS),点右边

普通企业网站吗?有可能中病毒了。分析一下网站日志