网站抓取频次异常,抓取时间(毫秒)下降
<p>各位大佬,请教一下,网站原有抓取频次几百,但是最近突然变4/5千,抓取时间曲线在下降,不会是有啥严重问题了吧。</p><p></p><br>
12 人参与回答
查看一下服务器
重启一下服务器试试,如果网站本身流量不大的话,看看是不是蜘蛛来得太频繁了。大概率服务器出问题了
确实是有点问题了
查看一下服务器的 日志
服务器问题,但是具体得分析下日志文件了
确实是有点问题了
1、改过抓取设置时间
2、数据需求变大
可能是服务器的原因吧
我的网站也存在这样的情况,应该是服务器的问题。