<p>各位大佬,请教一下,网站原有抓取频次几百,但是最近突然变4/5千,抓取时间曲线在下降,不会是有啥严重问题了吧。</p><p></p><br>
查看一下服务器
重启一下服务器试试,如果网站本身流量不大的话,看看是不是蜘蛛来得太频繁了。大概率服务器出问题了
确实是有点问题了
查看一下服务器的 日志
服务器问题,但是具体得分析下日志文件了
看下日志,蜘蛛都抓取了哪些页面,抓取频次暴涨有点吓人,服务器不知道能不能承受
1、改过抓取设置时间 2、数据需求变大
可能是服务器的原因吧
我的网站也存在这样的情况,应该是服务器的问题。
企业站,规模不小。这位仁兄,具体怎么分析,可以指点一下不
普通企业网站吗?有可能中病毒了。分析一下网站日志
让更多人参与回答