<p>我的网站日志,出现大量这种搜索抓取的页面,</p><p>这些页面我尝试了却打不开,搜索的抓取频率比以前高出了几十倍。</p><p>遇到这种情况该怎么办啊,前辈们,两三个月前就被这么搞过一次,当初网站都被百度k了,这刚刚恢复一点,又出现这种情况了</p><p><br></p><p></p>
不知道你用的系统是什么,但这个策略你可以参考以下。 WordPress的wordfence插件有这么一个设置: 1. 我们应该如何对待Google的抓取工具:已验证的不受影响,其他的屏蔽或限流; 2. 如果任何人的请求超过每分钟多少次,可以选择限流或者屏蔽; 3.如果抓取工具的浏览量超过每分钟多少次,可以选择限流或者屏蔽; 4.如果爬虫找不到页面的404次数超过每分钟多少次,可以选择限流或者屏蔽; 5.如果人的页面浏览量超过每分钟多少次,可以选择限流或者屏蔽; 6.如果人的请求页面404次数超过每分钟多少次,可以选择限流或者屏蔽;。
看日志里面抓取这些页面的ip,加入黑名单
用宝塔企业版
让更多人参与回答