搜外网>搜外问答>问答页面

MJ12bot、AhrefsBot、SemrushBot网站被这些垃圾蜘蛛疯狂的爬。 悬赏1元 已结束

MJ12bot、AhrefsBot、SemrushBot网站被这些垃圾蜘蛛疯狂的爬。日志一天就几十M,怎么处理啊?

追加问题
    4 人参与回答
权重蜘蛛-池出租 等 1 人赞同该回答

直接屏蔽UA

推推蛙
推推蛙 · 擅长SEOSEM爱采购诊断、方案编写、优化运维。微信:tuituiwaseo
权重蜘蛛-池出租 等 1 人赞同该回答

<p><b>这里面是有人通过这些工具去查看和分析你的站点,也可能是你自己的操作;这几个爬虫全是外链分析的国外网站,他只是分析的时候会爬你的站点。</b><br></p><h3></h3><p>Majestic外链分析seo数据!</p><p><br></p><p><br></p>

权重蜘蛛-池出租 等 1 人赞同该回答

禁止了,还是会来爬。

权重蜘蛛-池出租 等 1 人赞同该回答

可以禁止一下就行了。。

SEO培训招生中
189